薩摩国鹿児島の城下で、喜入の領主である肝付兼善の子として生まれた。もとの名は肝付兼戈という。両親は兄をかわいがり、乳母も気短な性格だったため、親の愛情に恵まれずに育ったと伝わる。のちに小松家を継ぎ、通称の帯刀の名で広く知られるようになる。
少年のころから学問の才を表し、漢学者の横山安容のもとで儒学を学んだ。しかし体が弱いうえ、昼も夜も勉強に打ちこんだため、やがて床に伏せがちになった。それでも湯治先で身分の違う人々から知識を吸収したといい、和歌を八田知紀に学び、剣術の示現流にも励んだ。
藩主の身近に仕える役に任じられ、同じ年に江戸での勤めを命じられた。しかし江戸にいたのはわずか二か月ほどで、帰国を命じられて鹿児島に戻った。この往復の道中につけた旅日記には、彼が詠んだ和歌がいくつも残されており、歌を愛した若者の姿を伝えている。
吉利の領主である小松清猷の跡継ぎとして養子に入り、家を継いだ。そして清猷の妹の近（千賀）と結婚した。結婚してまもなく、二人は霧島の温泉にしばらく滞在した記録があり、当時としては珍しい新婚旅行だったといわれる。妻を大切にする人だったと伝わる。
島津斉彬が亡くなり、島津忠義が藩主になると、帯刀は藩の役職に任じられ、斉彬が築いた近代工場群である集成館の管理や、貨幣の鋳造を担当した。若くして実務を任されたことで、のちに藩の財政や産業を動かす力を身につけていった。
長崎に出張し、通訳を雇ってオランダの軍艦に乗り、軍艦の操り方や水雷などの技術を学んだ。帰国後には電気で水雷を爆発させる実演も行われた。こうした働きが認められて島津久光の側近に取り立てられ、藩政改革の役を任された。部下には大久保利通がいた。
島津久光が兵を率いて京都へ上ったときに付きしたがい、帰国すると家老の職に就いた。寛大で弁舌さわやかな人柄から人望が厚く、若くして藩の重い役を任されたのである。初めて西郷隆盛に会ったとき、西郷はわざと寝転んで待っていたが、帯刀は怒らなかったと伝わる。
生麦事件をきっかけに起こった薩英戦争では、長崎で研究した水雷を鹿児島湾に置くなど、守りに力を尽くした。戦いの後は集成館を立て直し、蒸気船の機械を作る工場の設置に努めた。一方で京都にあって、朝廷や幕府、諸藩との連絡や交渉の役を務めた。
禁門の変では、はじめ幕府の出兵の求めに消極的だったが、朝廷の命令が出ると薩摩藩兵を率いて戦い、幕府側の勝利に貢献した。戦いの後、長州藩から奪った米を、戦火で苦しむ京都の人々に配った。同じ年の長州への出兵では、長州藩の降伏に力を尽くした。
一度は戦った長州藩との関係を修復しようと、長州藩が軍艦や武器を買うのを仲立ちした。京都では土佐藩を抜けた坂本龍馬と親しくなり、亀山社中の設立を援助したり、龍馬の妻お龍の世話をしたりした。長州の井上馨と伊藤博文を長崎の薩摩藩邸にかくまったこともある。
薩摩藩と長州藩が手を結ぶ薩長同盟が成立した。このとき長州の木戸孝允が滞在し、話し合いが行われたのは、京都の帯刀の屋敷だったと伝えられる。この屋敷は「御花畑」とよばれ、その場所は近年見つかった史料によって確かめられた。一方で、再び長州を攻めることには反対した。
諸藩との交渉に力を尽くし、藩の中では最も重い家老の職に任じられた。将軍徳川慶喜が大政奉還を発表した際には、薩摩藩の代表として将軍を辞めるよう進言し、朝廷にも政権の返上を受け入れるよう強く求めた。その後、病のため藩主の上京に同行することはできなかった。
明治の新政府で外交などの重い役職を務めた。幕府の借金を返さなければ横須賀の造船所を差し押さえるとフランスが主張したとき、大隈重信とともにイギリスから資金を借りて返済し、危機を切り抜けた。グラバーや五代友厚とともに、西洋式のドックを備えた修船場も築いた。
版籍奉還では島津久光を説き伏せ、自らの領地を真っ先に返上して手本を示した。この年、病気を理由に役職を退いた。体には以前から病があり、下腹部の腫れが重くなって、オランダ人医師も切除は難しいと判断したという。治療のため大阪に家を借りて移り住んだ。
この年の初め、大久保利通や木戸孝允が見舞いに訪れたころには、すでに遺言書を作っていた。そして夏、大阪で病のため亡くなった。明治政府で活躍した西郷や大久保の陰に隠れがちだったが、イギリスの外交官アーネスト・サトウは最も魅力的な日本人と評した。
島津斉彬島津久光西郷隆盛徳川慶喜大久保利通木戸孝允五代友厚井上馨
清河八郎近藤勇橋本左内土方歳三坂本龍馬篤姫（天璋院）松平容保山岡鉄舟
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。