他出生于萨摩国鹿儿岛城下，是喜入领主肝付兼善之子，原名肝付兼戈。据说父母宠爱他的哥哥，乳母又性情急躁，他在缺乏父母疼爱的环境中长大。后来他继承小松家，以通称“带刀”广为人知。
他从少年时代起就显露出求学的才能，在汉学者横山安容门下学习儒学。但他体质虚弱，又昼夜苦读，渐渐常常卧病在床。即便如此，据说他在温泉疗养地向不同身份的人吸收知识，还向八田知纪学习和歌，并勤练示现流剑术。
他被任命为藩主身边的侍从，同年奉命到江戸任职。但他在江戸只待了大约两个月，就奉命返回鹿儿岛。他在往返途中所写的旅行日记里留下了多首自己创作的和歌，展现了一个热爱和歌的青年形象。
他作为吉利领主小松清猷的继承人入嗣，继承了家业，并与清猷的妹妹近（千贺）结婚。据记载，两人婚后不久在雾岛的温泉逗留了一段时间，被认为是当时罕见的新婚旅行。据说他是个非常珍爱妻子的人。
岛津齐彬去世、岛津忠义成为藩主后，带刀被任命为藩中官职，负责管理齐彬建立的近代工厂群集成馆以及铸造货币。年纪轻轻就承担实务，使他逐渐具备了日后主导藩财政和产业的能力。
他出差长崎，雇用翻译登上荷兰军舰，学习军舰操纵和水雷等技术。回国后还进行了用电引爆水雷的演示。这些功绩得到认可，他被提拔为岛津久光的近臣，负责藩政改革。大久保利通是他的部下。
岛津久光率兵上京时他随行，回国后就任家老。他为人宽厚、能言善辩，深得人望，年纪轻轻便担当藩中要职。据说他第一次去见西乡隆盛时，西乡故意躺着等他，带刀却没有生气。
在因生麦事件引发的萨英战争中，他将在长崎研究的水雷布置在鹿儿岛湾等，竭力加强防御。战后他重建集成馆，致力于设立制造蒸汽船机械的工厂。另一方面，他驻在京都，负责与朝廷、幕府和各藩的联络与交涉。
在禁门之变中，他起初对幕府的出兵要求态度消极，但朝廷下令后便率萨摩藩兵作战，为幕府一方的胜利作出贡献。战后，他把从长州藩夺得的军粮米分给饱受战火之苦的京都百姓。同年出兵长州时，他为促成长州藩投降尽了力。
为了修复与曾经交战的长州藩的关系，他居中斡旋长州藩购买军舰和武器。在京都他与脱离土佐藩的坂本龙马交好，援助成立龟山社中，还照顾龙马的妻子阿龙。他还曾把长州的井上馨和伊藤博文藏匿在长崎的萨摩藩邸。
萨摩藩与长州藩结盟的萨长同盟成立。据说当时长州的木户孝允逗留并进行会谈的地方，就是带刀在京都的宅邸。这座宅邸被称为“御花畑”，其位置已由近年发现的史料确认。另一方面，他反对再次进攻长州。
他尽力与各藩交涉，在藩内被任命为最高的家老职位。将军德川庆喜宣布大政奉还时，他作为萨摩藩代表进言请将军辞职，并强烈要求朝廷接受政权归还。此后他因病未能随藩主上京。
他在明治新政府担任外交等要职。法国声称若不偿还幕府的欠款就扣押横须贺造船所时，他与大隈重信一起向英国借款偿还，化解了危机。他还与格洛弗、五代友厚一起建造了配备西式船坞的修船场。
在版籍奉还中，他说服岛津久光，率先归还自己的领地以作表率。这一年他因病辞去职务。他早就身患疾病，下腹部的肿块日益严重，据说荷兰医生也认为难以切除。为了治疗，他在大阪租房移居。
这一年年初，大久保利通和木户孝允前来探望时，他已立下遗嘱。同年夏天，他在大阪病逝。他常被在明治政府大显身手的西乡和大久保的光芒掩盖，但英国外交官萨道义称他是自己所认识的最有魅力的日本人。
岛津齐彬岛津久光西乡隆盛德川庆喜大久保利通木户孝允五代友厚井上馨
清河八郎近藤勇桥本左内土方岁三坂本龙马笃姬（天璋院）松平容保山冈铁舟
内容基于教科书和传记中可以确认的史实，不确定之处会注明。