作为旗本小野朝右卫门高福之子生于江户本所。名高步，通称铁太郎。据传他自幼身材高大，做任何事都一心一意地投入。后来他与胜海舟、高桥泥舟并称“幕末三舟”。
父亲出任飞驒（岐阜县）郡代，全家迁往高山。在高山他向书法家岩佐一亭学习书法，向北辰一刀流的井上清虎学习剑术。他后来被誉为大家的剑与书之道，就始于这段少年时代。
母亲去世后父亲也相继离世，年轻的铁太郎带着年幼的弟弟们回到江户。他把弟弟们托付给亲戚抚养，自己则更加专心于剑术修行。他还在幕府的讲武所学习，以严苛的练习而闻名。
他拜枪术名家山冈静山为师，但静山不久便去世了。应静山之弟高桥泥舟等人的请求，他娶静山之妹英子为妻，继承山冈家，成为山冈铁太郎。他与成为姻兄的泥舟终生以深厚的信任相连。
他担任幕府为护卫将军进京而召集的浪士组的取缔役，与清河八郎等人一起前往京都。由于清河企图利用浪士组推动尊王攘夷，浪士组被召回江户，留在京都的人后来组成了新选组。
新政府军逼近江户之际，他奉德川庆喜之命，与萨摩藩士益满休之助一起穿过敌军阵地前往骏府（静冈市）。他会见总参谋西乡隆盛，转达了庆喜服从新政府的意愿，为不战而交出江户城的谈判开辟了道路。
以铁舟与西乡商定的条件为基础，胜海舟与西乡隆盛举行会谈，江户城不战而交出（江户无血开城）。据传西乡后来称赞铁舟这样的人物说：“不要命、不要名、不要官位也不要钱的人，最难对付。”
在西乡隆盛等人的推荐下，他成为年轻的明治天皇的侍从。他以十年为约侍奉天皇，陪天皇练习剑术和骑马，据传有时还毫不客气地进谏。他虽是旧幕臣，却因诚实而在新时代的宫中受到重用。
多年来他苦于无法战胜剑术高手浅利义明，不断进行禅修，据传某天早上他在坐禅中心境豁然开朗，终于大彻大悟。以此为契机，他开创了以心面对对手的剑术流派“无刀流”，并在道场春风馆培养门人。
为了不分敌我地祭奠在明治维新战斗中失去生命的人们，他在东京谷中修建了寺院“全生庵”。铁舟也是书法大家，有人求字便不吝挥毫，据说他一生所写的书法作品超过一百万幅。
因以往的功绩，他被授予子爵爵位。但据传铁舟不讲究生活，对有困难的人慷慨解囊，因此家里总是很贫穷。他通过剑、禅、书来磨炼自己的心，并以此为终生之道。
他因胃病在东京家中去世。据传他临终时保持着坐禅的姿势安详地离世。也有人说他的送葬队伍经过皇居前时，明治天皇亲自目送，他诚实的生活方式受到许多人的敬慕。
小松带刀（清廉）坂本龙马笃姬（天璋院）松平容保德川庆喜中冈慎太郎高杉晋作久坂玄瑞
内容基于教科书和传记中可以确认的史实，不确定之处会注明。