江戸の本所で、旗本の小野朝右衛門高福の子として生まれた。名は高歩、通称は鉄太郎。幼いころから体が大きく、何事にもまっすぐに打ちこむ性格だったと伝わる。のちに勝海舟・高橋泥舟とともに「幕末の三舟」と呼ばれる。
父が飛騨（岐阜県）の郡代となり、一家で高山へ移った。高山では書道家の岩佐一亭に書を学び、北辰一刀流の井上清虎に剣を学んだ。のちに達人と呼ばれる剣と書の道は、この少年時代に始まった。
母に続いて父も亡くなり、まだ若い鉄太郎は幼い弟たちを連れて江戸へ戻った。弟たちを親類に預けて育てる道筋をつけ、自らは剣の修業にいっそう打ちこんだ。幕府の講武所でも学び、きびしい稽古で知られるようになった。
槍の名人・山岡静山に入門したが、静山はまもなく亡くなった。静山の弟の高橋泥舟らに望まれ、静山の妹の英子と結婚して山岡家を継ぎ、山岡鉄太郎となった。義兄となった泥舟とは、生涯にわたって深い信頼で結ばれた。
幕府が将軍の上洛を守るために集めた浪士組の取締役となり、清河八郎らとともに京都へ向かった。清河が浪士組を尊王攘夷のために使おうとしたため、浪士組は江戸へ呼び戻され、京都に残った者たちはのちに新選組となった。
新政府軍が江戸へ迫る中、徳川慶喜の命を受け、薩摩藩士の益満休之助とともに敵の陣地を通りぬけて駿府（静岡市）へ向かった。総参謀の西郷隆盛と会い、慶喜が新政府に従う意思を伝えて、江戸城を戦わずに明け渡す話し合いの道を開いた。
鉄舟が西郷との間でまとめた条件をもとに、勝海舟と西郷隆盛の会談が行われ、江戸城は戦わずに明け渡された（江戸無血開城）。西郷はのちに「命もいらず、名もいらず、官位も金もいらぬ人は始末に困る」と鉄舟のような人物をたたえたと伝わる。
西郷隆盛らの推薦で、若い明治天皇の侍従となった。10年の約束で仕え、天皇の相手として剣や乗馬の稽古にもつきあい、ときには遠慮なくいさめたと伝わる。旧幕臣でありながら、その誠実さで新しい時代の宮中に重く用いられた。
長年、剣の達人・浅利義明に勝てずに悩み、禅の修行を重ねていたが、ある朝、座禅の中で心が晴れ、ついに大きな悟りを得たと伝わる。これを機に、相手と心で向き合う剣の流派「無刀流」を開き、道場の春風館で門人を育てた。
明治維新の戦いで命を落とした人々を敵味方なくとむらうため、東京の谷中に寺「全生庵」を建てた。鉄舟は書の達人でもあり、頼まれれば惜しまず筆をとり、生涯に書いた書は100万枚を超えたともいわれる。
これまでの功績により子爵の位を与えられた。しかし鉄舟は暮らしにはこだわらず、困っている人には惜しまずお金を与えたため、家はいつも貧しかったと伝わる。剣・禅・書を通じて、自分の心をきたえることを生涯の道とした。
胃の病のため東京の自宅で亡くなった。最期のときには、座禅を組んだ姿のまま静かに息を引き取ったと伝わる。葬儀の列が皇居の前を通るとき、明治天皇が見送ったともいわれ、その誠実な生き方は多くの人に慕われた。
小松帯刀（清廉）坂本龍馬篤姫（天璋院）松平容保徳川慶喜中岡慎太郎高杉晋作久坂玄瑞
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。