薩摩の鹿児島城下の加治屋町に、西郷吉兵衛の三男として生まれた。幼名は竜助で、十五も年上の兄が西郷隆盛である。剣術は薬丸自顕流を、兵学は伊地知正治に学んだ。若いころは推薦を受けて藩主島津斉彬に仕え、茶坊主として竜庵と名のったという。
茶坊主をやめて武士に戻り、名を信吾と改めた。亡くなった斉彬を慕う若い藩士たちの集まりである精忠組に加わり、天皇を敬い外国を退けようとする尊王攘夷の運動に身を投じた。兄の隆盛をはじめ、大久保利通ら同じ町内で育った仲間たちと志をともにした。
幕府を倒すために京都に集まった精忠組の有馬新七らの仲間に加わった。しかし藩の命を受けた者たちに押さえられる寺田屋事件が起こり、仲間の多くが命を落とした。従道は年が若かったため命は助けられ、薩摩に帰されて謹慎を命じられた。
イギリス艦隊が鹿児島を攻めた薩英戦争が起こると、謹慎を解かれた。従道は、すいか売りに変装して敵の船に近づき乗り込もうとする決死隊に志願した。この作戦は成功しなかったが、外国の強い軍事力を目の当たりにしたことは、のちの考え方に影響を与えた。
戊辰戦争が始まると、鳥羽・伏見の戦いに加わり、弾が体を貫く重い傷を負った。それでも回復すると各地を転戦し、新政府軍の一員として戦い続けた。兄の隆盛が新政府軍を率いる中、従道も薩摩の若い軍人として名を知られるようになっていった。
長州出身の山縣有朋とともにヨーロッパへ渡り、各国の軍隊の仕組みを調べた。翌年帰国して兵部省に入り、新しい国の軍隊づくりに加わった。名前を役所に届けたとき、なまりのため隆道が従道と聞き取られて記されたが、気にせずそのまま使ったと伝わる。
兄の隆盛が朝鮮への使者派遣をめぐる争いに敗れて政府を去ると、薩摩出身の多くの人々が兄に従って鹿児島へ帰った。しかし従道は兄に従わず、政府に残る道を選んだ。兄弟の考えが分かれたこの決断は、従道にとってつらいものであったと考えられる。
陸軍中将となり、同じ年の台湾出兵では、軍を率いる総指揮官として台湾に渡った。漂着した琉球の人々が殺された事件をきっかけとする出兵で、政府内にも反対があったが、従道は出兵を強く主張して実行した。これは明治政府にとって初めての海外への出兵であった。
横浜につくられた外国人中心の競馬の会に、日本人として初めて馬主として参加を認められた。この年には愛馬ミカンに自ら乗り、日本人馬主として初めての勝利を挙げた。そのようすは風刺漫画にも描かれた。おおらかで遊び心のある人柄を伝える話である。
兄の隆盛が鹿児島で西南戦争を起こすと、従道は兄の側に加わらなかった。陸軍卿の山縣有朋が政府軍を率いて九州へ向かったため、従道は陸軍卿の代わりを務めて東京で政府を守った。戦いの末に兄は故郷で生涯を閉じ、従道は肉親を失う深い悲しみを味わった。
内閣制度が始まると、初代の海軍大臣に任じられた。陸軍の出身でありながら海軍を任され、若い山本権兵衛を重く用いて存分に腕をふるわせた。細かい仕事は部下に任せ、失敗の責任は自分が取るという度量の大きさで、のちの日清・日露戦争に勝つ海軍の土台を築いた。
元老として天皇の相談にあずかる枢密顧問官に任じられた。同じ年、品川弥二郎とともに政治団体の国民協会をつくった。人の話をよく聞き「なるほど、なるほど」とあいづちを打ったことから、なるほど大臣というあだ名がついたと伝わる。
日清戦争が起こったこの年、海軍大将となった。戦争の間は海軍大臣として海軍を支え、日本の勝利に力を尽くした。翌年には侯爵となって貴族院の議員にもなった。陸軍と海軍の両方で将官や大臣を務めた人物は、従道ただ一人である。
海軍の軍人として初めて元帥の称号を受けた。総理大臣になるよう何度も推されたが、兄の隆盛が政府に背いたことを理由に断り続けた。兄への思いと、政府に仕える者としての立場の間で、従道は最後まで控えめな姿勢を貫いたのである。
胃の病のため、東京目黒の自宅で亡くなった。はじめ青山の墓地に葬られ、のちに多磨の墓地へ移された。兄が大西郷と呼ばれたのに対し、従道は小西郷と呼ばれて親しまれた。目黒の家の跡の一部は、今は西郷山公園として人々に親しまれている。
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。