陸奥国会津で、浪人の山鹿貞以の子として生まれた。父は白河の浪人で、会津藩の重臣町野氏のもとに身を寄せていた。素行は父を深く敬い、のちに配流先で父の墓参りができないことを何よりつらく思ったと書き残している。
幼くして家族とともに江戸に移った。江戸は幕府が開かれて間もない新しい都市で、各地から武士や学者が集まっていた。浪人の子だった素行にとって、学問で身を立てることが将来を開く道だった。
まだ幼いうちに、幕府に仕える儒学者林羅山の門に入り、朱子学を学んだ。素行は早くから才能を示し、漢籍を読みこなしたと伝わる。この時に身につけた朱子学の知識が、のちに朱子学そのものを批判する際の土台にもなった。
十代半ばから、甲州流の小幡景憲やその弟子北条氏長のもとで軍学を学んだ。さらに神道や和歌などにも学びを広げた。儒学と軍学を合わせた学問は、平和な時代の武士がどう生きるべきかを考える素行の学問の柱になっていく。
播磨国赤穂藩主の浅野長直に招かれて仕えた。ただし赤穂に滞在したのは7か月ほどで、多くの時間を江戸で過ごした。赤穂城の築城の際に縄張りについて意見を述べたとする説もあるが、本人の日記の記述とは合わない点があり、諸説ある。
待遇に不満を持ち、自ら赤穂藩を辞して江戸で浪人となった。素行は浅野家を去った後の自分を、池から大海へ飛び出す龍にたとえて書き残している。以後は江戸で多くの大名や武士に兵学を教え、学者としての名声を高めた。
数年前から朱子学に疑問を持つようになった素行は、孔子の教えに直接立ち返るべきだと考え、『聖教要録』を著した。観念的な議論より、日々の暮らしに役立つ「日用」の学を重んじる考えで、のちに古学と呼ばれる流れの先がけとなった。
『聖教要録』が幕府の重んじる朱子学を批判しているとして、かつて軍学の師だった大目付北条氏長から呼び出され、赤穂への配流を命じられた。赤穂では家老大石家の屋敷の一角で暮らし、絶望を日記に記しつつも執筆を続けた。
配流の地で『中朝事実』を著した。中国を世界の中心とする考え方に対して、日本こそが「中朝」、すなわち中心の国だと説いた書物である。また武家の歴史をまとめた『武家事紀』もこの時期に書き、学問の幅を広げた。
約9年の配流の後に許され、江戸に戻った。赦された後に最初に会った大名・旗本は吉良義央だったと日記に記され、喜びを漢詩に詠んだ。のちに赤穂浪士の討ち入りが起こるが、素行と事件との結びつきは後世に強調されたものとされる。
江戸の自宅を積徳堂と名づけて山鹿流の学問を教え、弘前の津軽家や平戸の松浦家の支援を受けた。この年には『中朝事実』を津軽信政に献上し、のちに山鹿流兵法の目録も与えた。素行の子たちは両家に仕えることになった。
夏に病に倒れ、平戸の松浦鎮信や津軽家の人々の見舞いを受けたが、秋に江戸で亡くなった。63歳だった。墓は牛込の宗参寺にある。山鹿流の兵学は各地の藩に受け継がれ、幕末には長州藩の吉田松陰もこれを学んだ。
河村瑞賢熊沢蕃山天草四郎三井高利酒井忠清伊藤仁斎徳川光圀貝原益軒
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。