生于陆奥国会津，是浪人山鹿贞以之子。父亲是来自白河的浪人，寄身于会津藩重臣町野氏处。素行深深敬爱父亲，后来曾写道，在流放地最痛苦的就是无法为父亲扫墓。
他年幼时随家人移居江户。江户是幕府刚建立不久的新城市，各地的武士和学者汇聚于此。对浪人之子素行来说，以学问立身是开辟未来的道路。
他年幼时便进入幕府儒学者林罗山门下学习朱子学。据传他很早就展现才华，能够熟读汉籍。这时掌握的朱子学知识，后来也成为他批判朱子学本身的基础。
从十几岁起，他师从甲州流的小幡景宪及其弟子北条氏长学习兵学，还广泛学习神道和和歌等。儒学与兵学相结合的学问，成为素行思考和平时代武士应如何生活的思想支柱。
他应播磨国赤穗藩主浅野长直之邀出仕，但在赤穗只停留了七个月左右，大部分时间在江户度过。也有说法认为他在修筑赤穗城时就城池布局提过意见，但与他本人日记的记载不符，说法不一。
他因不满待遇，主动辞去赤穗藩的职务，在江户成为浪人。他把离开浅野家后的自己比作从池塘跃入大海的龙。此后他在江户向许多大名和武士传授兵学，学者声誉日隆。
几年前开始怀疑朱子学的素行，认为应当直接回归孔子的教诲，写成《圣教要录》。他重视有益于日常生活的“日用”之学，而非空洞的议论，成为后来被称为古学的流派的先驱。
由于《圣教要录》批判幕府推崇的朱子学，他被曾是自己兵学老师的大目付北条氏长传唤，被判流放赤穗。他在赤穗住在家老大石家宅邸的一角，虽然在日记中写下绝望之情，仍坚持著述。
他在流放地写成《中朝事实》，反对以中国为世界中心的观点，主张日本才是“中朝”即中心之国。这一时期他还写了整理武家历史的《武家事纪》，拓宽了学问的范围。
在约九年的流放后，他获得赦免回到江户。日记中记载，获赦后他最先会见的大名旗本是吉良义央，他还作汉诗抒发喜悦。后来发生了赤穗浪士复仇事件，但一般认为素行与此事的关联是后世强调出来的。
他将江户的家命名为积德堂，在此传授山鹿流学问，得到弘前津轻家和平户松浦家的支持。这一年他把《中朝事实》献给津轻信政，后来又授予他山鹿流兵法目录。素行的儿子们后来分别效力于这两家。
夏天他病倒在床，平户的松浦镇信和津轻家的人前来探望，但他还是在秋天于江户去世，享年63岁。墓在牛込宗参寺。山鹿流兵学在各地藩中传承，幕末长州藩的吉田松阴也曾学习。
河村瑞贤熊泽蕃山天草四郎三井高利酒井忠清伊藤仁斋德川光圀贝原益轩
内容基于教科书和传记中可以确认的史实，不确定之处会注明。