生于京都稻荷，是浪人野尻一利与母亲龟所生六个孩子中的长子，幼名左七郎。父亲常为谋求仕途而外出，家中生活并不宽裕。后来蕃山也曾为了养家而中断学业。
年幼时，他成为外祖父熊泽守久的养子，改姓熊泽。外祖父在近江桐原有一处住宅，蕃山后来失去职位时也曾寄身于此。母亲娘家是他生活的依靠。
经丹后宫津藩主京极高广介绍，他成为冈山藩主池田光政的儿小姓。光政是以好学著称的明君，这次相遇成为蕃山日后深度参与藩政的契机。
岛原之乱爆发时，蕃山请求出征却未获准。他借此一度离开池田家，回到近江外祖父家。失去以武功立身之路的蕃山，从此开始寻求潜心治学的道路。
他投入回到近江小川村的阳明学者中江藤树门下。由于需要养家，他在藤树身边只学习了约八个月，此后仍通过书信继续受教。藤树重视心之正与实践的教诲，决定了蕃山的人生道路。
他再次经京极氏推荐到冈山藩任职。对阳明学感兴趣的光政重用受过藤树教诲的蕃山，两年后任命他为侧役，给予300石。这位年轻学者获得了将学问用于政治的机会。
他升任铁炮组番头，成为知行3000石的上级武士。这一年他还出版了第一部著作《大和西铭》。次年他起草了藩士学习团体“花园会”的规约，这成为后来冈山藩藩学的前身。破格的提拔也引发了与家老们的对立。
大洪水袭击备前平原，引发大饥荒。蕃山协助光政全力救济饥民，并推进在山上植树、治理河川的工程以减少灾害。后来他主张治理山川是治国之本。
他以狩猎时右手右脚受伤为由辞去职务，离开冈山城下，迁居知行地寺口村。大约从这时起他自称蕃山。一般认为，与家老的对立以及幕府内部对阳明学的警惕也是背景原因。
他移居京都后与公家们交往密切，研究《源氏物语》和雅乐，但京都所司代警惕他与朝廷的关系，将他逐出京都，他逃往吉野山。两年后他被移交明石藩主松平信之看管，安置在太山寺，专心著述。
他刊行了以问答形式阐述学问与政治观点的《集义和书》。书中重视武士和农民都能维持生计，强调治理山川的重要性。书中还表达了将军虽治理天下，仍是天皇臣下的观点。
他应古河藩主松平忠之之邀移居古河，但记述政见的《大学或问》被认为批判幕府政治，被判禁锢。据传由于藩主的照顾，他仍能在领内走动，继续指导修建蓄水池等工程。
这一年他在古河病逝，藩主忠之以儒礼为他安葬。蕃山的思想在幕末再度受到关注，影响了藤田东湖、吉田松阴等人，胜海舟称他是“身穿儒服的英雄”。
中江藤树保科正之野中兼山河村瑞贤天草四郎三井高利山鹿素行酒井忠清
内容基于教科书和传记中可以确认的史实，不确定之处会注明。