他出生于萨摩国鹿儿岛城下的加治屋町，是担任右笔和枪术师范的藩士的第六子。加治屋町也是西乡隆盛和大久保利通成长的地方。在青少年共同锻炼身心的乡中教育中，他以勇猛著称。
他还是少年时就参加了英国舰队进攻鹿儿岛的萨英战争。亲眼看到西方军舰的威力，或许是他后来投身海军的原因之一。他还参加了1868年开始的戊辰战争，转战各地。
戊辰战争后，经西乡隆盛介绍，他受教于胜海舟，立志投身海军。他经过开成所等学校后进入海军兵学寮。据说有实战经验的山本等学生，有时会反驳没上过战场的教官。
西乡隆盛离开政府时，他追随西乡回到鹿儿岛，但被西乡本人说服，回到兵学寮继续学业，并于这一年毕业。他成绩虽靠后，此后却作为海军军官稳步积累经验。
他与新潟出身的登喜子结婚。当时萨摩的军官娶非武士家庭的女儿很少见。山本一生珍爱妻子，以爱妻家闻名。他生活俭朴，不喝酒也不抽烟，据说下班后总是直接回家。
海军大臣西乡从道任命他为海军大臣官房主事，使他成为海军运营的核心。甲午战争中他向陆军首脑阐明制海权的重要，使陆海军作战更顺利。他还致力于让海军军令部从陆军参谋本部中独立出来。
三国干涉后，为建设能对抗俄国的海军，他以军务局长身份推行大规模改革。他裁撤了大批老将校，被批评为“权兵卫大臣独断专行”，但西乡从道信任他，承担责任，让他完成了改革。
他出任第二次山县内阁的海军大臣，直到日俄战争结束约8年间一直统领海军。他派秋山真之等青年军官出国学习，充实军舰，整备造船所。他改良舰上伙食，使船员的脚气病几乎绝迹，这也广为人知。
为准备对俄战争，他选定当时在舞鹤的东乡平八郎为联合舰队司令长官。据说明治天皇问他理由时，他回答“东乡是个运气好的人”。在看到胜算之前，他一直对开战持慎重态度。
在日本海海战中，联合舰队击败俄国波罗的海舰队，日俄战争以日本胜利告终。山本作为海军大臣支撑了整个战争，利用英日同盟使波罗的海舰队的远航困难重重。次年他辞去大臣，后来被授予伯爵。
大正政变中桂内阁倒台后，他与立宪政友会合作，出任内阁总理大臣。他修改了陆海军大臣必须由现役军人担任的军部大臣现役武官制，使预备役军人也可担任，以抑制军部势力。
海军高官收受德国西门子公司等贿赂的西门子事件曝光，引起国民强烈批评。山本承担责任，率内阁总辞职，在海军也转入预备役。此后作为元老级人物，他不再公开发表意见。
关东大地震发生的第二天，他再次被任命为首相。他任命后藤新平为帝都复兴院总裁，推进东京复兴，并着手实现普选。但这年年底，他为摄政宫遇袭的虎之门事件承担责任，次年初内阁总辞职。
这年春天，他失去了相伴多年的妻子登喜子，同年12月在东京高轮的家中病逝。他虽未成为元老，但昭和天皇后来把他与大山岩、山县有朋并列为明治时期陆海军的名将。
胜海舟西乡隆盛大久保利通山县有朋大山岩西乡从道东乡平八郎秋山真之
西园寺公望寺内正毅高桥是清犬养毅原敬尾崎行雄加藤高明加藤友三郎
内容基于教科书和传记中可以确认的史实，不确定之处会注明。