作为萨摩藩士大山纲昌之子生于萨摩国鹿儿岛城下的加治屋町。他与西乡隆盛、从道兄弟是表兄弟，从小在同一个町里长大。加治屋町走出了大久保利通、东乡平八郎等众多人物。
年轻的大山加入了主张尊王攘夷的萨摩藩激进派，但发生了聚集在京都寺田屋的同伴被藩命镇压的寺田屋事件，大山也被命令回国谨慎。同藩伙伴之间相互争斗的这一事件给他留下了深刻印象。
他参加了英国舰队进攻鹿儿岛的萨英战争，亲眼看到了西洋大炮的威力。以此为契机，他前往江户，在江川家的私塾学习西洋式炮术。这一经历成为他后来培养日本陆军炮兵的起点。
在戊辰战争中，他率领萨摩藩的炮兵队转战各地。据传他改良的大炮被称为“弥助炮”（取自大山的通称弥助）。在进攻会津若松城的战斗中，他本人负伤仍坚持作战。
他奉政府之命前往欧洲，观摩了普法战争（普鲁士与法国的战争）。此后他还留在瑞士日内瓦等地学习语言和军事，掌握了近代军队的组织体制。他擅长法语，也熟悉西洋文化。
在表兄西乡隆盛与鹿儿岛士族一起起兵的西南战争中，大山不得不作为政府军的指挥官之一参战。与自幼敬慕的西乡兵戎相见是巨大的痛苦，据传他此后很长时间没有回鹿儿岛。
他与从美国大学毕业回国的山川舍松结婚。舍松出身会津藩，当年大山进攻会津若松城时她就在城中。两人成为鹿鸣馆时代具有代表性的夫妇，舍松一边支持丈夫，一边致力于女子教育和护理事业。
内阁制度建立后，他在第一次伊藤博文内阁中出任首任陆军大臣。此后他长期处于陆军的核心，致力于引进西洋制度、建立近代陆军。他以宽厚大度、不过问细节的性格而闻名。
在甲午战争中，他作为第二军司令官在辽东半岛登陆，攻陷了清军的据点旅顺。战后他晋升为陆军最高地位之一的元帅，成为日本陆军的代表性军人。
在日俄战争中，他出任统率在满洲作战的全部陆军的满洲军总司令，与总参谋长儿玉源太郎一起指挥作战。据传大山把具体作战交给儿玉，自己则沉稳坐镇，使全军人心安定。
在日俄战争最大的陆上战役奉天会战中，他迫使俄军撤退，占领了奉天（今沈阳）。但日军也遭受重大损失，几近力竭，大山和儿玉向政府传达了必须尽早结束战争的意见。
他出任在天皇身边就政治提供建议的内大臣，辅佐大正天皇。他作为军人声望很高，却不深入卷入政治斗争。晚年他喜欢打猎和乡村生活，据传常在栃木县那须的别墅度日。
他在内大臣任上病逝，举行了国葬。他生为西乡隆盛的表弟，经历了从戊辰战争、西南战争到甲午战争、日俄战争等日本近代的重大战争。据传妻子舍松尽心照料了他。
西乡隆盛大久保利通东乡平八郎儿玉源太郎大山舍松山本权兵卫伊藤博文
涩泽荣一黑田清隆伊藤博文田中正造新岛襄井上胜西乡从道陆奥宗光
内容基于教科书和传记中可以确认的史实，不确定之处会注明。