薩摩国鹿児島城下の加治屋町で、薩摩藩士・大山綱昌の子として生まれた。西郷隆盛・従道の兄弟とはいとこにあたり、幼いころから同じ町で育った。加治屋町からは大久保利通や東郷平八郎など、多くの人物が出ている。
若い大山は、尊王攘夷をとなえる薩摩藩の急進派に加わっていたが、京都の寺田屋に集まった仲間が藩の命令で取りしずめられる寺田屋事件が起き、大山も国元で謹慎を命じられた。同じ藩の仲間どうしが争うこの事件は、大山に深い印象を残した。
イギリス艦隊が鹿児島を攻めた薩英戦争に加わり、西洋の大砲の威力を目の当たりにした。これをきっかけに江戸へ出て、江川家の塾で西洋式の砲術を学んだ。この経験が、のちに日本陸軍の砲兵を育てる大山の原点となった。
戊辰戦争では薩摩藩の砲兵隊を率いて各地を転戦した。大山が改良した大砲は「弥助砲」（大山の通称・弥助から）と呼ばれたと伝わる。会津若松城を攻める戦いでは自らも負傷しながら戦った。
政府の命でヨーロッパへ渡り、普仏戦争（プロイセンとフランスの戦争）を見学した。その後もスイスのジュネーヴなどに留まって語学や軍事を学び、近代的な軍隊のしくみを身につけた。フランス語が得意で、西洋の文化にも親しんだ。
いとこの西郷隆盛が鹿児島の士族とともに兵を挙げた西南戦争で、大山は政府軍の指揮官の一人として戦わなければならなかった。幼いころから慕った西郷と敵として戦うことは大きな苦しみで、大山はその後長く鹿児島に帰らなかったと伝わる。
アメリカの大学を卒業して帰国した山川捨松と結婚した。捨松は会津藩出身で、かつて大山が攻めた会津若松城の中にいた一人だった。二人は鹿鳴館の時代を代表する夫婦となり、捨松は夫を支えながら女子教育や看護の活動に力を注いだ。
内閣制度ができると、第1次伊藤博文内閣で初代の陸軍大臣となった。その後も長く陸軍の中心となり、西洋の制度を取り入れて近代的な陸軍をつくりあげることに力を注いだ。おおらかで細かいことに口を出さない人柄で知られた。
日清戦争では第2軍の司令官として遼東半島に上陸し、清の拠点だった旅順を攻め落とした。戦いのあと、陸軍の最高の地位の一つである元帥へと進み、日本陸軍を代表する軍人となっていった。
日露戦争では、満州で戦う陸軍全体をまとめる満州軍総司令官となり、総参謀長の児玉源太郎とともに作戦を指揮した。大山は細かい作戦は児玉にまかせ、自らはどっしりと構えて全軍の心を落ち着かせたと伝わる。
日露戦争最大の陸上の戦いである奉天会戦で、ロシア軍を退かせて奉天（今の瀋陽）を占領した。しかし日本軍も大きな損害を受けて力が尽きかけており、大山と児玉は早く戦争を終わらせる必要を政府に伝えた。
天皇のそばで政治について助言する内大臣となり、大正天皇を支えた。軍人としての名声が高かったが、政治の争いには深入りしなかった。晩年は狩りや田舎の暮らしを楽しみ、栃木県の那須に別荘をもって過ごしたと伝わる。
内大臣のまま病のため亡くなり、国葬が行われた。西郷隆盛のいとことして生まれ、戊辰戦争・西南戦争から日清・日露戦争まで、日本の近代の大きな戦いの中を生きた人物だった。妻の捨松は、夫の看病に尽くしたと伝わる。
西郷隆盛大久保利通東郷平八郎児玉源太郎大山捨松山本権兵衛伊藤博文
渋沢栄一黒田清隆伊藤博文田中正造新島襄井上勝西郷従道陸奥宗光
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。