Né à Kajiya-chō, dans la ville-château de Kagoshima en Satsuma, fils du samouraï de Satsuma Ōyama Tsunamasa. Il était cousin des frères Saigō Takamori et Jūdō et grandit dès l'enfance dans le même quartier. Kajiya-chō vit naître de nombreuses personnalités, comme Ōkubo Toshimichi et Tōgō Heihachirō.
Le jeune Ōyama avait rejoint la faction radicale de Satsuma prônant de révérer l'empereur et d'expulser les étrangers, mais lors de l'incident du Teradaya, où des camarades réunis à l'auberge Teradaya de Kyoto furent réprimés sur ordre du domaine, Ōyama fut lui aussi assigné à résidence au pays. Cet affrontement entre camarades d'un même domaine le marqua profondément.
Il combattit lors de la guerre anglo-satsuma, quand une escadre britannique attaqua Kagoshima, et vit de ses yeux la puissance des canons occidentaux. Poussé par cette expérience, il partit pour Edo et étudia l'artillerie occidentale à l'école de la famille Egawa. Ce fut le point de départ de son rôle ultérieur dans la formation de l'artillerie de l'armée japonaise.
Pendant la guerre de Boshin, il commanda l'artillerie de Satsuma et combattit en de nombreux lieux. Les canons qu'il améliora auraient été appelés « canons Yasuke », d'après son nom usuel Yasuke. Lors de l'attaque du château d'Aizu-Wakamatsu, il continua à se battre bien que blessé.
Sur ordre du gouvernement, il se rendit en Europe et observa la guerre franco-prussienne. Il resta ensuite notamment à Genève, en Suisse, pour étudier les langues et l'art militaire, et apprit le fonctionnement d'une armée moderne. Il parlait bien le français et se familiarisa avec la culture occidentale.
Lors de la rébellion de Satsuma, quand son cousin Saigō Takamori prit les armes avec les samouraïs de Kagoshima, Ōyama dut combattre comme l'un des chefs de l'armée gouvernementale. Combattre en ennemi Saigō, qu'il admirait depuis l'enfance, fut une grande souffrance, et il ne serait pas retourné à Kagoshima pendant longtemps.
Il épousa Yamakawa Sutematsu, rentrée au Japon après avoir obtenu son diplôme dans une université américaine. Sutematsu venait du domaine d'Aizu et se trouvait dans le château d'Aizu-Wakamatsu lorsque Ōyama l'avait attaqué. Le couple devint emblématique de l'époque du Rokumeikan, et Sutematsu, tout en soutenant son mari, se consacra à l'éducation des femmes et aux soins infirmiers.
À la création du système de cabinet, il devint le premier ministre de l'Armée dans le premier cabinet d'Itō Hirobumi. Il resta longtemps au cœur de l'armée, s'attachant à bâtir une armée moderne en adoptant des institutions occidentales. On le connaissait pour son caractère large, qui ne se mêlait pas des détails.
Pendant la guerre sino-japonaise, il débarqua dans la péninsule du Liaodong à la tête de la 2e armée et prit Lüshun (Port-Arthur), place forte des Qing. Après la guerre, il accéda au rang de maréchal, l'un des plus élevés de l'armée, et devint une figure majeure de l'armée japonaise.
Pendant la guerre russo-japonaise, il devint commandant en chef de l'armée de Mandchourie, réunissant toutes les forces terrestres engagées en Mandchourie, et dirigea les opérations avec son chef d'état-major Kodama Gentarō. Ōyama aurait laissé les plans détaillés à Kodama, restant lui-même calme et solide, ce qui apaisait toute l'armée.
À la bataille de Moukden, la plus grande bataille terrestre de la guerre russo-japonaise, il força l'armée russe à reculer et occupa Moukden (aujourd'hui Shenyang). Mais l'armée japonaise avait elle aussi subi de lourdes pertes et était presque à bout de forces, et Ōyama et Kodama firent savoir au gouvernement qu'il fallait vite terminer la guerre.
Il devint gardien du sceau privé, conseillant l'empereur en matière politique, et soutint l'empereur Taishō. Malgré sa grande renommée militaire, il ne s'engagea pas à fond dans les luttes politiques. Dans ses dernières années, il aimait la chasse et la vie à la campagne, séjournant dans sa villa de Nasu, dans le Tochigi.
Il mourut de maladie alors qu'il était encore gardien du sceau privé et reçut des funérailles nationales. Né cousin de Saigō Takamori, il avait traversé les grandes guerres du Japon moderne, de la guerre de Boshin et de la rébellion de Satsuma aux guerres sino-japonaise et russo-japonaise. Son épouse Sutematsu se serait dévouée à le soigner.
Saigō TakamoriŌkubo ToshimichiTōgō HeihachirōKodama GentarōŌyama SutematsuYamamoto GonbeeItō Hirobumi
Shibusawa EiichiKuroda KiyotakaItō HirobumiTanaka ShōzōNiijima JōInoue MasaruSaigō TsugumichiMutsu Munemitsu
Personnages de la période Meiji ・ Personnages par période
Fondé sur des faits attestés par les manuels et les biographies. Les points incertains sont signalés.