作为周防国（山口县）德山藩藩士儿玉半九郎忠硕的长子出生。他幼年丧父，由姐夫儿玉次郎彦继承家业。家境并不富裕，源太郎在母亲和姐姐们的支持下长大。
藩内服从幕府的一派与尊王攘夷派相争，属于尊王派的姐夫次郎彦被反对派夺去了生命。儿玉家的家禄被没收，一家人被迫过着艰苦的生活。少年源太郎经历了这段痛苦，后来重振了家业。
他作为德山藩的士兵参加了戊辰战争的最后一战箱馆战争。此后他加入新政府的军队（后来的陆军），从下级士兵起步。他不依靠藩中的门第，而是凭实力开辟自己的道路。
他参加了平定江藤新平等人发动的佐贺之乱的战斗，身负重伤。尽管如此，他在战场上的冷静判断得到认可，作为年轻军官崭露头角。他虽然身材矮小，却以决断迅速、头脑灵活而闻名。
在西南战争中，他作为熊本镇台参谋，在司令长官谷干城的率领下据守熊本城，顶住了西乡隆盛军队的猛烈进攻。守住熊本城对政府军的胜利起了很大作用，儿玉的作战能力受到高度评价。
他出任陆军大学校干事（后任校长），与从德国聘请来的军人梅克尔一起完善军官教育。据传儿玉热心地向梅克尔学习近代作战思想，还亲自混在学生中间听课。这些学习在后来的日俄战争中发挥了作用。
他出任甲午战争后成为日本领土的台湾的总督，选任后藤新平为民政长官，把行政交给他。两人推进了土地调查以及铁路、港口和卫生设施的建设。另一方面，他们也严厉镇压了台湾人民的反抗。
他在担任台湾总督的同时兼任陆军大臣。后来还担任过内务大臣和文部大臣，虽是军人，在政治舞台上也发挥了能力。据传工作极快、能同时处理多个职务的儿玉被周围的人称为“天才”。
在与俄国的战争日益临近之际，参谋本部次长田村怡与造突然去世，儿玉辞去内务大臣之职，主动接受了地位较低的参谋本部次长一职。这作为在国家危机之际选择职责而非头衔的决断而闻名。
日俄战争爆发后，他作为满洲军总参谋长辅佐总司令大山岩，承担作战的核心工作。据传旅顺进攻陷入苦战时，他亲自前往旅顺参与调整进攻方式。大山与儿玉之间的信任关系支撑着日军。
奉天会战后，深知日本国力已接近极限的儿玉秘密返回东京，强烈要求政府领导人尽快结束战争。在他的推动下，战争通过美国斡旋签订的《朴次茅斯条约》而结束。
他出任参谋总长，但当年夏天在东京家中突然去世，也有人认为这是日俄战争中过度劳累所致。山口县周南市有供奉儿玉的儿玉神社，他果断的判断力和不拘地位的态度至今仍被传颂。
星亨荻野吟子伊泽修二高村光云乔赛亚·康德尔北里柴三郎费诺罗萨高峰让吉
内容基于教科书和传记中可以确认的史实，不确定之处会注明。