周防国（山口県）徳山藩の藩士・児玉半九郎忠碩の長男として生まれた。幼いころに父を亡くし、姉の夫である児玉次郎彦が家を継いだ。家は決して豊かではなく、源太郎は母や姉たちに支えられて育った。
藩の中で幕府に従う派と尊王攘夷の派が争い、尊王派だった義兄の次郎彦が反対派によって命を奪われた。児玉家は家禄を取り上げられ、一家は苦しい暮らしを強いられた。少年の源太郎はこのつらい経験を経て、のちに家を立て直すことになる。
戊辰戦争の最後の戦いである箱館戦争に、徳山藩の兵として加わった。その後、新政府の軍隊（のちの陸軍）に入り、下級の兵から出発した。藩の家柄に頼らず、実力で道を切り開いていくことになる。
江藤新平らが起こした佐賀の乱をしずめる戦いに加わり、重いけがを負った。それでも戦場での冷静な判断が認められ、若い将校として名を上げた。小柄な体ながら、決断が速く、頭の回転の速い人物として知られるようになった。
西南戦争では熊本鎮台の参謀として、司令長官の谷干城のもとで熊本城にこもり、西郷隆盛の軍の激しい攻撃に耐えた。城を守り抜いたことは政府軍の勝利に大きく役立ち、児玉の作戦の力が高く評価された。
陸軍大学校の幹事（のちに校長）となり、ドイツから招かれた軍人メッケルとともに将校の教育を整えた。児玉はメッケルから近代的な作戦の考え方を熱心に学び、自らも生徒にまじって講義を聞いたと伝わる。この学びが、のちの日露戦争で生かされた。
日清戦争で日本の領土となった台湾の総督となり、民政長官に後藤新平を選んで政治を任せた。二人は土地の調査、鉄道や港、衛生の整備などを進めた。一方で、台湾の人々の抵抗をきびしく取りしまった面もあった。
台湾総督のまま陸軍大臣を兼ねた。のちには内務大臣や文部大臣もつとめ、軍人でありながら政治の場でも力を発揮した。仕事が非常に速く、多くの役職を同時にこなす児玉は、まわりから「天才」と呼ばれたと伝わる。
ロシアとの戦争が近づく中、参謀本部の次長だった田村怡与造が急に亡くなると、児玉は内務大臣の職を辞め、地位としては下にあたる参謀本部次長を自ら引き受けた。国の危機に、肩書きよりも役目を選んだ決断として知られる。
日露戦争が始まると、満州軍総参謀長として総司令官の大山巌を支え、作戦の中心を担った。旅順の攻撃が苦戦すると、自ら旅順へ向かって攻め方の見直しにかかわったと伝わる。大山と児玉の信頼関係が、日本軍を支えた。
奉天会戦のあと、日本の国力が限界に近いことを知る児玉は、ひそかに東京へ戻り、政府の指導者たちに早く戦争を終わらせるよう強く求めた。この働きかけもあって、アメリカの仲立ちによるポーツマス条約で戦争は終わった。
参謀総長となったが、その年の夏、東京の自宅で急に亡くなった。日露戦争での無理が重なったためともいわれる。山口県周南市には、児玉をまつる児玉神社があり、その果断な判断力と、地位にこだわらない姿勢が語りつがれている。
星亨荻野吟子伊沢修二高村光雲ジョサイア・コンドル北里柴三郎フェノロサ高峰譲吉
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。