他出生于日向国穆佐（今宫崎市高冈町），是萨摩藩乡士高木喜助的长子，通称藤四郎。乡士是住在农村的低级武士，生活并不富裕。如今他的故乡宫崎称他为“维生素之父”。
他从十几岁末起师从在萨摩藩学习西洋医学的医生石神良策。戊辰战争爆发后，他随萨摩藩兵作为军医奔赴战场。在救治伤兵的过程中，他了解到很多生命是以往的医学无法挽救的，于是下定决心正式学习西洋医学。
他前一年开始学习英语和西洋医学，这一年进入萨摩藩创办的鹿儿岛医学校。校长英国医生威廉·威利斯赏识他的才能，让他以学生身份担任教职。接触到重视直接诊察病人的英国式医学，成为他人生的重大转折。
老师石神良策成为主管海军医疗机构的干部后，在他推荐下高木成为海军军医。他在海军医院工作之余，就医院和军医制度提出了许多建议，当年就获得晋升。从此他踏上了肩负海军医疗的道路。
他受到在海军医院学校任教的英国海军军医安德森的赏识，前往安德森的母校——伦敦圣托马斯医院医学院留学。他在那里取得了优异成绩，并在设有南丁格尔护士学校的这所医院里，深刻认识到护理在医疗中的重要性。
回国后，他担心日本医学偏向德国式的研究至上。于是他与松山栋庵等人一起，开设了成医会讲习所，作为学习基于“看病人而非看病”这一英国式理念的医学场所。这就是后来东京慈惠会医科大学的起源。
他在东京芝的一座寺院里创办了免费为贫穷患者诊治的有志共立东京病院，请上司户冢文海任院长，自己任副院长，还得到了胜海舟等人的资助。与此同时，他站到了海军医疗的中心，开始全面着手应对在士兵中蔓延的脚气病。
他认为脚气病与饮食有关，便把军舰筑波号的远洋航行作为检验改善伙食能否预防脚气病的实验。让筑波号沿着此前脚气病多发的军舰龙骧号相同的航线航行，结果患者大幅减少，无一人死亡。这次实验被视为日本流行病学的开端。
为了将在伦敦学到的护理理念付诸实践，他在大山舍松等人的妇人慈善会支持下，开办了日本首所护士学校看护妇教育所。同年他成为海军军医的最高级别军医总监。他发表了改善饮食的观点，但据说学界无人赞同，只招来一片反驳。
日本首次授予博士学位时，他成为医学博士之一。这一年，护士学校在皇后出席下送出了首批五名毕业生。在海军，伙食改革已使脚气病患者急剧减少，其成果超越了学界的反对而显现出来。
他辞去统管海军医疗的局长职务，转入预备役。此后他继续在慈惠医院等处为患者诊治，并被任命为贵族院议员，一直任职到去世。他还历任医师团体会长等职，在医疗和教育两方面持续贡献社会。
因多年功绩，他被列入华族，受封男爵。他出身农村低级武士之家，终于成为华族，人们称赞他的成功。另一方面，围绕脚气病的病因，他与陆军及学习德国医学的学者之间长期存在观点分歧。
他在美国哥伦比亚大学和母校伦敦医学院发表演讲。演讲内容刊登在美国和英国的医学杂志上，高木通过改善伙食预防脚气病的业绩由此广为世界所知。后来维生素被发现，他的远见卓识得到了更高的评价。
他因脑溢血去世。他创办的学校、医院和护士学校，如今仍以东京慈惠会医科大学及其附属医院、护理专门学校的形式延续着。南极还有一个以他命名的地方叫高木岬。以病人为先的医学精神至今仍在传承。
内容基于教科书和传记中可以确认的史实，不确定之处会注明。