他作为藩士之子出生于信浓高远藩的城下。父亲是俸禄微薄的下级武士，据说生活极其贫困。在艰难家境中长大的少年，决心靠学问立身。他后来在音乐和语言教育方面留下了重大业绩。
他进入高远藩的藩校进德馆开始求学。虽然只是小藩的学校，他认真用功，体会到学习的乐趣。在这里打下的基础，成为他后来前往江户和东京挑战新学问的力量。
他来到江户，向曾漂流到美国生活的中滨万次郎学习英语。万次郎出国后，他又跟随住在筑地的美国传教士继续学英语。他还到京都学习兰学等，后来经藩推荐进入大学南校。
他在文部省任职后，出任爱知县师范学校校长。他在附属幼儿园里，用日本童谣开始了孩子们边唱边玩的游戏唱歌。通过歌唱培养孩子的想法，是通向他日后音乐教育事业的第一步。
为了考察师范教育，他与高岭秀夫等人一起赴美留学，在马萨诸塞州的师范学校学习。在那里他向音乐教育家卢瑟·梅森学习音乐教学法，人们认为他还接触到了后来成为日本唱歌原型的歌曲。
在美国，他向格雷厄姆·贝尔学习了教说话困难者发音的方法。据说贝尔发明电话后，他与金子坚太郎一起拜访贝尔的住处，体验了通话。据称这是第一次用英语以外的语言打电话。
他还在哈佛大学学习理科和化学等，并研究了听力和语言障碍者的教育，随后回到日本。他以留学所得的知识为基础，着手把师范教学、音乐、体操等新的教育方法引入日本学校。
他出任东京师范学校校长，被任命为负责把西洋音乐引入学校的音乐取调挂的负责人。他把恩师梅森请到日本，合作探索适合日本人的音乐教育方式。他还向文部卿寺岛宗则提交了调查音乐的计划书。
他与梅森一起编纂供学校歌唱的小学唱歌集，第一卷出版。其中许多歌曲是给西洋旋律配上日语歌词，如今仍在传唱的蝴蝶的旋律，人们认为也是这样传入日本的。这是学校歌唱文化的开端。
他出任东京音乐学校校长，同时兼任视力或听力障碍儿童就读的东京盲哑学校校长。后来他组建教育团体，大力推动要求国家补助小学经费的运动。他把教育视为国家的支柱，不断呼吁加以充实。
甲午战争后台湾被日本统治，他渡海赴台担任教育行政负责人。他在台北北部的芝山岩开办学校，开始日语教育。次年他回日本期间，学校遭到袭击，发生了六名教员丧生的惨痛事件。
他还担任过贵族院议员，之后为苦于口吃的人创办乐石社，致力于纠正发音的指导。这运用了他在美国向贝尔学到的发音教学法，后来也指导来自朝鲜、台湾和夏威夷的学习者。
他因脑部疾病去世，享年六十五岁。他的工作涉及音乐、残障者教育、发音指导和国家教育制度建设等广泛领域。孩子们在学校唱歌的景象，是他播下的种子之一，至今仍在延续。
高木兼宽小泉八云星亨荻野吟子高村光云儿玉源太郎乔赛亚·康德尔北里柴三郎
内容基于教科书和传记中可以确认的史实，不确定之处会注明。