他作为医生小林直辅之子出生于播磨赤穗郡的村庄，取名庆太郎。他进入父亲也曾就读的冈山藩闲谷学校，用五年时间学习汉学、儒学和汉方医学。这个在医生家庭长大的少年，后来把兴趣扩展到了军事学和工学。
他在故乡担任兰方医的助手并改名圭介后，来到大坂进入绪方洪庵的适塾，学习荷兰语和西洋医学。适塾是全国青年竞相求学之所，他在这里掌握的荷兰语能力，成为日后解读西洋兵学和技术书籍的基础。
他与适塾的同伴一起来到江户，一边帮忙翻译一边成为坪井塾的塾头。从这时起，他的兴趣从医学转向西洋兵学、工学和摄影术。他还结识了胜海舟，更加坚定了用新知识为国防出力的想法。
他受邀到江川家的私塾担任兵学教授，同时向曾漂流到美国生活的中滨万次郎学习英语。次年他被管辖故乡的尼崎藩录用为藩士。在荷兰语之外又掌握了英语，使他能学习的知识范围大大扩展。
他参考荷兰技术书籍，教工匠制作方法，在日本首次用合金制成金属活字。这被称为大鸟活字，他用它接连翻译出版了西洋火炮等书籍。他的筑城书颇受好评，据说长州在实际筑城时曾加以参考。他还试制了照相、温度计和气球。
他被录用为幕臣，参与组建学习法国式军制的幕府传习队，成为步兵指挥官。次年他升任幕府陆军最高干部之一的步兵奉行。鸟羽伏见之战后的会议上，他与小栗忠顺、榎本武扬一起强烈主张继续作战。
江户城交出的那天，他率传习队离开江户，在宇都宫、会津等地与新政府军作战。他与土方岁三等人会合，但在山口之战中遭受重大损失，退往仙台。在那里他与榎本武扬的舰队会合，渡海到虾夷地，奔赴戊辰战争的最后战斗。
他在箱馆政权中担任陆军负责人，在箱馆战争中以拖延战术顽强作战，但逐渐陷入绝境，在五棱郭投降。他被押送东京关入牢狱，并把押送经过写进日记。作为战败一方的指挥官，他度过了看不到前途的日子。
在黑田清隆等人的努力下，他获赦出狱，因其学识被邀请进入新政府。他任职于开发北海道的开拓使，为洽谈公债和考察机械遍访欧美各国。在昔日敌人的政府中，他作为技术专家致力于建设新日本。
他在工部省统管官营工厂，推进水泥、玻璃、造船、纺织等事业。这一年他成为后来东京大学工学部前身工部大学校的首任校长，培养了众多技术人员。他还创办日本第一份工业杂志，努力普及新技术。
他历任元老院议官后，成为学习院院长，并兼任华族女学校校长。在技术人员的经验之外，他在教育领域也担负重任。从幕府军指挥官到支撑明治学校教育的人物，他的历程映照出时代的巨大变化。
他转任外交官，成为驻清国公使，后来又兼任驻朝鲜公使。甲午战争前夕他赴朝鲜，与清朝的袁世凯等人进行艰难的交涉。开战后他被解除公使职务回国，成为为天皇提供咨询的枢密顾问官。
他因多年功劳被授予男爵，但晚年遭遇灾害、儿子们相继先他而去等不幸。他在神奈川国府津的别墅病逝。他擅长汉诗与和歌，留下了戊辰战争的记录，还介绍过西洋的进化论，是一位以广博学识度过一生的人。
河锅晓斋中村正直寺岛宗则木户孝允江藤新平福泽谕吉岩崎弥太郎前岛密
内容基于教科书和传记中可以确认的史实，不确定之处会注明。