他作为侍奉熊本藩家老长冈家的饭田家三子，出生于熊本城下。父亲是俸禄微薄的下级武士。据说他自幼被誉为神童，即使帮忙做家务也从不间断读书。他勤奋好学的样子引起了主君长冈是容的注意。
他得到主君长冈是容的赏识，进入长冈家的家塾必由堂学习了五年。接着他入儒学家木下犀潭的私塾，崭露头角，与竹添进一郎等人并列为受人瞩目的英才。出身低微的少年凭借学问开辟出自己的道路。
经木下犀潭推荐，他虽只是家臣的家臣，却被选为熊本藩藩校时习馆的寮生。他深入学习儒学，尤其是朱子学，但并不满足于死记硬背，而是重视对现实政治有用的实践之学。他每天埋头读书与注释。
他拜访了正在禁闭中的思想家横井小楠，与之辩论并留下记录。小楠主张开国、振兴贸易，年轻的井上则反驳说，与语言和制度都不同的外国能否顺利交往值得怀疑。后来他的想法发生了很大转变。
成为井上家养子后，他转到幕府在横滨开设的法语学校学习。然而大政奉还和戊辰战争的混乱使学业中断，他回到故乡。他也曾想在长崎学习，但因藩命而放弃，随熊本藩兵出征东北并留下日记。
他进入明治政府司法省，因会法语而作为考察司法制度的使节团成员前往欧洲。在德国，他接触到重视本国历史和习惯的法学，开始认为日本不应照搬外国法律，而应发挥自身的传统。
回国后，他的才能被大久保利通看中而受到重用。他随大久保前去平定佐贺之乱，又跟随大久保赴清国就出兵台湾进行交涉，负责起草交涉文书。作为年轻官僚，他开始直接参与国家大事。
大久保死后，他成为岩仓具视的智囊。当仿效英国的宪法方案被提出时，他主张尽快制定天皇权限强大的普鲁士式宪法，并在政府内部争取多数。这一年的明治十四年政变，确定了政府制定宪法的方针。
他作为伊藤博文的智囊大显身手，起草了天皇承诺开设国会时间的诏书，并参与起草了这一年颁布的军人敕谕。他还随行处理朝鲜发生的事件的善后。作为法律和文书的专家，他在政府的所有重要场合都受到倚重。
他在伊藤博文位于夏岛的别墅等地，与伊东巳代治、金子坚太郎一起围绕伊藤，四人反复讨论，推敲宪法草案。他深入研读古事记，努力把日本传统的统治理念融入宪法。据说他也参考了外国顾问的意见。
他在天皇咨询机构枢密院担任书记官长，支持审议工作，这一年大日本帝国宪法颁布。作为法律专家，他还参与起草了皇室典范等。据说他虽然思想保守，却重视依法保护国民权利的立宪主义原则。
受首相山县有朋之托，他起草了阐明道德教育基础的教育敕语。他认为应避免宗教和哲学色彩、保持中立，与同为熊本出身的儒学家元田永孚商量推敲措辞。这一年教育敕语颁布，长期被视为学校教育的支柱。
他在第二次伊藤内阁中出任文部大臣，虽饱受结核病之苦，仍全力推进学校制度改革。他推动国家补助以扩大实业教育，改革高等学校制度，努力开辟升大学以外的道路。他有时还亲自走访学校调查实情。
辞去大臣后，他在逗子的别墅疗养，但病情加重，临终前被授予子爵，随后去世。连立场对立的中江兆民也称赞他认真而不厚颜。作为描绘明治国家框架的人物，至今仍有人研究他。
新岛襄井上胜西乡从道陆奥宗光新岛八重中江兆民森有礼东乡平八郎
内容基于教科书和传记中可以确认的史实，不确定之处会注明。