生于京都堀川一个木材商人家庭，是家中长子。家里世代都是町人，家人希望仁斋继承家业，或者当医生来支撑家庭。
据说约在此时，他读儒家经典《大学》深受触动，决心走上治学之路。家人和亲戚以「做学问吃不上饭」为由反对，但仁斋几乎靠自学坚持钻研儒学。
年轻时他潜心钻研当时的主流朱子学，反复阅读宋代学者的著作。然而苦思冥想使他身心俱损，约从此时起，他长期闭门在家静养。
他在京都堀川的自家开设私塾。这所后来被称为「古义堂」的私塾不问身份，吸引了许多人，据说门人多达3000人。仁斋终生以町人学者的身份度过。
约在此时，他怀疑朱子学的解释，提倡直接阅读《论语》《孟子》、探求孔子和孟子本来教诲的古义学。他把人与人之间的关爱——「仁」看得高于一切，重视日常生活中的道德。
长子东涯出生。东涯后来继承父亲的学问，守护古义堂，并整理出版了父亲留下的大量著作。
约在此时，他用几十年的时间不断修改《论语古义》《孟子古义》《语孟字义》等著作。仁斋以称赞《论语》为「宇宙第一书」而闻名。
据说他晚年仍坚持讲学，即使受到大名的邀请也不去出仕。公家、武士乃至商人都来听仁斋讲课，他作为京都首屈一指的学者受到尊敬。
江户的年轻学者荻生徂徕来信求教。体弱多病的仁斋还没来得及回信便于次年去世，据说后来徂徕转而批评仁斋的学说。
在京都去世。他的著作大多在死后由儿子东涯等人出版。古义堂由伊藤家长期传承，其遗址至今仍作为史迹保存在京都堀川。
天草四郎三井高利山鹿素行酒井忠清德川光圀贝原益轩涩川春海契冲
内容基于教科书和传记中可以确认的史实，不确定之处会注明。