京都の堀川で、材木商の家の長男として生まれた。家は代々の町人で、家族は仁斎が家業を継ぐか、医者になって家を支えることを望んでいた。
このころ、儒学の書『大学』を読んで深く心を動かされ、学問の道に進むことを決めたと伝わる。家族や親類は「学問では食べていけない」と反対したが、仁斎はほとんど独学で儒学の勉強を続けた。
若いころは当時の主流だった朱子学に打ちこみ、宋の学者たちの書物をくり返し読んだ。しかし考えつめるうちに心と体をこわし、このころから長く家にこもって静かに暮らした。
京都・堀川の自宅で塾を開いた。のちに「古義堂」と呼ばれるこの塾には、身分を問わず多くの人が集まり、門人は3000人にのぼったと伝わる。仁斎は町人の学者として生涯を過ごした。
このころ、朱子学の解釈をうたがい、『論語』や『孟子』を直接読んで、孔子・孟子のもともとの教えを知ろうとする古義学を唱えた。人と人との思いやりである「仁」を何より大切にし、毎日の暮らしの中の道徳を重んじた。
長男の東涯が生まれた。東涯はのちに父の学問を受けつぎ、古義堂を守りながら、父の残した多くの書物を整理して世に出した。
このころ、『論語古義』『孟子古義』『語孟字義』などの著作を、何十年もかけて書き直し続けた。仁斎は『論語』を「この世で最高の書」とたたえたことで知られる。
晩年も講義を続け、大名から招かれても仕えることはなかったと伝わる。公家や武士、商人までが仁斎の講義を聞きに訪れ、京都を代表する学者として尊敬された。
江戸の若い学者・荻生徂徠から、教えを求める手紙が届いた。病気がちだった仁斎は返事を出せないまま翌年亡くなり、のちに徂徠は仁斎の学説を批判するようになったと伝わる。
京都で亡くなった。著作の多くは死後、子の東涯たちの手で出版された。古義堂は伊藤家によって長く受けつがれ、その跡は今も京都の堀川に史跡として残っている。
天草四郎三井高利山鹿素行酒井忠清徳川光圀貝原益軒渋川春海契沖
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。