江戸で、三河の田原藩の武士の長男として生まれた。家はとても貧しかった。
このころ、家計を助けるために絵を学び、のちに谷文晁に学んで画家としても名を上げた。
田原藩の家老となり、海の守りなどを担当して藩の改革に取り組んだ。
このころ、西洋の画法も取り入れた『鷹見泉石像』をえがいた。今は国宝となっている。
高野長英らと蘭学を通じて世界の情勢を学んだ。モリソン号事件を知り、幕府の対外政策を批判する『慎機論』を書いた。
幕府を批判したとして捕らえられ、田原で謹慎することになった（蛮社の獄）。
田原で絵を売って暮らしを支えていたことが問題とされ、藩主に迷惑がかかることをおそれて、自ら命を絶った。
広瀬淡窓会沢正志斎二宮尊徳大塩平八郎水野忠邦ペリーシーボルト歌川広重
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。