生于江户町人之家，本名据说是安藤吉次郎。一般认为生于1747年，但因他晚年开始虚报年龄，也有1738年之说，诸说并存。
这时期他最初学习狩野派绘画，后来在推广锦绘的浮世绘师铃木春信门下作画。他在后来所写的文章中称，春信死后自己还曾以其名义作画，可见其年轻时的画技。
他师从传入中国写实花鸟画的宋紫石，掌握了精细描绘的技法。据说这时期他还与平贺源内交往，加深了对西洋绘画和科学的兴趣。辗转于不同流派，造就了江汉独特的画风。
在兰学者大槻玄泽等人的帮助下研究荷兰书籍，成功在日本首次制作出腐蚀铜版画（蚀刻版画）。描绘江户三围神社风景的作品颇为有名，也被当作透过窥镜观赏的画作来欣赏。
他从江户旅行至长崎，用图文记录了沿途情形（后来成为《西游旅谭》《西游日记》）。在长崎他接触到荷兰商馆人员的生活，返程时在九州生月岛参观捕鲸并留下记录。
他出版了世界地图《地球全图》及其解说书，通俗地向人们介绍地球是圆的、绕太阳运转的日心说。不仅向学者，也向普通市民传播西洋知识，这是江汉的特色。
大约从这时起，他创作了许多采用西洋画法的油画，运用透视和明暗表现相模七里滨、富士山等风景。也有作品作为绘马供奉于神社，希望让更多人看到西洋风格绘画。
他出版了总结西洋天文学的《刻白尔天文图解》，介绍哥白尼学说。他虽是画师，却撰写了许多关于天文、地理和科学的书，努力向江户人传递看待世界的新视角。
据传厌倦世事的江汉向熟人分发了自己已死的通知。后来他在外散步时被熟人撞见，留下了回答“死人岂会说话”的逸事，可见其性格古怪。
他在江户去世。从浮世绘起步，历经汉画、铜版画、油画，直至介绍天文与地理，他留下了跨越多个领域的作品，被评价为将西洋知识与绘画相结合的先驱。
上田秋成林子平伊能忠敬塙保己一茑屋重三郎上杉鹰山大黑屋光太夫喜多川歌麿
内容基于教科书和传记中可以确认的史实，不确定之处会注明。