江戸の町人の家に生まれた。本名は安藤吉次郎とされる。生年は1747年とするのが一般的だが、晩年に本人が年齢を多く言うようになったため、1738年とする説もあり、諸説ある。
このころ初めは狩野派の絵を学び、やがて錦絵を広めた浮世絵師鈴木春信のもとで絵を描いた。のちに自分で書いた文章では、春信の死後にその名で絵を描いたこともあったと述べており、若いころの腕前がうかがえる。
中国の写実的な花鳥画を伝えた宋紫石に学び、細かく写す技を身につけた。このころ平賀源内とも交わり、西洋の絵や科学への関心を深めたとされる。異なる流派を渡り歩いたことが、江漢の独自の画風をつくった。
蘭学者大槻玄沢らの助けを得てオランダの書物を調べ、腐食銅版画（エッチング）を日本で初めてつくることに成功した。江戸の三囲神社の景色を描いた作品が知られる。のぞき眼鏡で見る絵としても楽しまれた。
江戸から長崎まで旅をし、その様子を絵と文で記録した（のちに『西遊旅譚』『西遊日記』）。長崎ではオランダ商館の人々の暮らしにふれ、帰り道には九州の生月島で捕鯨の様子を見学して記録に残した。
世界地図『地球全図』とその解説書を出し、地球が丸く太陽のまわりを回っているという地動説を、わかりやすく人々に紹介した。学者だけでなく町の人々にも西洋の知識を伝えようとした点に、江漢の特色がある。
このころから西洋の画法を取り入れた油絵を多く描き、遠近法や陰影を使って相模の七里ヶ浜や富士山などの景色を表した。神社に絵馬として納めた作品もあり、洋風画を広く人々に見せようとした。
西洋の天文学をまとめた『刻白爾天文図解』を出し、コペルニクスの説を紹介した。絵師でありながら、天文や地理、科学について多くの本を書き、江戸の人々に新しい世界の見方を伝えようとした。
世の中に嫌気がさした江漢は、自分が死んだという知らせを知人に配ったと伝わる。その後、外を歩いているところを知人に見つかり、「死人がものを言うか」と答えたという逸話が残る。風変わりな人柄がうかがえる。
江戸で亡くなった。浮世絵から始まり、漢画、銅版画、油絵、そして天文や地理の紹介まで、一つの分野にとどまらない仕事を残した。西洋の知識と絵を結びつけた先駆者として評価されている。
上田秋成林子平伊能忠敬塙保己一蔦屋重三郎上杉鷹山大黒屋光太夫喜多川歌麿
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。