陸奥の一関（岩手県）で、一関藩の医者・大槻玄梁の子として生まれた。医者の家に育ち、幼いころから学問に親しんだ。
地元一関の名医・建部清庵に入門し、医学を学び始めた。清庵はオランダ医学に強い関心を持ち、江戸の杉田玄白と手紙で意見を交わしていた人物で、玄沢もその影響を強く受けた。
江戸に出て杉田玄白の塾に入り、さらに前野良沢からオランダ語を学んだ。「玄沢」という名は、師である玄白と良沢から一字ずつもらったものと伝わる。
長崎へ行き、オランダ語の通訳（オランダ通詞）たちのもとで、オランダ語をさらに深く学んだ。本場で身につけた知識は、のちの研究や教育に大いに役立った。
仙台藩の医者に取り立てられ、江戸に住むことになった。江戸で蘭学の塾「芝蘭堂」を開き、全国から集まった若者たちを教えた。宇田川玄真や稲村三伯らすぐれた弟子が育った。
オランダ語と蘭学の入門書『蘭学階梯』を出版した。初めて学ぶ人にもわかるように書かれ、多くの人が蘭学を学ぶきっかけとなった。
西洋の暦の1月1日にあたる日に、芝蘭堂に蘭学者たちを集めて新年を祝う会を開いた。これは「オランダ正月」と呼ばれ、その後も毎年のように続けられた。
師の杉田玄白に頼まれ、『解体新書』の誤りを正して改訂した『重訂解体新書』を完成させた（出版は28年後）。より正確な解剖学の知識を伝えるための大仕事だった。
ロシアから帰国した仙台の漂流民・津太夫らの話を聞き取り、地図や挿絵入りの記録『環海異聞』をまとめた。世界をひと回りして帰った彼らの話は、ロシアや外国のようすを知る貴重な資料となった。
幕府の天文方に置かれた蛮書和解御用で、オランダ語の書物の翻訳にあたった。フランスの百科事典のオランダ語版を訳す『厚生新編』の仕事にもかかわった。
『重訂解体新書』がついに出版された。この年には、オランダ商館の医師シーボルトが江戸を訪れ、多くの蘭学者がその新しい知識に学ぼうとしていた。
江戸で亡くなった。芝蘭堂は蘭学を全国に広める中心となり、その学問は子の大槻玄幹や、国語辞典『言海』をつくった孫の大槻文彦にも受けつがれた。
上杉鷹山大黒屋光太夫喜多川歌麿最上徳内良寛松平定信葛飾北斎華岡青洲
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。