旗本の設楽貞丈の三男として、江戸の芝に生まれた。母は幕府の学問を担う林家の当主林述斎の娘で、叔父には鳥居耀蔵や林復斎がいた。学問を重んじる一族の中で育ち、幼いころから漢学に親しんだ。三男のため、家を継ぐ見込みはなかった。
旗本の岩瀬忠正の娘の婿として養子に入り、八百石の岩瀬家の跡継ぎとなった。これにより幕臣として役目に就く道が開けた。まだ役職のない立場のまま学問に励み、その才能を周囲に示していった。のちの外交の舞台へとつながる第一歩だった。
幕府の昌平坂学問所で行われた大きな試験に合格し、成績が優れていたため褒美を受けた。のちに甲府の学問所の責任者として教育に当たり、江戸に戻ると昌平坂学問所の教授となった。儒学の深い教養は、のちに外国と渡り合う際の論理の力にもなった。
ペリー来航の翌年、老中の阿部正弘に才能を見いだされ、幕府の監察役である目付に抜てきされた。海の守りを担当し、武芸を教える講武所や洋書を研究する蕃書調所、長崎海軍伝習所の開設、品川の砲台づくりに力を尽くした。改革を進める若手の一人となった。
ロシアの使節プチャーチンが来航すると、下田に出向いて交渉に加わり、日露和親条約の締結に立ち会った。外国の使節と直接向き合ったこの経験で、世界の情勢を学ぶ必要を強く感じた。のちには香港へ渡って実地に調べたいと願い出たが、実現しなかった。
アメリカ総領事ハリスと十数回にわたって交渉し、井上清直とともに日米修好通商条約に署名した。通商の経験がないことを認めつつ条文を一つ一つ問いただし、開港地を減らし外国人の国内旅行を禁じさせた。ハリスも論破されて条文を改めたことが多かったと語ったという。
外国奉行となり、オランダ、ロシア、イギリス、フランスとの修好通商条約にも立ち会って署名した。アメリカを含む五か国すべての条約に関わったのは岩瀬ただ一人である。条約には領事裁判権や関税自主権がないという不利な点も残り、のちの課題となった。
開港地をめぐり、幕府が条約の神奈川に代えて対岸の横浜村に港を開こうとすると、条約の文言を重んじて反対した。また将軍の跡継ぎ問題で一橋慶喜を推したため、大老井伊直弼による安政の大獄で、建物を担当する閑職へ移された。
役を解かれたうえ、家にこもるよう命じられた。江戸向島の岐雲園で、書や絵を楽しむ静かな暮らしを送った。外交の第一線から退けられても、のちに横浜開港を最初に唱えた人物として記念碑が建てられるなど、その先見性は後世に評価されている。
失意のうちに病にかかり、四十代半ばで亡くなった。外交官として活躍したのはわずか五年ほどだったが、水野忠徳や小栗忠順とともに「幕末三俊」とたたえられた。大正時代には功績が認められて位を贈られ、島崎藤村の『夜明け前』にも登場している。
井伊直弼鍋島直正（閑叟）吉田東洋島津久光阿部正弘勝海舟大村益次郎ジョン万次郎
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。