他作为旗本设乐贞丈的三子，出生于江户芝。母亲是掌管幕府学问的林家家主林述斋之女，叔舅中有鸟居耀藏和林复斋。他在重视学问的家族中长大，自幼亲近汉学。因是三子，没有继承家业的希望。
他作为旗本岩濑忠正的女婿入赘为养子，成为八百石岩濑家的继承人。由此开启了作为幕臣任职的道路。在尚无官职时，他勤奋治学，向周围人展现了才能。这是通向日后外交舞台的第一步。
他通过了幕府昌平坂学问所举行的大考，因成绩优异受到奖赏。后来他负责甲府的学问所，回江户后成为昌平坂学问所的教授。深厚的儒学修养后来也成为他与外国交涉时的逻辑力量。
佩里来航的次年，老中阿部正弘发现了他的才能，将他破格提拔为幕府的监察官目付。他负责海防，致力于开设教授武艺的讲武所、研究洋书的蕃书调所和长崎海军传习所，以及修建品川炮台。他成为推进改革的年轻人之一。
俄国使节普提雅廷来航后，他前往下田参加交涉，见证了日俄和亲条约的缔结。与外国使节直接交锋的经历，使他强烈感到学习世界局势的必要。后来他曾请求前往香港实地考察，但未能实现。
他与美国总领事哈里斯进行了十余次交涉，与井上清直一起签署了日美修好通商条约。他承认日本没有通商经验，却逐条追问条文，减少了开港地，并禁止外国人在国内自由旅行。据说哈里斯也说过，他常被岩濑驳倒而修改条文。
他出任外国奉行，又出席并签署了与荷兰、俄国、英国和法国的修好通商条约。参与包括美国在内全部五国条约的只有岩濑一人。条约中仍留有领事裁判权、没有关税自主权等不利之处，成为日后的课题。
围绕开港地，幕府打算以对岸的横滨村代替条约中的神奈川开港，他重视条约文字而表示反对。又因在将军继嗣问题上支持一桥庆喜，他在大老井伊直弼的安政大狱中被调任负责营建的闲职。
他被免职，并被命令闭居在家。在江户向岛的岐云园，他过着享受书画的平静生活。虽然被排除在外交一线之外，但后世评价他的远见，还把他作为最早倡导横滨开港的人建立了纪念碑。
他在失意中患病，四十多岁便去世了。他作为外交官活跃的时间只有五年左右，却与水野忠德、小栗忠顺一起被誉为「幕末三俊」。大正时代他的功绩获得认可，被追赠官位，他还出现在岛崎藤村的小说《黎明之前》中。
井伊直弼锅岛直正（闲叟）吉田东洋岛津久光阿部正弘胜海舟大村益次郎约翰万次郎
内容基于教科书和传记中可以确认的史实，不确定之处会注明。