他出生于萩城下，是长州藩士井上胜行的第三子，幼名卯八。母亲在卯八还是婴儿时就去世了。父亲思想开明，重视西洋学问，对卯八日后走上学习西洋技术的道路产生了很大影响。
他作为野村作兵卫的继承人入嗣，改名野村弥吉。他在藩校明伦馆学习，效法重视兰学的父亲，立志掌握西洋学问。在后来回归本家之前，他年轻时一直以野村弥吉之名为人所知。
黑船来航后，长州藩奉命警备相模海岸。弥吉随出任警备的父亲来到相模的宫田，在那里结识了同藩的伊藤博文并成为好友。这次相识促成了两人日后一同远赴英国、共同支撑明治国家建设的缘分。
他奉藩命到长崎学习，与伊藤博文一起在长崎海军传习所修习西式兵法，但并不满足。接着他在江户的蕃书调所以航海术为主进行学习，又渡海到箱馆，想在武田斐三郎的私塾学习航海术和英语，辗转各地不断求学。
他被任命为藩里购买的西式船只的船长，却感到自己驾船技术有限，更加渴望留学。于是他与伊藤博文、井上馨、山尾庸三、远藤谨助一起秘密离开日本前往英国。这五人后来被称为长州五杰。在伦敦他进入大学，学习矿山和铁道技术。
伊藤和井上馨大约一年后就回国了，留下的弥吉和山尾因学费短缺过着艰苦的生活。但他们坚持下来，这一年他从伦敦的大学毕业。应木户孝允的多次请求，他回到日本，回归本家恢复井上姓，并取父亲名字中的一字，改名井上胜。
他响应木户孝允的号召出仕新政府，被任命为造币机构的长官和矿山方面的官员。他作为先进入政府的伊藤博文的部下参与近代化工作，与伊藤、大隈重信等人一起推进铺设铁路的计划。
他在英国工程师莫雷尔手下学习铺设铁路的实务，并负责说服反对铁路的民众和政治家。莫雷尔在工程中途去世后，他接手努力使工程继续。这一年，日本第一条铁路在新桥与横滨之间开通。他在前一年已被任命为铁道头。
他就任铁道局长，在大阪站内设立培养技术人员的养成所。此前日本的铁路依赖外国工程师，而这个养成所培养出了许多日本工程师。井上胜逐步减少外国工程师，转向由日本人自己铺设铁路的体制。
在连接京都与大津的铁路工程中，他把在养成所学习过的技术人员派到现场，据说他自己也穿着草鞋指挥施工、挥动鹤嘴镐。工程十分艰难，事故中还有人遇难，但这一年逢坂山隧道竣工。这是第一条完全由日本人建造的隧道。
连接东京和京都的线路最初计划经过中山道，但井上胜亲自实地勘察，了解到施工的困难，决定将路线改为东海道。尽管翻越箱根山口和在大河上架桥十分艰苦，工程仍不断推进，这一年东海道线全线开通。他因此功绩获得勋章。
作为铁道厅首任长官，他还致力于东北本线全线开通，这一年东京与青森通过铁路相连。同年，他与小野义真、岩崎弥之助一起在岩手开办小岩井农场。他后来说这是对铺设铁路毁掉良田的补偿，但农场苦于严酷的气候，经营持续亏损。
三年前辞去铁道厅长官后，他仍不断探索发展铁路的道路。这一年，他在大阪创办机车制造公司，目标是让机车不再从国外购买，而是在日本自己制造。后来他还担任铁道协会会长，把一生献给了铁路。
他为考察铁路等前往欧洲，以英国为中心在各地调查后回到伦敦，但宿疾肾病恶化，就在伦敦去世。他的生命终结于年轻时求学的地方。遗体火化后运回日本，安葬在东京品川的东海寺。
内容基于教科书和传记中可以确认的史实，不确定之处会注明。