長州藩士の井上勝行の三男として、萩の城下に生まれた。幼名は卯八という。母は、卯八がまだ赤ん坊のうちに亡くなった。父は西洋の学問を重んじる開明的な考えの持ち主で、のちに卯八が西洋の技術を学ぶ道へ進むうえで大きな影響を与えた。
野村作兵衛の跡継ぎとして養子に入り、野村弥吉と名を改めた。藩校の明倫館で学び、蘭学を重んじる父にならって、西洋の学問を身につけることを志した。のちに実家に戻るまで、若いころの彼は野村弥吉の名で知られることになる。
黒船の来航ののち、長州藩は相模の海岸の警備を命じられた。弥吉は警備に出た父とともに相模の宮田に移り、そこで同じ長州藩の伊藤博文と出会って親しくなった。この出会いはのちに二人がそろってイギリスへ渡り、明治の国づくりを支える縁へとつながっていく。
藩の命令で長崎に学び、伊藤博文とともに長崎海軍伝習所で西洋式の兵法を修めたが、それだけでは満足しなかった。続いて江戸の蕃書調所で航海術を中心に学び、さらに箱館に渡って武田斐三郎の塾で航海術と英語を学ぼうとするなど、各地で学び続けた。
藩が買った洋式船の船長を任されたが、自分の操船の腕に限界を感じ、留学への思いを強めた。そして伊藤博文、井上馨、山尾庸三、遠藤謹助とともに、ひそかに日本を出てイギリスへ渡った。この五人はのちに長州五傑とよばれる。ロンドンでは大学に入り、鉱山や鉄道の技術を学んだ。
伊藤と井上馨は一年ほどで帰国し、残った弥吉と山尾は学費が乏しくなって苦しい生活を送った。それでもたえ抜いて、この年にロンドンの大学を卒業した。木戸孝允のたび重なる求めに応じて帰国すると、実家に戻って井上の姓にかえり、父の名から一字をもらって井上勝と名乗った。
木戸孝允の呼びかけに応じて新政府に仕え、貨幣を造る役所の長や鉱山の役職に取り立てられた。先に政府に入っていた伊藤博文の部下として近代化の仕事に携わり、伊藤や大隈重信らとともに、鉄道を敷く計画を進めることになった。
イギリス人技師モレルのもとで鉄道を敷く実務を学び、鉄道に反対する人々や政治家の説得に当たった。工事の途中でモレルが亡くなると、その後を継いで工事の継続に努めた。そしてこの年、新橋と横浜の間に日本で最初の鉄道が開通した。前年には鉄道頭にも任じられていた。
鉄道の役所の長である鉄道局長に就き、大阪駅の構内に技術者を育てる養成所を設けた。それまで日本の鉄道は外国人技師に頼っていたが、この養成所から多くの日本人技師が育った。勝は外国人技師を少しずつ減らし、日本人の手で鉄道を敷く体制へと切りかえていった。
京都と大津を結ぶ鉄道の工事で、養成所で学んだ技師たちを現場に配置し、勝自身もわらじをはいて現場を指揮し、つるはしを振るったという。工事は難航し、事故で犠牲者も出たが、この年に逢坂山トンネルが完成した。日本人だけの手で造られた初めてのトンネルである。
東京と京都を結ぶ線路は、はじめ中山道を通る計画だったが、勝は自ら現地を調べて工事の難しさを知り、東海道へのルート変更を決めた。箱根の峠越えや大きな川への架橋に苦しみながらも工事を進め、この年、東海道線が全線開通した。この功績で勲章を受けた。
鉄道庁の初代長官として東北本線の全線開通にも力を尽くし、この年に東京と青森が鉄道で結ばれた。同じ年、小野義眞や岩崎弥之助とともに岩手に小岩井農場を開いた。のちに鉄道を敷いて美しい田畑をつぶした償いと語ったが、厳しい気候に苦しみ、経営は赤字が続いた。
三年前に鉄道庁長官を退いたのちも、鉄道の発展の道を探り続けた。この年、大阪に汽車製造の会社を設立し、機関車を外国から買うのではなく、日本で造れるようにすることを目指した。のちには鉄道の協会の会長も務め、鉄道に生涯をささげた。
鉄道の視察などのためヨーロッパに渡り、イギリスを中心に各地を調べてロンドンに戻ったが、持病の腎臓の病が悪化し、そのままロンドンで亡くなった。かつて若き日に学んだ地での最期であった。遺体は火葬されて日本へ運ばれ、東京の品川にある東海寺に葬られた。
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。