京都の岡崎で、木村長右衛門の子として生まれた。幼いころの名は巳之助という。家は代々庄屋をつとめていたが、父の代には暮らしが苦しくなっており、幼いころから豆腐を売り歩くなどして家を助けた。この苦労が、のちの粘り強さを育てたといわれる。
盛岡藩で金貸しをしていた母方のおじをたよって、盛岡へ修行に出た。おじのもとで貸したお金の取り立てを手伝い、その後は盛岡藩の御用商人の店に勤めたが、その店はまもなくつぶれてしまった。遠い東北の地で、商売の厳しさを身をもって学んだ。
おじの世話で、京都の豪商・小野組の番頭だった古河太郎左衛門の養子となり、翌年に古河市兵衛と名を改めた。養父とともに生糸の買い付けにあたり、その才能を認められて、小野組の中で少しずつ地位を高めていった。
明治維新の世の中の大きな変化の波に乗り、東北地方の生糸を横浜へ送って外国との貿易で大きな利益をあげた。小野組は新政府のお金を取り扱う仕事も任され、市兵衛は小野組を支える中心人物の一人となった。商人として大きく羽ばたいた時期である。
政府がお金を預ける仕組みを急に変えたため、小野組は大きな打撃を受けてつぶれた。市兵衛はふたたび挫折を味わった。しかし小野組の財産を差し出して、取引のあった渋沢栄一の第一銀行が共倒れになるのを防いだことで、渋沢という心強い協力者を得た。
独立して鉱山の仕事に乗り出した。はじめは政府の鉱山の払い下げを願っても認められなかったが、旧中村藩主の相馬家の名前を借りるかたちで、新潟県の草倉鉱山を手に入れた。草倉鉱山の経営はうまくいき、鉱山業を続ける自信と資金を得た。
栃木県の足尾銅山を買い取った。当時の足尾銅山は、江戸時代に栄えたあと掘りつくされたと思われていた古い鉱山だった。現場を仕切る山師たちの強い反発にもあい、はじめの数年は銅がほとんど出ず、苦しい経営が続いた。それでも市兵衛はあきらめずに掘り続けた。
足尾銅山で次々に大きな鉱脈が見つかり、銅の生産が急に増えて、日本一の銅山へと成長していった。市兵衛は新しい機械や技術も取り入れた。同じ年には東京に銅を精錬する工場を開き、これはのちの古河電気工業へとつながった。古河財閥はこうして形づくられた。
銅山の急な発展の陰で、鉱山から流れ出た毒が渡良瀬川の流域の田畑や魚に大きな被害を出していた。この年、衆議院議員の田中正造が帝国議会でこの問題を取り上げた。足尾の鉱毒は、日本の公害問題の原点ともいわれる大きな社会問題になっていった。
被害を受けた農民たちの訴えが強まり、政府は古河に鉱毒を防ぐための工事を命じた。市兵衛は短い期限のうちに沈殿池などの工事を行ったが、被害はなくならず、問題は長く続いた。足尾の鉱毒問題は、市兵衛の事業の大きな影の部分として今も語られている。
東京で亡くなった。商売では運・鈍・根（運、ねばり強さ、根気）を大切にしたと伝わる。外務大臣の陸奥宗光の次男の潤吉を養子に迎えており、事業は古河家に受けつがれた。古河の会社は、のちに古河電工や富士通などへ広がっていった。
大久保利通河鍋暁斎中村正直寺島宗則木戸孝允大鳥圭介江藤新平福沢諭吉
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。