他生于京都冈崎，是木村长右卫门之子，幼名巳之助。他家世代担任庄屋，但到父亲这一代生活已很困苦，他从小就沿街卖豆腐补贴家用。据说这段艰辛经历培养了他日后坚韧不拔的性格。
他投靠在盛冈藩放贷的舅舅，前往盛冈学艺。他在舅舅手下帮忙收债，之后在盛冈藩御用商人的店里工作，但那家店不久就倒闭了。在遥远的东北，他亲身体会到了经商的艰难。
经舅舅介绍，他成为京都豪商小野组掌柜古河太郎左卫门的养子，第二年改名古河市兵卫。他与养父一起收购生丝，才能得到认可，在小野组内地位逐步提高。
他顺应明治维新时代巨变的潮流，把东北地区的生丝运往横滨，在对外贸易中获得巨额利润。小野组还受托经办新政府的公款，市兵卫成为支撑小野组的核心人物之一。这是他作为商人大展宏图的时期。
由于政府突然改变公款存放制度，小野组遭受重创而倒闭，市兵卫再次遭遇挫折。但他交出小野组的资产，防止了有业务往来的涩泽荣一的第一银行连带倒闭，从而赢得了涩泽这位有力的合作者。
他独立后投身矿山事业。起初请求政府转让官营矿山未获批准，但他借用原中村藩主相马家的名义，得到了新潟县的草仓矿山。草仓矿山经营顺利，使他获得了继续从事矿业的信心和资金。
他买下了栃木县的足尾铜山。当时的足尾铜山是在江户时代繁荣之后被认为已经采尽的老矿山。他还遭到掌管现场的矿工头们的强烈反对，最初几年几乎采不出铜，经营十分艰难。但市兵卫没有放弃，坚持开采。
足尾铜山接连发现大矿脉，铜产量急剧增加，发展成日本第一的铜山。市兵卫还引进了新机器和新技术。同年他在东京开设炼铜工厂，后来发展为古河电气工业。古河财阀就这样逐渐形成。
在铜山迅速发展的背后，从矿山流出的毒物给渡良濑川流域的农田和鱼类造成了严重危害。这一年，众议院议员田中正造在帝国议会上提出了这一问题。足尾矿毒逐渐成为重大社会问题，被称为日本公害问题的原点。
受害农民的申诉日益强烈，政府命令古河进行防治矿毒的工程。市兵卫在短期限内修建了沉淀池等设施，但危害并未消除，问题长期持续。足尾矿毒问题至今仍被视为市兵卫事业的一大阴暗面。
他在东京去世。相传他在经商中重视"运、钝、根"（运气、执着、毅力）。他收外务大臣陆奥宗光的次子润吉为养子，事业由古河家继承。古河的企业后来扩展为古河电工、富士通等公司。
大久保利通河锅晓斋中村正直寺岛宗则木户孝允大鸟圭介江藤新平福泽谕吉
内容基于教科书和传记中可以确认的史实，不确定之处会注明。