他生于越后国新发田（新潟县新发田市）一个商人家庭，是第三子，幼名鹤吉。家里经营药材、砂糖、盐等生意而兴旺。他在私塾学习的同时，从少年时代起就对狂歌等戏谑诗歌感兴趣，并将其作为终生爱好，后来还出版过狂歌集。
在故乡，因熟人家的行为导致自家酒铺被勒令停业，他非常愤慨，决定前往江户。到江户后，他投靠狂歌朋友帮忙经营咸货生意，之后在鲣节店当学徒。这一时期，他与后来的银行家安田善次郎成了好友。
他用学徒期间攒下的钱独立，开设了自己的干货店，从小店起步积累经商经验。但幕末在横滨看到黑船后，他认为武器的时代即将到来，于是关闭干货店，到枪炮店当学徒。
他在神田开设了枪炮店大仓屋。由于没钱囤货，每接到订单他就前往横滨外国人居留地，从外国商人那里购进枪支。当时许多商人高价出售劣质枪支，他则注重快速、廉价地交付好货，因而赢得了信誉。
戊辰战争爆发后，他成为新政府军的御用商人，负责向开赴东北的军队运送物资。以此为契机，他加深了与政府的联系，后来在出兵台湾、西南战争、甲午和日俄战争中也经办军需物资，积累了巨额财富。
他作为第一个民间人士，出发考察欧美经济情况。他访问了美国、英国、法国等地的城市，据说在伦敦还会见了岩仓使节团的大久保利通等人。回国第二年他创办大仓组商会，开展对外贸易，也是较早在海外设立分店的日本企业。
他参与创立东京商法会议所（今东京商工会议所）等，加入了各种新事业的创办。他在参与东京市政运营的会议所结识了涩泽荣一，此后五十年交往密切，两人合力创办了许多公司。
他与涩泽荣一等人共同参与创立的帝国酒店在东京日比谷开业，这是日本用来接待外国客人的代表性酒店。大仓后来创办大仓土木组（今大成建设），参与创办了铁路、建筑、啤酒等广泛领域的公司。
他自己出资在东京创办大仓商业学校，这就是今天东京经济大学的前身。大仓热心办学，后来又在大阪和朝鲜半岛开办了商业学校。他想把经商所得的财富用于教育。同年他还第三次出访欧美。
为了展出多年收集的日本和东洋美术品，他在自己宅邸内开设了被认为是日本第一座私立美术馆的大仓集古馆。据说他开始收藏美术品，是因为明治初年买下了一座即将被卖给外国人的古建筑。
他被秩父宫登立山之事感动，据说自己也乘坐轿子和背架被抬上了南阿尔卑斯赤石岳的山顶。年近九十岁登山一事引起了话题。他以豪爽性格闻名，热衷学习一中节等娱乐，但也常被严厉批评为"政商"。
他在东京病逝。据说在赤坂宅邸举行的葬礼上收到了一千多个花圈。大仓创办或扶持的公司遍及建筑、酒店、食品、化学等众多领域，大成建设、大仓酒店等继承其脉络的公司至今仍然存在。
内容基于教科书和传记中可以确认的史实，不确定之处会注明。