越後国の新発田（新潟県新発田市）で、商家の三男として生まれた。幼いころの名は鶴吉という。家は薬や砂糖、塩などを扱う商売で栄えていた。塾で学ぶかたわら、少年のころから狂歌などの戯れ歌に興味を持ち、のちには狂歌集も出すほど生涯の楽しみとした。
故郷で、知り合いの家のふるまいによって家の酒屋の商売が差し止められたことに強く憤り、江戸へ出ることを決めた。江戸では狂歌の仲間をたよって塩物の商いを手伝ったのち、鰹節店で丁稚として働いた。このころ、のちの銀行家・安田善次郎と親しくなった。
奉公の間にためたお金を元手に独立し、自分の乾物店を開いた。小さな店から商売を始め、商人としての経験を積んでいった。ところが幕末に横浜で黒船を見たことをきっかけに、これからは武器の時代がくると考え、乾物店をやめて鉄砲店で見習いを始めた。
神田に鉄砲店の大倉屋を開いた。店に品物を置くお金がなかったため、注文を受けるたびに横浜の外国人居留地へ出向き、外国商人から鉄砲を買い入れた。品質の悪い銃を高く売る商人が多いなか、良い品を早く安く届けることを心がけて信用を得た。
戊辰戦争が始まると、新政府軍の御用商人となって、東北へ向かう軍の物資の運び入れを受けもった。これをきっかけに政府とのつながりを深め、のちには台湾出兵や西南戦争、日清・日露戦争でも軍の物資を扱い、大きな富を築いた。
民間人として初めて、欧米の経済のようすを見て回る旅に出た。アメリカやイギリス、フランスなどの都市を訪れ、ロンドンでは岩倉使節団の大久保利通らとも会ったとされる。帰国の翌年には大倉組商会をつくり、海外との貿易に乗り出した。日本の会社として早くから海外に支店も置いた。
東京商法会議所（今の東京商工会議所）の設立などにかかわり、さまざまな新しい事業の立ち上げに加わった。東京の町の運営にかかわる会議所で渋沢栄一と出会い、その後五十年にわたって親しく交わった。二人は多くの会社づくりに力を合わせた。
渋沢栄一らとともに設立にかかわった帝国ホテルが、東京の日比谷に開業した。外国からの客をもてなすための、日本を代表するホテルだった。大倉はのちに大倉土木組（今の大成建設）をつくり、鉄道や建物、ビールなど、はば広い分野の会社づくりにかかわった。
自分のお金を出して東京に大倉商業学校をつくった。これが今の東京経済大学のもとである。大倉は学校づくりに熱心で、のちには大阪や朝鮮半島にも商業学校を開いた。商売で得た富を教育に生かそうとしたのである。同じ年には三度目の欧米の旅にも出た。
長年集めてきた日本や東洋の美術品を公開するため、自分の屋敷の中に日本で最初の私立の美術館とされる大倉集古館を開いた。美術品を集めるようになったのは、明治の初めに外国人へ売られかけた古い建物を買い取ったことがきっかけだったという。
秩父宮が立山に登ったことに感激し、自分もかごや背負子に担がれて南アルプスの赤石岳の頂上まで登ったという。九十歳近い年齢での登山は話題になった。豪快な人柄で知られ、一中節を習うなど遊びにも熱心だったが、「政商」と厳しく批判されることも多かった。
東京で病のため亡くなった。赤坂の屋敷で行われた葬儀には、千を超える花輪が贈られたという。大倉が作ったり育てたりした会社は、建設、ホテル、食品、化学など多くの分野に広がり、大成建設やホテルオークラなど、今もその流れをくむ会社が残っている。
井上馨板垣退助谷干城三条実美大隈重信山県有朋モース後藤象二郎
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。