薩摩藩（鹿児島県）の身分の低い武士の家に生まれた。家は貧しかったが、剣術や砲術に励み、のちに西郷隆盛や大久保利通らのもとで、藩の若い力として活躍するようになった。
生麦事件をきっかけに起こった薩英戦争に加わり、イギリス艦隊の砲撃の威力を思い知った。このあと江戸で砲術を学んだとされ、西洋の軍事技術の大切さを身にしみて感じた。
薩摩と長州が手を結ぶため、長州へ使いとして出向き、木戸孝允に京都へ来るよう説いた。こうして結ばれた薩長同盟は、幕府を倒す大きな力となった。
戊辰戦争の最後となった箱館戦争で、新政府軍の参謀として五稜郭の旧幕府軍を降伏させた。敵の総裁・榎本武揚の才能を惜しみ、頭を丸めてまで命を助けるよう願い出たと伝わる。
北海道や樺太の開拓をになう役所・開拓使の次官となった。翌年にはアメリカを視察し、アメリカの農務長官だったケプロンを顧問として日本に招いた。
開拓使の長官となり、北海道の開拓を本格的に進めた。ふだんは農業を営み、いざというときは兵士となる屯田兵の制度をつくり、北海道の守りと開拓を同時に進めようとした。
朝鮮との交渉の全権として、日朝修好条規を結んだ。また同じ年、アメリカからクラーク博士を招いて札幌農学校を開き、北海道を担う人材を育てた。
西南戦争では政府軍の参軍として、熊本城を救うための軍を率いた。郷里の先輩・西郷隆盛と戦うという、つらい立場であった。
開拓使の工場や船などを、同じ薩摩出身の商人たちに安く売りわたそうとしたことが大問題となった（開拓使官有物払下げ事件）。世論の激しい批判で払下げは取り消され、明治十四年の政変へとつながった。
伊藤博文のあとを継いで、2代目の内閣総理大臣となった。薩摩出身の首相で、その内閣のもとで翌年、大日本帝国憲法が発布されることになる。
黒田内閣のもとで大日本帝国憲法が発布された。黒田は、政府は政党の意見に左右されないという超然主義を演説で述べた。しかし大隈重信の条約改正案への反対が強まり、大隈が襲われる事件が起こると、内閣は総辞職した。
その後も元老として政府の重要な決定にかかわり、天皇の相談にこたえる枢密院の議長などをつとめた。
東京で亡くなった。葬儀の委員長は、かつて命を助けた榎本武揚がつとめたと伝わる。北海道の開拓に力を尽くした人として、札幌の大通公園には黒田の像が建てられている。
西郷隆盛大久保利通木戸孝允榎本武揚大隈重信副島種臣大鳥圭介伊藤博文
山県有朋モース後藤象二郎渋沢栄一伊藤博文田中正造大山巌新島襄
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。