三河国額田郡の細川郷で、足利一門の細川頼春の子として生まれたとされる。幼名は弥九郎。細川氏は足利氏の分家で、父の頼春は従兄弟の和氏らとともに足利尊氏に従い、のちに四国の守護として力をのばしていく家だった。
観応の擾乱で幕府が二つに割れると、阿波の武士が南朝方についた。頼之は父に代わって阿波に送られ、各地の南朝方と戦った。これが記録に残る頼之の最初の活動で、以後の四国支配の足がかりとなった。
南朝軍が京に攻め込んだ戦いで父の頼春が亡くなった。頼之は軍を率いて上京し、足利義詮のもとで男山の戦いに加わって南朝軍を追い払った。その後、父の跡を継いで阿波の守護となり、領国の経営に取り組んだ。
足利直冬が山名時氏らと結んで中国地方で勢力を広げると、頼之は備後守護に任じられ、その討伐の大将となった。備前・備中・安芸・伊予など数か国の武士を指揮し、中国地方を幕府方にまとめていった。
幕府の執事だった従兄の細川清氏が政争に敗れて南朝方に走り、四国に渡ってきた。頼之は義詮の命を受け、讃岐の白峰で清氏の軍を破った。清氏はこの戦いで亡くなり、頼之は細川一族の中心となって四国の大半を治めた。
病に倒れた2代将軍義詮は、死の直前に頼之を京に呼び、管領に任じて九歳の子義満の補佐を託した。頼之は義満の教育や官位の昇進、のちの花の御所の造営などに関わり、将軍の権威を高めることに力を注いだ。
頼之は、守護が荘園の年貢の半分を取り立てる半済を制限する法を出した。天皇家や寺社などの荘園を守り、守護や武士の勝手な取り立てを抑えるためで、応安の半済令（応安大法）と呼ばれる。ぜいたくを戒める法令も出した。
頼之は前年に南朝の有力武将楠木正儀を幕府方に引き入れ、この年には今川貞世（了俊）を九州探題に任じて送り出した。了俊は懐良親王らの九州の南朝勢力をしだいに追いつめ、幕府の支配は九州にも広がっていった。
斯波義将や山名氏らの反対派が兵を集めて義満の御所を囲み、頼之の罷免を求めた。義満はこれを受け入れ、頼之は一族とともに四国へ下り、出家して常久と名のった。このとき詠んだとされる漢詩「海南行」が伝わる。
義満が厳島神社へ参詣する途中、頼之は讃岐の国人たちに船を出させてその旅を助け、宇多津で義満を迎えた。こうして許されて関係が修復され、2年後には京へ呼び戻されることになる。かつての後見人と将軍の和解だった。
斯波義将が管領を辞めると、頼之は京に呼び戻された。すでに出家していたため、養子の頼元を管領とし、自らはその後見として幕政に加わった。この年の暮れには山名氏清らが起こした明徳の乱で幕府方として戦った。
この年の春、重い風邪がもとで京で亡くなった。63歳だった。葬儀は義満が自ら主催して相国寺で行われた。この年の秋に南北朝の合一が実現し、細川氏はその後、斯波・畠山とともに管領を出す名門として続いていった。
足利尊氏足利直義二条良基今川貞世（了俊）足利義詮観阿弥足利基氏斯波義将
教科書や伝記で確かめられる事実をもとにしています。不確かなことは「諸説あり」「と伝わる」としています。