据说生于三河国额田郡细川乡，是足利一门细川赖春之子。幼名弥九郎。细川氏是足利氏的分家，父亲赖春与堂兄弟和氏等人追随足利尊氏，此后家族作为四国的守护逐渐壮大。
观应扰乱使幕府一分为二，阿波的武士投向南朝。赖之代替父亲被派往阿波，与各地南朝势力作战。这是史料所见赖之最早的活动，也成为他日后统治四国的立足点。
在南朝军攻入京都的战斗中，父亲赖春阵亡。赖之率军上京，在足利义诠麾下参加男山之战，击退南朝军。此后他继承父职出任阿波守护，致力于经营领国。
足利直冬与山名时氏等人结盟，在中国地区扩张势力，赖之被任命为备后守护，担任讨伐大将。他指挥备前、备中、安艺、伊予等数国武士，逐步将中国地区统合到幕府一方。
担任幕府执事的堂兄细川清氏在政争中失败，投奔南朝并渡海来到四国。赖之奉义诠之命，在赞岐白峰击败清氏军。清氏在此战中身亡，赖之成为细川一族的核心，统治四国大部分地区。
病倒的第二代将军义诠临终前将赖之召至京都，任命他为管领，托付他辅佐九岁的儿子义满。赖之负责义满的教育与官位晋升，后来又参与营建花之御所，致力于提高将军的权威。
赖之颁布法令，限制守护征收庄园一半年贡的半济。其目的在于保护天皇家与寺社等的庄园，抑制守护和武士任意征收，称为应安半济令（应安大法）。他还颁布了禁止奢侈的法令。
赖之前一年已将南朝有力武将楠木正仪拉拢到幕府一方，这一年又任命今川贞世（了俊）为九州探题派往九州。了俊逐步压制怀良亲王等九州南朝势力，幕府的统治也扩展到九州。
斯波义将、山名氏等反对派集结兵力包围义满的御所，要求罢免赖之。义满接受了这一要求，赖之与族人南下四国，出家改名常久。据传他当时所作的汉诗《海南行》流传至今。
义满前往严岛神社参拜途中，赖之让赞岐的国人提供船只协助行程，并在宇多津迎接义满。他由此获得赦免、关系得以修复，两年后被召回京都。这是昔日监护人与将军的和解。
斯波义将辞去管领后，赖之被召回京都。他已出家，便让养子赖元出任管领，自己作为其后盾参与幕政。这年年底，他站在幕府一方参加了山名氏清等人发动的明德之乱。
这年春天，他因重感冒在京都去世，享年63岁。义满亲自在相国寺主持了他的葬礼。同年秋天南北朝实现合一，此后细川氏与斯波、畠山并列，作为出任管领的名门延续下去。
足利尊氏足利直义二条良基今川贞世（了俊）足利义诠观阿弥足利基氏斯波义将
内容基于教科书和传记中可以确认的史实，不确定之处会注明。