作为侍奉将军家的三渊晴员之子生于京都。据说他幼年时过继给细川家（养父是谁说法不一）。他后来成为一位作为武将和文化人都留名后世的罕见人物。
约在此时，他侍奉第13代将军足利义辉。他一边勤练武艺，一边广泛学习和歌、古典、茶道乃至烹饪礼法，在将军身边掌握了京都的教养。
将军义辉遭三好氏一派等袭击身亡（永禄之变）。藤孝救出被软禁在奈良兴福寺的义辉之弟觉庆（即后来的足利义昭），为拥立他为将军而奔走于各地大名之间。
借助织田信长的力量，他与义昭一同进入京都。义昭成为第15代将军，藤孝则担当起联系幕府与信长的角色。
义昭与信长对立时，藤孝站在信长一边。义昭被逐出京都、室町幕府灭亡后，他获封山城（京都府）的长冈，并改姓长冈。
从公家三条西实枝处接受了解释《古今和歌集》的秘传——古今传授。他身为武将，却成为当世一流的歌学家，并且是当时唯一继承这一秘传的人。
儿子忠兴与明智光秀之女玉（即后来的细川伽罗奢）成婚。藤孝与光秀是从一同侍奉义昭时起的老朋友。
他与光秀一同平定丹后（京都府北部），获封丹后国，在宫津筑城。作为武将，他也成为治理领国的大名。
光秀讨伐信长后，再三请求他加入，但他没有答应。他剃发改号「幽斋」，把家督让给忠兴，以悼念信长之死。
此后他侍奉丰臣秀吉，作为精通和歌、连歌、茶道和有职故实的文化人受到重用。他随秀吉出征九州，把旅途写成纪行《九州道之记》。
关原之战前，他仅率约500人据守丹后的田边城，牵制了1万5000名西军。后阳成天皇担心幽斋一死古今传授便会断绝，下令议和，他于是开城。
在京都去世。其子忠兴一系后来成为熊本藩主，细川家一直延续到明治时代。他作为文武兼备的人物，至今仍为人们所传颂。
朝仓义景岛津义久大村纯忠织田信长岛津义弘丹羽长秀足利义辉丰臣秀吉
内容基于教科书和传记中可以确认的史实，不确定之处会注明。