柳彧七世祖柳卓，随东晋南迁，寓居襄阳。父亲柳仲礼，为南梁将领，兵败归北周，再家居故乡。柳彧少年好学，涉猎经史。北周大冢宰宇文护引用他为中外府记室，很久后，出任为宁州总管掾。周武帝亲政后，柳彧到京城参加考试。周武帝认为他非同寻常，任命他为司武中士。转任郑县县令。平北齐后，周武帝大赏从官，留京的人没再赏赐。柳彧上表劝谏，于是留守的人也加官进爵。

隋文帝即位，官至尚书虞部侍郎，因为母亲离世去职。不久，起复为屯田侍郎，推辞朝廷不许。当时制度三品已上，门前都有列戟。左仆射高熲之子高弘德封应国公，申请列戟。柳彧反对：「仆射之子没有和父亲别居，父亲的戟槊已列在门外。尊有压卑的道理，子有避父的礼节，怎么能外门既设列戟，内閤又施列戟！」事情最后不能施行，高熲听说后感叹心服。后来转任治书侍御史，当朝端庄严肃，很被百官所敬畏。文帝嘉许他刚直，对柳彧说：「大丈夫当立名于世，不能庸庸碌碌而已。」赐钱十万，米百石。

当时刺史多任武将，有些不称职。比如上柱国和乾子为杞州刺史，时年八十，老迈糊涂。柳彧上表进言。文帝听从，将和乾子免职。应州刺史唐君明，为母亲居丧，娶雍州长史库狄士文的从父妹。柳彧弹劾他。唐君明、库狄士文二人都因此获罪。隋朝承丧乱之后，风俗败坏，柳彧多加矫正，文帝很嘉赏他。又见皇帝勤于听政，百官奏请，多有烦碎，于是上疏劝谏将细碎的小事委任给具体官员。文帝看到后嘉赏他。后来因为忤旨免官。不久，再令他处理事务，于是对柳彧说：「不要改变你原来的想法。」因为他家贫，敕命有司为他修筑宅第。于是说：「柳彧是正直之士，国家之宝。」被如此看重。

右仆射杨素掌权显贵，百官畏惧，没有敢忤逆他的。杨素曾经因为稍稍受到谴责，被敕命送到南台。他仗恃他的显贵，坐在柳彧的桌案上。柳彧从外面进来，见杨素如此，在阶下端笏严肃地对杨素说：「奉敕治公之罪。」杨素马上下来。柳彧据案而坐，让杨素站在庭中，审理事情的始末。杨素于是怀恨在心。柳彧当时正被文帝信任，所以杨素没有办法中伤他。

柳彧见最近以来，京城百姓每到正月十五日，作角抵摔跤游戏，互相夸耀竞争，至于糜费财力，上奏请求将其禁绝，文帝下诏准许他的奏请。当年，持节巡察河北五十二州，上奏免职地方长官贪污不称职的二百馀人，州县整肃，无不震惊惧怕。文帝嘉许，赐他绢布二百匹、毡三十领，拜为仪同三司。一年多后，加为员外散骑常侍，治书侍御史如故。仁寿初年，再次持节巡察太原道十九州。回京后，赐绢百五十匹。

柳彧曾经得到博陵李文博所撰写的《治道集》十卷，蜀王杨秀派人求书。柳彧送给杨秀，杨秀再赐给柳彧奴婢十口。杨秀获罪后，杨素上奏柳彧作为内臣结交诸侯，于是除名为民，发配到怀远镇。走到高阳，皇帝下诏征还。到达晋阳，正好汉王杨谅作乱，遣使驰马召柳彧，将和他商议大事。柳彧被使者所逼迫，开始不知杨谅造反，将入城时，杨谅反形已经显露。柳彧考虑不得脱身，于是诈称得了恶病不能进食，自称病危。杨谅大怒，将他囚禁。杨谅兵败，杨素奏柳彧心怀两端，等待事变，行为虽然不反，心中却实同叛逆，于是获罪贬到敦煌。杨素死后，柳彧自我辩解，隋炀帝下诏将他征还京师，在途中去世。有子柳绍，担任介休令。另一子柳自然，九门县令。柳自然女柳婆归嫁唐护军、魏王府主簿唐逊。