年輕時好學。貞元年間舉明經，中《五經》、《開元禮》科，授華原尉，調補長安縣尉。高郢推薦他為太常博士，歷任祠部員外郎、兵部員外郎。元和初年，拜湖州刺史，參與平定李錡叛亂。蘇州、常州、睦州、杭州等四州刺史迎戰大敗。叛軍以辛秘是儒者，有所輕視。他乘敵未至，募壯士數百阻擊，大勝，湖州得安，從此以材堪將帥知名。河東節度使范希朝討伐王承宗，他擔任河東行軍司馬。後來入朝為左司郎中，出任汝州刺史。元和九年（814年）為諫議大夫、常州刺史，選為河南尹。元和十二年（817年），任檢校工部尚書、潞州大都督府長史、御史大夫、昭義軍節度使。潞州用兵之後，財政凋敝，遂量入為出，節約開支，療救戰爭創傷，經四年治理，澤潞富庶，兵糧充足，府庫充盈，為時所稱。元和十五年十二月去世，終年六十四歲，追贈左僕射，謚號昭。