生平
十一世祖趙融，字稚長。高祖趙溫，曾祖趙琰，祖趙賓育。魏秦州刺史趙演之子。
趙芬少有辯智，涉獵經史。宇文泰召為相府鎧曹參軍、記室，轉外兵，遷內書舍人、尚書兵部郎。北周受禪，除冬官府司邑大夫，又為陝州總管府長史。加儀同三司，仍長史。徵入朝，歷御伯納言。
得降附2000戶歸順，加開府儀同三司之位。大塚宰宇文護召為中外府掾，轉任吏部下大夫。北周武帝開始親政，受內史下大夫之位，轉任少御正，後為天官府司會，春官府司宗，治夏官府司馬。申國公李穆討北齊，召為行軍長史、封淮安縣開國子。先後出任熊州、淅州刺史，東夏平，授相州天官府司會，進爵為侯。大象元年（579年），置六府于洛陽，除東京少宗伯，駐屯洛陽，攝夏官府事。
580年，楊堅為北周丞相，尉遲迥與司馬消難計劃叛亂有使者往來，趙芬察知，報告楊堅。楊堅親任趙芬為上開府，進爵位為淮安縣公。581年，隋朝建國，任東京（洛陽）尚書左僕射，封淮安郡開國公。同年東京罷，授京省尚書右僕射。與郢國公王誼改正律令，583年兼內史令。開皇五年（585年）出任蒲州刺史，加金紫光祿大夫之位，監督關東運河交通。數年後，上表請求退休，被召還長安，以大將軍、淮安公歸第，開皇十四年（594年）二月十二日在京師長安太平里府第去世，年七十四，謚號曰定。
子女
• 尉遲廓（560年-577年），字元偉，開府儀同大將軍，熊淅二州刺史，少宗伯淮安侯之世子也。本姓趙氏，漢幽州刺史融之後，周初賜姓尉遲，祖演，儀同三司，秦州刺史。年十八，以建德六年正月十九日終于淅州。大象元年歲次己亥十月廿六日，葬于京師城南小陵原。
• 趙元恪（後嗣。揚州總管司馬。左遷候衛長史）
• 趙元楷（歷陽郡丞、江都郡丞兼江都宮使）
• 趙崇嗣，元楷子，子趙勔，有墓誌出土。
傳記資料
• 《隋書》卷四十六 列傳第十一
• 《北史》卷七十五 列傳第六十三
• 《日藏弘仁本文館詞林校証》：《大將軍趙芬碑銘一首並序》
