祖父張簡，唐檢校尚書左僕射（張簡可能是唐末的武將，尚書左僕射在唐代後期不少是武將的加銜）。叔父張虔釗在後唐明宗初年，任護駕親軍都指揮使，長興年間，為山南西道節度使兼西面馬步軍都部署，後唐末年，歸附後蜀。

後周末年，張光翰任虎捷左廂都指揮使，是侍衛親軍步軍都指揮使張令鐸的部屬。960年，陳橋兵變，殿前都指揮使石守信、侍衛親軍馬軍都指揮使高懷德、侍衛親軍步軍都指揮使張令鐸、殿前都虞候王審琦、虎捷右廂都虞候張光翰、龍捷右廂部指揮使趙彥徽六人為首擁立趙匡胤黃袍加身，建立北宋。張光翰自虎捷左廂都指揮使、嘉州防禦使為寧江節度使、馬軍都指揮使。翊戴六功臣中，張光翰與宋太祖可能關係最疏遠。五月，韓重贇接替侍衛馬軍都指揮使及寧江軍節度使銜，張光翰被罷軍職，出為永清軍（貝州，今河北清河西）節度使，乾德五年（967年）正月，永清軍節度使張光翰去世。