中國

漢之前，最高軍事武官稱為上將軍，如秦之白起、秦末之宋義和項羽，為指揮重大戰役的臨時統帥。陳勝、吳廣起義時，趙王武臣任命陳餘為大將軍。劉邦赴巴蜀之國為漢王，則封韓信為大將軍。

西漢，直到漢武帝時才因衛青而複置大將軍，作為將軍的最高稱謂，位在三公上。又設大司馬，作為將軍的加官，如衛青為大司馬大將軍，早期丞相的權力過大，皇帝不能親自裁決政務。自漢武帝以後，章奏的拆讀與審議，轉歸以大將軍為首的尚書。大臣有罪，由尚書劾奏；選任御史大夫，由尚書品定高下；官吏有功遷升，上報尚書；州郡官吏入朝奏事，則面見尚書。丞相若有過失，反由尚書問狀劾奏。由此，丞相的權力被一步一步的剝奪，只是在禮儀上還是百僚之長。（《漢書·卷十九上·百官公卿表第七上》）漢武帝死時，遺命霍光以大司馬大將軍輔政。西漢末年，取消作為加官的大司馬，設立單獨的大司馬職位。

東漢大將軍的地位原在三公下；到漢和帝時竇憲出任大將軍，由于權勢太大，朝廷震動，聯合奏請以大將軍位列三公之上。東漢末年，又開始設置大司馬作為掌武事最高官員，位在大將軍上。

三國都繼承了東漢的體制，但曹魏青龍元年司馬懿曾由大將軍轉職為太尉，但並非升遷。後來司馬師任大將軍時由于其叔父司馬孚是太尉，曾改大將軍在太尉下。孫吳有上大將軍與大將軍並設。而蜀漢大將軍姜維更是掌握軍事大權。另外，三國時還設立了中軍大將軍、上軍大將軍、輔國大將軍、南中大將軍、鎮軍大將軍、撫軍大將軍等名號大將軍，位均在大將軍下。四征、四鎮、四平、四安等將軍資深者也在將軍前加大字，如征西大將軍、安東大將軍，但位次不變。

西晉開始，大將軍地位高下多次變化，因個人任職就發生轉變。到了東晉十六國以及南北朝時期，大將軍除授甚濫，又增置柱國大將軍、鎮軍大將軍等號，逐漸失去過去總領軍政的性質和意義。

隋朝設置的大將軍為勛官的第四等，次于上柱國、柱國、上大將軍。

唐朝時，大將軍為十六衛長官之一，位居上將軍下。唐初，府兵制行，十六衛置上將軍、大將軍各一人，將軍各二人，為職事官，統領軍隊。隨著府兵制日漸破壞，十六衛實際已經沒有軍隊，諸衛大將軍成為虛銜。

宋朝時，十六衛諸上將軍、大將軍、等官無定員、無職掌，稱環衛官。各官名為禁衛，實無職掌，無定員，皆以宗室充任，亦為武臣贈典。大將軍以下各級環衛官也作為武臣責授散官。

明朝初，僅徐達為大將軍，統帥全國軍隊。徐達死後，朱元璋廢大將軍一職，此後由皇帝親自統軍。

清朝時，有重大戰事的時候臨時派遣大臣出征，授大將軍頭銜，事畢即除，如肅親王豪格為靖遠大將軍，惠親王綿愉為奉命大將軍。

此外，大將軍亦作為贈典、勳官、散官階或軍銜稱號。南朝齊、陳以大將軍為贈官。北周始以大將軍作為勛官，其上柱國和柱國大將軍、上大將軍和大將軍四級勛官，皆正九命，居勛官之首。隋朝初沿置。唐宋兩代以驃騎、輔國、鎮軍、冠軍、懷化五大將軍名號作為武散官階，且位列榜首。金元兩代以昭武、昭毅、昭勇、安遠、定遠、懷遠六大將軍名號，作為武散官號，位次諸上將軍。以上諸類大將軍名號，達百數十種。

1912年1月16日，中華民國南京臨時政府頒布《陸軍軍官佐士兵階級表》，2月又頒布《海軍官佐士兵階級表》，設上等軍官階級為「將軍」，第一級為大將軍，第二級為左將軍，第三級為右將軍。並授任黃興（陸軍總長）、黃鍾瑛（海軍總長）等為大將軍。

總領軍務之職的各代大將軍

日本

日本奈良時代始見，《續日本紀》載下毛野古麻呂與任大將軍。在隼人叛亂之際，大伴旅人任大將軍，神龜元年（724年）陸奧大掾佐伯兒屋麻呂被殺之際由藤原宇合任大將軍，在藤原廣嗣之亂時任大將軍。

至幕府時期，征夷大將軍為幕府首領兼國家實際統治者，到幕末又有。

朝鮮

高麗時期大將軍為中央軍之將領。