中国

汉之前，最高军事武官称为上将军，如秦之白起、秦末之宋义和项羽，为指挥重大战役的临时统帅。陈胜、吴广起义时，赵王武臣任命陈馀为大将军。刘邦赴巴蜀之国为汉王，则封韩信为大将军。

西汉，直到汉武帝时才因卫青而复置大将军，作为将军的最高称谓，位在三公上。又设大司马，作为将军的加官，如卫青为大司马大将军，早期丞相的权力过大，皇帝不能亲自裁决政务。自汉武帝以后，章奏的拆读与审议，转归以大将军为首的尚书。大臣有罪，由尚书劾奏；选任御史大夫，由尚书品定高下；官吏有功迁升，上报尚书；州郡官吏入朝奏事，则面见尚书。丞相若有过失，反由尚书问状劾奏。由此，丞相的权力被一步一步的剥夺，只是在礼仪上还是百僚之长。（《汉书·卷十九上·百官公卿表第七上》）汉武帝死时，遗命霍光以大司马大将军辅政。西汉末年，取消作为加官的大司马，设立单独的大司马职位。

东汉大将军的地位原在三公下；到汉和帝时窦宪出任大将军，由于权势太大，朝廷震动，联合奏请以大将军位列三公之上。东汉末年，又开始设置大司马作为掌武事最高官员，位在大将军上。

三国都继承了东汉的体制，但曹魏青龙元年司马懿曾由大将军转职为太尉，但并非升迁。后来司马师任大将军时由于其叔父司马孚是太尉，曾改大将军在太尉下。孙吴有上大将军与大将军并设。而蜀汉大将军姜维更是掌握军事大权。另外，三国时还设立了中军大将军、上军大将军、辅国大将军、南中大将军、镇军大将军、抚军大将军等名号大将军，位均在大将军下。四征、四镇、四平、四安等将军资深者也在将军前加大字，如征西大将军、安东大将军，但位次不变。

西晋开始，大将军地位高下多次变化，因个人任职就发生转变。到了东晋十六国以及南北朝时期，大将军除授甚滥，又增置柱国大将军、镇军大将军等号，逐渐失去过去总领军政的性质和意义。

隋朝设置的大将军为勋官的第四等，次于上柱国、柱国、上大将军。

唐朝时，大将军为十六卫长官之一，位居上将军下。唐初，府兵制行，十六卫置上将军、大将军各一人，将军各二人，为职事官，统领军队。随著府兵制日渐破坏，十六卫实际已经没有军队，诸卫大将军成为虚衔。

宋朝时，十六卫诸上将军、大将军、等官无定员、无职掌，称环卫官。各官名为禁卫，实无职掌，无定员，皆以宗室充任，亦为武臣赠典。大将军以下各级环卫官也作为武臣责授散官。

明朝初，仅徐达为大将军，统帅全国军队。徐达死后，朱元璋废大将军一职，此后由皇帝亲自统军。

清朝时，有重大战事的时候临时派遣大臣出征，授大将军头衔，事毕即除，如肃亲王豪格为靖远大将军，惠亲王绵愉为奉命大将军。

此外，大将军亦作为赠典、勋官、散官阶或军衔称号。南朝齐、陈以大将军为赠官。北周始以大将军作为勋官，其上柱国和柱国大将军、上大将军和大将军四级勋官，皆正九命，居勋官之首。隋朝初沿置。唐宋两代以骠骑、辅国、镇军、冠军、怀化五大将军名号作为武散官阶，且位列榜首。金元两代以昭武、昭毅、昭勇、安远、定远、怀远六大将军名号，作为武散官号，位次诸上将军。以上诸类大将军名号，达百数十种。

1912年1月16日，中华民国南京临时政府颁布《陆军军官佐士兵阶级表》，2月又颁布《海军官佐士兵阶级表》，设上等军官阶级为「将军」，第一级为大将军，第二级为左将军，第三级为右将军。并授任黄兴（陆军总长）、黄锺瑛（海军总长）等为大将军。

总领军务之职的各代大将军

日本

日本奈良时代始见，《续日本纪》载下毛野古麻吕与任大将军。在隼人叛乱之际，大伴旅人任大将军，神龟元年（724年）陆奥大掾佐伯儿屋麻吕被杀之际由藤原宇合任大将军，在藤原广嗣之乱时任大将军。

至幕府时期，征夷大将军为幕府首领兼国家实际统治者，到幕末又有。

朝鲜

高丽时期大将军为中央军之将领。