西汉武帝刘彻于建元二年（前139）罢太尉，元狩四年（前119）始置大司马，加于大将军、骠骑将军、车骑将军、卫将军号前，“武昭以后，大将军无不加大司马者。车骑、票骑、卫将军或加或不加。它将军无加大司马者” 。其中大将军、骠骑将军位次丞相，车骑、卫将军位次上卿（《百官志一》）。冠加大司马后，其位秩不变，大司马大将军（大司马骠骑将军）尊比丞相，大司马车骑将军（大司马卫将军）贵比上卿。

大将军、骠骑、车骑、卫将军因为有了大司马这一加官称号，使其拥有辅政之权，得以名正言顺地管理日常的军事行政事务，居此位者由军队的最高将领一变而为文职的宰辅之官，大司马卫将军尽管位在丞相下，但实权则在丞相之上。

汉成帝末，确立了三公制。大司马后面不再联以将军之号，和丞相、大司空并列为三公。三公为皇帝的三个最高辅政之臣，但仍以大司马居首位。掌权重臣如王凤、董贤、王莽等，东汉三国时的李傕等，职位都为大司马。