1867年（同治六年）左宗棠以钦差大臣督办陕甘军务，收买甘肃起义首领之一董福祥，将所部民军改编为甘军。后来将招降的马占鳌、马福祥等回民编入甘军。后添募四营，增足二十营，驻山陕一带。又再募十营，以厚兵力，兼为策应之师。

1897年（光绪二十三年）德国侵占胶州湾时，清政府命董福祥率甘军入卫京师。次年“百日维新”期间，荣禄调聂士成的武毅军驻天津，董福祥的甘军驻长辛店，与驻天津小站的袁世凯新建陆军相呼应，密谋政变。戊戌政变后，荣禄将北洋四大军（甘军、武毅军、新建陆军、毅军）合编为武卫军，分路驻防，以甘军驻蓟州（今天津蓟县）为后军。

1900年义和团运动中，董福祥率甘军围东交民巷，攻月余未下。八国联军进攻北京时，被击溃。

清政府与八国联军议和后，董福祥被“即行革职”，所部甘军二十二营，因“库款支绌”被裁并为八营，五营驻甘，由陕甘总督崧蕃统领；三营驻陕，由西宁镇总兵张行志节制。在镇压西北回民起义中兴起的甘军，至此瓦解。