山丹馬場歷史悠久，史志典籍多有記載。《五涼志·沿革》載：漢陽大草灘即指古之大馬營城堡，西至民樂永固堡，南屏祁連，北據胭脂（即焉支山），大馬營草灘正處祁連、胭脂兩山間。
秦漢之際，大馬營草灘為月氏遊牧地。西漢文帝前元三至四年（前177年~前176年），月氏敗於匈奴，被迫西遷，匈奴渾邪王佔據此地。
漢武帝元狩二年（前121年）三月，驃騎將軍霍去病，出隴西（今臨洮），經臨津關（今青海循化縣東劉家峽水庫上遊）渡黃河，沿青海北部上行穿祁連山，出大鬥拔谷（今扁都口），轉而攻打渾邪王，奔襲千裡，將匈奴逐出焉支山。在激戰中，殺死匈奴盧侯王、折蘭王，俘獲渾邪王之子及相國、都尉等，並繳獲休屠王的「祭天金人」，斬首8960級。漢軍亦損失慘重，死者十之六七。是年秋，單于震怒，欲誅殺渾邪王、休屠王。兩王恐懼，共謀降漢。因休屠王反悔，渾邪王將其斬殺。合併其部，率眾降漢。漢朝遂置牧師苑，牧養官馬，大馬營草灘始為漢朝官牧之地。東漢光武帝時，漢陽設流馬苑，由羽林郎兼領。匈奴被逐出漢陽大草灘後，悲歌道：「失我祁連山，使我六畜不蕃息；失我焉支山，使我婦女無顏色。」
西晉穆帝永和六年（350年），前涼張祚置漢陽縣於今馬營墩（軍馬三場西），一帶，以守牧地。後張元靚改為祁連郡。
此後200餘年間，因政權頻繁更迭，戰禍連年不斷，大馬營草灘養馬業時興時廢，養馬最多時達10萬匹。隋文帝於開皇二年（582年），命大將屈突通整肅河西馬政，大馬營馬場得以恢復。煬帝於大業三年（607年）下詔查問河西牧馬情況。大業五年六月，煬帝在打敗吐谷渾後，出大鬥拔谷時，遇大風雪，士卒死者大半，煬帝之姊麗華（北周宣帝之皇后）也被凍死。煬帝在張掖召見了諸郡的四科舉人後，到焉支山舉行盛會。西域27國王公大臣，「皆令佩金玉，被錦罽」，在焚香奏樂的歌舞中，於道左謁見煬帝。又令甘涼士女豔飾縱觀，周圍數十裡，「騎乘填塞」，極盡其盛。
唐初以俘獲的突厥馬2000匹和隋朝戰馬3000匹交馬場孳養繁殖。廣德至大中年間，吐蕃曾佔據大草灘。
宋神宗天聖六年（1028年），西夏趙德明遣其子元昊奪甘州、佔山丹，大草灘歸於西夏。宋代實行茶馬制，即設市場換取少數民族馬匹。張掖、扁都口設互市（茶馬市）。換來的好馬充實軍需，瘦弱的交馬場孳養。
元代時，大馬營馬場由千戶一名負責。
明太祖洪武四年（1372年），徵西大將軍馮勝克復河西後，在草灘邊沿挖壕二百裡，與民分界。
明成祖永樂四年（1406年），設陝西、甘肅兩個苑馬寺，下轄六監二十四苑。甘肅苑馬寺下轄的宗水監（下設黑城等四苑）、祁連監（西寧、大通等四苑）、武威監（和西、大川、寧番、洪水四苑，監所設於大馬營）、甘泉監（廣牧苑等四苑）等，各佔有大草灘部分牧地。
清朝沿襲舊制，在各地設馬場。康熙年間，先後有羌民及青海蒙古部族入據大草灘，後被官兵逐出，並在永固築城防守。
大馬營原為守備，康熙三十三年（1694年）改為遊擊，增戍兵500人，以守雪山要道。
雍正十一年（1733年），朝廷擬在西北籌建中央政府直屬馬場。陝西總督劉於義派原西寧知府黃澍查勘地方。黃澍查得青海擺羊戎、甘州大草灘（大馬營草灘）和涼州黃羊川，報請批准後，於上述三地各建馬場，甘州大草灘交甘州提標管理防護，由遊擊一員負責。乾隆十五年（1750年）曾將場部遷至古佛寺（今民樂雙樹寺），十八年復遷回大馬營。
嘉慶七年（1802年），朝廷派人清查養馬情況，大馬營馬場養馬17500匹。宣宗道光十八年（1838年）達20000多匹。
中華民國7年（1918年），甘肅督軍張廣建在回答陸軍部關於馬場的查詢時說：「甘州大馬營，周圍五六百裡，不論冬夏，新舊牧草用之不盡。」陸軍部要求張廣建繼續清查，著手建場。後將海源、馬銜山等場並來，改稱甘肅軍馬孳養場。
1949年9月21日，中國人民解放軍第一野戰軍第二兵團三軍到達大馬營，山丹軍牧場解放。
中華人民共和國成立以後，山丹馬場的建制體制經歷了幾次大的變更，按隸屬關係及管理權限大致可分為以下幾個時期：
山丹軍牧場時期（1949年9月——1957年2月
國營山丹牧場時期（1957年3月至1961年5月）
總後山丹軍馬場時期（1961年6月至1966年9月）
總後青藏辦事處軍馬局及總後西安辦事處軍馬局時期（1966年10月至1975年12月）
蘭州軍區軍馬總場時期（1976年1月至1986年11月）
蘭州軍區後勤部馬場管理局時期（1986年12月至2001年8月）
甘肅中牧山丹馬場總場、中農發山丹馬場時期（2001年9月至今）