州牧是州牧，州牧權更大；牧人是郡的長官。因此，州牧最大，刺史次之，太守最小。
郡守起源於漢景帝時期。秦始皇實行郡縣制，把天下劃分為三十六個郡(《史記》稱有四十個郡，《晉書》稱有四十個郡)，郡是地方的最高行政區劃，郡下設縣，縣下設鄉，鄉下設亭。郡長們。稱郡守到了漢景帝時期，將郡守改為太守。在三國時期，太守仍然是一郡的最高長官。
司吏出現於漢武帝時期，最初並非行政官，而是監察官。秦確立郡縣制後，每郡設監察御史一人，監察郡縣政務，有權向中央報告。漢代初期曾一度廢黜。惠帝劉盈時復職。漢朝為加強對地方的管理，將天下劃分為十三個地區，稱為州府，每一個州設都督一人，監視所轄地區的郡國(漢代是並行不悖的，也有直屬中央的郡和封國)。無固定治所的刺史，在他的任期內，每年都到郡國巡遊。而司吏的俸祿很低，只有六百石，司吏為了能有所發展，就會更加努力的取得成績。司空任滿，往往升官，前程無限。
西漢晚期至王莽篡漢，都曾為司空，都曾為司空，都曾為司空。那是最早的關於州牧的起源。州牧俸祿二千石，比刺史高得多。州牧人也將鎮壓叛亂，並有更大的權力。在新莽時期，州牧甚至可以世襲，還授予軍職，手握兵權，原為刺史的監察職責由州牧的副手州監負責。州牧成為執政官和軍長，並被任命為統帥。
東漢末年劉秀建立，重新改州牧為刺史，但刺史不再巡撫地方，而是有固定的治所。州府成為郡以上的一級行政區。這一體系延續至東漢末三國時期。其後司馬的權力也逐漸擴大，有了朝廷的命令就可以領兵作戰。可以直接對宮廷奏事。
漢靈帝年間，發生了一件很重要的大事——廢史立牧。那時，宗親劉焉向漢靈帝上奏，稱郡守、郡守官風不正，私相賄賂，致使百姓叛變，應選有清名的宗親，派重臣出鎮各州，擔任州牧，以平息叛亂。當時正值民間變亂四起，兩個州刺史被變民害死，劉焉的建議被採納。而且劉焉本人對此忠告也有自己的心事，因為他聽說益州有天子之氣，自己想要出鎮益州，終於如願。
從此，各州都紛紛設立州牧，州牧相對刺史而言，有較大的自治權，可以自行徵兵，有獨立的財權，可以自賞，官職仍可世襲。例如劉焉死後，益州牧的兒子劉璋接任；荊州牧劉表死後，其子劉琮接任荊州牧。而且司馬相對不享有這些特權，還受到朝廷的制約。然而，有些刺史在各地任職時間較長，多能加昇州牧，因此分界不太清楚。
漢末州牧制度，正是在東漢末年引起了諸侯割據，直到三國時期。有些割據勢力在佔領某州(有時只是一部分州的郡縣)後，將自己立為某州牧。如果出現聯盟，還會互相尊崇對方為某州牧。比如赤壁之戰後，劉備佔領荊州南部的四個郡加上向東吳「借」了南郡，自立為荊州牧，還上表請孫權領徐州牧。三國時期，州牧與刺史最大的不同之處在於，州牧通常是由各割據勢力的君主自己擔任，或者是授予不能完全控制的聯盟君主，而刺史則授予下屬。
比如曹操掌管朝政之後，仍然自行兼任兗州牧、冀州牧，與劉備並肩作戰，時時表奏劉備為豫州牧。而且關羽發動襄樊之戰的時候，曹操手下的荊州刺史胡修是個平平淡淡的部下，沒有多少自主權。赤壁之戰後，劉備表奏劉表之子劉琦為荊州刺史，毫無主見，因為這是劉備的一個傀儡。但劉琦一死，劉備便自立荊州牧，擁有了自主權。孫權又先後自領徐州牧、荊州牧，與交州在東吳版圖內的地位相同，分別由步騭、呂岱掌管交州，這一差別就顯而易見了。