祭遵年輕時喜愛經書。家裡富裕，而祭遵恭謹儉樸，不愛穿華麗衣服。母死後，背土起墳。曾被衙吏欺凌，祭遵結交賓客殺了衙吏。起初，縣中以為他柔弱，以後都害怕他了。劉秀破了王尋等，回往潁陽，祭遵以縣吏身份幾次進見，劉秀喜愛他的容貌儀表，令他暫為門下吏。
從徵河北，為軍市令。劉秀的舍中兒（家奴）犯了法，祭遵把他殺了。劉秀髮怒，令將祭遵拘捕。這時主簿陳副勸諫說：「明公常想要眾軍整齊，現在祭遵奉行法令不避權勢，正是教化法令所需要的哩。」劉秀就赦免了他，令他為刺奸將軍。對諸將說「：對祭遵要多加小心！我舍中兒犯法他照樣殺了，對你們是絕不會徇私的。」不久又拜偏將軍，跟從平定河北，以功封為列侯。
建武二年（26年）春，拜為徵虜將軍，定封潁陽侯。與驃騎大將軍景丹、建義大將軍朱祐、漢忠將軍王常、騎都尉王梁、臧宮等入箕關，南擊弘農、厭新、柏華蠻中賊。祭遵中了弩箭，傷口流血，眾人看到祭遵受傷，逐漸引退，祭遵呼叫斥罵不止，士卒都加倍苦戰，於是大破賊兵。當時新城蠻中山賊張滿，屯結兵士於險要之處為害人民，詔令祭遵去攻擊，祭遵斷絕了張滿的糧道，張滿幾次挑戰，祭遵堅守壁壘不出。而厭新、柏華的殘餘重新與張滿會合，於是攻下了霍陽聚，祭遵於是分兵予以擊破迫其投降。 建武三年（27年）春，張滿飢餓睏倦，祭遵攻破其城，活捉張滿。起初，張滿祭祀天地，自己說當為王，既被捉，嘆道「：讖文誤了我！」於是把他及其妻子兒女都斬了。祭遵引兵南擊鄧奉弟鄧終於杜衍，攻破了。
時涿郡太守張豐捉住使者舉兵造反，自稱無上大將軍，與彭寵連兵。建武四年（28年），祭遵與朱祐及建威大將軍耿弇、驍騎將軍劉喜共同攻擊張豐。祭遵兵先到，急攻張豐，張豐的功曹孟厷捉住張豐投降。起初，張豐喜好方術，有道士說張豐當做天子，以五彩囊裹著石頭系在張豐的肘子上，說石中有玉璽。張豐相信了，就造反。既被捉當斬，他還說：「肘有玉璽。」祭遵將其石椎破，張豐才知被道士騙了，仰天嘆道：「當死無所恨！」諸將都引回，祭遵受詔命留屯良鄉抵拒彭寵。因而派遣護軍傅玄襲擊彭寵部將李豪於潞，大破其軍，斬首千餘級。相拒一年多，幾次挫敗其鋒，彭寵黨徒許多都投降。等到彭寵死，祭遵進軍以平定其地。
建武六年（30年）春，詔令祭遵與建威大將軍耿弇(yǎn)、虎牙大將軍蓋延、漢忠將軍王常、捕虜將軍馬武、驍騎將軍劉歆、武威將軍劉尚等從天水伐公孫述。軍隊停留長安，劉秀車駕也到了，而隗(wěi)囂不想讓漢兵上隴，藉故推脫以為辭說。劉秀召集諸將商議。都說「：可以暫時拖延隗囂日月之期，加封他手下的將帥，以促其分散瓦解。」祭遵說：「隗囂懷挾奸謀已久。如果按兵不動拖延時日，就會促使他詐謀更深，而使公孫述增加警備，所以不如直接進兵。」劉秀聽從了，就派遣祭遵為先鋒。隗囂派其將王元拒於隴坻，祭遵進擊，破王元軍，追到新關。等到諸將到，與隗囂戰，都失敗了，引軍退隴。劉秀詔令祭遵屯軍於汧(qiān)，令耿弇屯軍於漆，令徵西大將軍馮異屯軍於栒邑，令大司馬吳漢等回軍長安。自此以後祭遵幾次挫敗隗囂。
建武八年（32年）秋，再從劉秀上隴。等到隗囂破滅，劉秀東歸經過汧(qiān)，到祭遵軍營，慰勞飽饗士卒，作黃門武樂，深夜才停止。這時祭遵有病，詔賜厚厚的坐褥，上面覆蓋著皇帝用的御蓋。再令他進兵隴下。等到公孫述派兵援救隗囂，吳漢、耿弇等全都逃奔而回，只有祭遵獨留不退卻。建武九年（33年）春，在軍中去世。祭遵靈柩到河南縣，帝詔遣百官先到治喪場所會齊，光武身著白色喪服駕臨，望著哭泣哀慟。回經城門，閱過喪車，涕泣不能自已。喪禮成，又親自以太牢之禮祭祀，如宣帝辦霍光喪事一樣。詔大長秋、謁者、河南尹護喪事，大司農負責費用。等到安葬，帝車駕再親臨，贈以將軍、侯的印綬，用漆紅了輪子的車子裝著，讓武士們排成軍陣送葬，諡封為成侯。安葬完畢，光武再親臨其墳，妥為安置其夫人家室。