六鎮大起義的時候,北魏的胡太后臨朝稱制,和孝明帝之間的嫌隙越來越深。當時,車騎將軍儀同三司,並、肆、汾、廣、恆、雲六州討虜大都督爾朱榮兵勢強盛,朝廷非常忌憚。高歡、段榮、尉景、蔡俊先是跟隨杜洛周,想要謀害杜洛周失敗,逃去依附葛榮,繼而又投奔爾朱榮。劉貴先在爾朱榮麾下,把高歡推薦給爾朱榮,爾朱榮見高歡容顏憔悴,並不看重。
高歡跟著爾朱榮來到馬廄,馬廄裡有一匹很剽悍的戰馬,爾朱榮就命令高歡為這匹馬修剪鬃毛。高歡竟然沒有先把馬捆綁起來就去剪毛,而戰馬也沒有踢他或者咬他。高歡完成工作,站起身來以後,就說:「駕御惡人也該這樣。」爾朱榮對他的話感到驚奇,就讓他坐在自己坐床下面,屏退左右,向他詢問時局高歡說:「聽說您有十二群馬,按照顏色分為不同的種群,豢養它們究竟要做什麼呢? 」爾朱榮說:「只說你的想法就是。」高歡說:「如今天子昏庸,太后淫亂,寵臣擅自發布命令,朝廷無法施行。以您的雄壯威武,趁這個機會發展力量,討伐鄭儼、徐紇,以清除皇帝身邊的小人,那麼霸業可以一舉馬鞭就完成。這就是我的想法。」爾朱榮大喜,與高歡從中午一直談到半夜才放他出來,從此就經常讓他參與軍事謀劃。并州刺史元天穆和爾朱榮關係很好,爾朱榮把他看作自己的兄長。爾朱容經常和元天穆以及帳下都督賀拔嶽密謀,想要舉兵殺進洛陽,對內誅殺奸佞小人,對外肅清反賊盜寇,兩人全都勸他這麼做。於是爾朱榮就上奏說:「山東地區的匪患非常嚴重,冀州和定州覆沒,官軍屢屢戰敗,請求派遣三千精銳騎兵向東去增援相州。」胡太后有點懷疑,回覆說盜寇大多已被殄滅,而且北海王元顥率領兩萬兵馬前去相州鎮守,不需要出兵。爾朱榮再次上奏,說:「雖然賊寇的兵勢已衰,但因為官軍屢次戰敗,人心都很恐懼,恐怕難以使用。要是不更改方略,難保萬全。」他以此為藉口,調動兵馬,召集義勇軍,向北防守馬邑,向東堵塞井陘。徐紇建議太后用鐵券來離間爾朱榮的部下,爾朱榮知道以後,非常忌恨徐紇。孝明帝也很厭惡鄭儼、徐紇等人,但是礙於胡太后,不能把他們除掉,於是就秘密下詔,讓爾朱榮領兵進京,想要威脅胡太后。爾朱榮任命高歡做先鋒,走到上黨,孝明帝又頒下密沼阻止他。鄭儼、徐紇恐怕禍患上身,就暗中和太后一起謀劃毒死孝明帝。
公元528年二月二十五日,孝明帝突然駕崩。二十六日,胡太后立皇女為皇帝,二十七日又立前臨洮王元寶暉的後代元釗。元釗年僅三歲,胡太后想要長久掌握政權,所以貪圖他的幼小,這才立他為帝。爾朱榮聽聞此事,大怒,對元天穆說:「主上駕崩,只有十九歲,國內還認為他是少年君主呢。更何況如今擁立還不會說話的孩子當皇帝,想要求得長治久安,可能嗎?我想要率領鐵騎前去為主上弔唁,消滅奸佞,改立年長的君主,怎麼樣?」元天穆說:「這是伊尹、霍光的事業重現於今天啊!」於是爾朱榮就上奏抗命,說:「大行皇帝(指剛死的孝明帝)拋棄了國家,海內都傳說他是被毒酒毒死的。哪有天子身體不舒服,不召醫生來診斷,貴戚大臣們全不在身邊侍奉的道理?怎能不使遠近之人都感到錯愕呢?竟然還讓皇女當儲君,假裝大赦天下,對上欺瞞上天,對下迷惑朝野。繼而在小孩子裡選擇君主,實際是使奸佞當朝,使綱紀紊亂,這跟遮著眼睛捕雀,堵著耳朵偷鐘有什麼區別?如今盜賊四起,鄰國覬覦,而想讓還不會說話的孩子鎮定天下,不是很困難嗎?希望讓臣前往京都,參與大計,詢問侍臣們皇帝駕崩的緣由,訪求侍衛們不知道的情況,把徐、鄭之流逮捕法辦,一雪普天下的恥辱,消除遠近人們的怨恨,然後再選擇合適的宗室親貴來繼承皇位。」
三月,爾朱榮和元天穆商議,認為彭城王元勰忠誠而有功勳,他的兒子、長樂王元子攸素有名望,想要擁立為帝。他還派侄子爾朱天光和親信奚毅、倉頭王相前往洛陽,和兄弟爾朱世隆秘密商議。爾朱天光拜見元子攸,詳細說明了爾朱榮的想法,元子攸答應了。但等爾朱天光等人回到晉陽,爾朱榮還在猶豫,於是他就用銅鑄造皇室王子們的塑像,結果只有長樂王的像鑄成了。爾朱榮就此起兵,離開晉陽,爾朱世隆也從洛陽逃出來,和爾朱榮在上黨會合。胡太后聽說以後,非常恐懼,就把王公們全都召喚進宮來商議,宗室大臣們全都厭惡太后所為,沒有人肯開口。只有徐紇說:「小小的爾朱榮,竟敢領兵殺向朝廷,文武禁衛就足以制服他了。只要守住險要,以逸待勞,他孤軍深入千裡,士兵和戰馬都很疲憊,肯定會被擊敗。」胡太后認為他說得對,就任命黃門侍郎李神軌為大都督,率領兵馬前去抵禦,另外派鄭季明、鄭先護領兵守備河橋,武衛將軍費穆屯紮在小平津。爾朱榮來到河內,再次派遣王相秘密前往洛陽,迎接長樂王元子攸。夏季四月初九,元子攸和其兄彭城王元邵、其弟霸城公元子正秘密地從高渚渡河,初十日和爾朱榮在河陽會合,將士們全都高呼萬歲。十一日,大軍渡河,元子攸繼承皇帝寶座,任命元邵為無上王、元子正為始平王,任命爾朱榮為侍中、都督中外諸軍事、大將軍、尚書令、領軍將軍、領左右,封太原王。元子攸就是北魏孝莊帝。多、鄭先護向來和孝莊帝的關係良好,聽說孝莊帝繼位,就和鄭季明開城放他進來。李神軌來橋,聽說北中城已經失守,只好逃回。費穆也拋棄部眾,先向爾朱榮投降了。徐紇假傳詔命,當晚打開宮門,私自取走驊騮廄裡的十匹御馬,向東逃向兗州,鄭儼逃回老家。胡太后把孝明帝的嬪妃們全都召來,勒令她們出家,她自己也削髮為尼。
爾朱榮召喚百官前來迎駕。十二日,百官捧著玉璽,準備好御車,到河橋來迎接孝莊帝。十三日、爾朱榮派騎兵逮捕了胡太后和小皇帝,押送到河陰。胡太后反覆向爾朱榮求情,爾朱榮拂衣起身,於是就把胡太后和小皇帝都淹死在黃河裡費穆悄悄地對爾朱榮說:「您的兵馬不足一萬,如今長驅直入,來到洛陽,前面並無敵軍阻擋,既沒有打勝仗的威勢,人們又向來不敬畏您。以京城人口之多,百官的繁盛,知道您的虛實,定有輕蔑之意。要是不大殺一通,換上親信黨羽,恐怕您向北回歸晉陽之日,還沒等越過太行山,朝廷內部就會發生變亂啊。」爾朱榮在內心贊成他的說法,於是就請孝莊帝沿著黃河向西來到淘渚,引導百官來到行宮西北,說是打算祭天。百官會聚以後,爾朱榮就用騎兵圍住他們,責備說天下所以混亂,孝明帝所以暴死,都是因為朝臣貪婪暴虐,不能匡扶社稷的緣故,於是就放縱士兵殺戮百官,從丞相、高陽王元雍,司空元欽,儀同三司、義陽王元略以下,被殺死兩千多人。有一百多名朝臣後來才到,爾朱榮又派騎兵將其包圍,下令說:「有能寫禪讓文的,免其一死。」侍御史趙元則出來應募,就命他草擬禪讓文。爾朱榮又下令土兵們說:「元氏既滅,爾朱氏興。」士兵們都高呼萬歲。爾朱榮又派遣數十人執刀殺向行宮,孝莊帝和無上王元邵、始平王元子正都來到帳外。爾朱榮先派并州人郭羅剎、西部高車人叱列殺鬼在孝莊帝身旁侍奉,假說防衛,把孝莊帝抱入帳中。其餘的人就殺死了元邵和元子正,又派數十人把孝莊帝遷居到河橋,安排在爾朱榮自己帳下。孝莊帝非常恐懼、悲憤,就打算讓位給爾朱榮,高歡也勸爾朱榮稱帝,左右親信大多贊同,爾朱榮猶豫不決。賀拔嶽勸說道:「將軍您最早舉義興兵,立志殺盡奸佞,如今大功還沒有成就,就做這種打算,只能加速禍患的到來,並不是福氣。」於是爾朱榮用黃金為自己鑄像,先後四次都不能鑄成。
功曹參軍、燕郡人劉靈助擅長佔卜,爾朱榮很相信他,劉靈助說天時和人和兩方面都不應該稱帝。爾朱榮說:「要是我不吉利,就應該迎接元天穆前來,立他為帝。」劉靈助說:「元天穆也不吉利,只有長樂王是真有天命的。」爾朱榮這才打消了篡位的念頭。