元朝的最後幾年，國內充斥著民眾之間的鬥爭、饑荒，和動亂帶來的苦難。隨著時間的流逝，忽必烈汗的繼任者，對整個歐亞大陸其他蒙古汗國的土地失去了影響力，而中亞地區以外的蒙古人，則已將元帝國的蒙古人視為中國人。
逐漸地，隨著元朝朝廷上層的控制力逐漸衰弱，他們在中國也失去了影響力。元朝晚期皇帝們的統治是短暫的，並且朝廷內部充滿了陰謀和競爭。他們對國家治理毫無興趣，並且將軍隊和人民隔離開來，元帝國因這些分歧和動蕩而被撕毀。各種起義組織不受元軍幹預，沒有削弱他們的力量，在這種情況下，起義活動肆虐全國。
從1340年代後期開始，元帝國農村地區的人們，經常遭受自然災害的困擾，例如乾旱、洪水和由此造成的饑荒，政府缺乏有效的政策去改善情況，從而導致失去了民眾的支持。
1351年，紅巾軍的叛亂開始了，這是一次以「恢復大宋」為目的起義，然後發展成為了全國性的起義，並且起義領導者劉福通，在安徽亳州建立了「大宋」。
1354年，當元朝宰相脫脫率領一支龐大的軍隊粉碎紅巾軍叛軍時，元朝皇帝突然因為擔心脫脫背叛，而將他解僱。雖然這一舉措可以讓皇帝權力恢復，但另一方面又導致了國家中央政府的力量迅速削弱。
1368年，已在南京建立明朝的朱元璋，隨後北伐驅逐元廷，攻佔了元朝的首都大都（今北京）。而朱元璋本人，也曾是紅巾軍的將領之一，並在紅巾軍擁立的「宋帝」韓林兒去世後，加冕成為了中原王朝的皇帝。兩年後（1370年），元廷在盈昌（現今內蒙古）大敗，從此，蒙古人盡失中原土地。
1381年，明軍傅友德南徵雲南，擊敗了剩餘的元庭勢力，元梁王孛兒只斤·把匝剌瓦爾密，於晉寧州自縊而死。
從丟失應昌開始，元朝的殘餘勢力撤退到蒙古，同時，他們仍然沿用了大元這個國號，史稱「北元」。
退居北方後，北元的統治者仍然提出了自己的政治訴求，比如要求自己的大汗地位與明朝皇帝相等，但是根據中國傳統的政治正統觀念，天下只有一個合法的王朝，王朝的皇帝受命於天，得到天命的人才能統治天下，因此明朝否認了元朝的殘餘勢力，即不承認北元大汗要求與明朝皇帝平級的訴求。