1860年，英法聯軍火燒圓明園後，圓明園四十景仍剩下超過13處的景觀，但山形水系並未破壞。此後100多年，圓明園先後歷經「火、木、石、土」四次劫難，最終將一個美麗絕世的圓明園變為一片廢墟。
劫火
1860年10月，圓明園慘遭英法聯軍焚毀，大多數建築絕被燒毀，園中的花草樹木也遭到嚴重損害。同治年間，清政府調查後發現圓明園尚存13處景觀。比如方壺勝景、蓬島瑤臺都是建在水中的，英國人沒有船，因此燒不到。至少圓明園的中國園林部分還未成為一片廢墟，甚至有些建築還保存得相當完整。但這場劫掠和焚燒，僅僅只是是這座名園災難的開端。
劫木
1900年，八國聯軍佔領北京期間，圓明園裡的太監勾結土匪、地痞，拆除建築木料，砍伐大量古樹，甚至把它們燒成木炭拿出去賣。這次的破壞主要是倖存建築物被拆毀，古樹破壞殆盡，但此時，圓明園的山形水系仍然沒有遭到破壞。
劫石
清朝覆滅後，北洋軍閥時期，圓明園管理疏散，幾乎無人管理，當時，北京的軍閥、官僚、政客乘機對圓明園的石料巧取豪奪，用於建造自己高大的府邸。民間也有人肆意取用圓明園的石料用於庭院裝飾。因此，圓明園石刻文物被拆運到各地，南京靜海寺的露陳墩、鐘山風景區譚延闓墓前的牡丹花壇都是圓明園文物。還有一個牧師私自拆走了圓明園的一個華表，今矗立在北京大學西門內。
劫土
致使圓明園的山形水系遭到破壞的是民國時期。從民國年間開始，很多農民住進圓明園，為了發展生產，建造房屋，農民紛紛挖山取土。圓明園裡還有耕地、工廠、打靶場，還住了2000多戶人家，整個山形水系都被破壞了。新中國成立後，因為管理不當，農民越來越多，破壞也越來越嚴重。一些農民為了養家畜種水稻，建房子挖山取土，圓明園慘不忍睹。尤其文革時期，文革時期一些農民自主進入圓明園挖土。一些當時的愛國人士無不感慨道：「故宮禾黍，人世滄桑。」