在火燒圓明園前夕，英法與清政府的戰爭已經結束，只等雙方正式籤約。為什麼後來會火燒圓明園呢?據說這和戰俘有關。英法長期以來不認為自己有罪，原因是清政府虐待、虐殺戰俘在先，他們只是報復。這到底是怎麼回事呢?
1860年9月22日，英法收到恭親王奕訢發來的照會,說他受命為全權欽差大臣,要求英法停火。英法回應，不放回俘虜就不能停火(這些俘虜大多是被清政府扣押的談判代表),更不能恢復談判。恭親王表示，所有的俘虜都平安，但要等到和議達成後才能釋放他們。英法不同意，回應如果中方能在三天內交回俘虜，就願意在和約上簽字，否則如果英法繼續向北京挺進，是不違反國際法的。如果當時恭親王作出讓步，就算不能避免繼續戰爭，可能也就不會發生火燒圓明園的事情了，但當時的清政府，眼中並沒有國家利益這個概念，只講究「不失國體」，也就是政府不能丟臉，因而堅持不肯先交回俘虜。
當時，英方隨軍翻譯巴夏禮，也被清政府用計俘虜了。可是，英方並不怎麼擔心，因為他們相信巴夏禮的才幹和能力，認為巴夏禮一個人就頂一支軍隊。但是法軍認為，發動攻擊是救出這些人質的最好辦法。
巴夏禮得以釋放後,曾向英法和全世界講述了他當俘虜時的經歷，據他所說，他體驗到了東方的特別刑罰。他說中國人教訓他的方式，就是讓人摁著他的頭，在地面上連續磕響頭。巴夏禮抗議說:」我是談判人員，打著休戰白旗從你們防區經過的，且得到過你們明確承諾，給予通行安全。
你們現在為什麼不守信用呢？」清政府的代表沒有理會，捻住巴夏禮的頭，又是一頓猛磕。
英法於是繼續北進，前方炮聲響了，清政府於是命人把一批俘虜裝到車上，送往北京。中國的車子沒彈簧，所以俘虜們很不舒服，而且他們的手上被勒了皮繩，這樣子坐在車上顛得東倒西歪，也不能用手扶，滋味可想而知。這些養尊處優慣了的白人哪裡受過這種罪，自然視此為虐待。
巴夏禮和當時英國統帥額爾金的私人秘書洛奇都被關到了刑部大牢。洛奇在出獄後，曾寫過回憶錄，說自己最擔心的是捆在手上的皮繩，那皮繩用水溼過，而且越勒越緊，勒幾天手腕處即開始腐爛並且生蛆。
巴夏禮和一幫中國囚犯關在一起，有意思的是，刑部給他定的罪名居然是「謀反」。清政府竟然把外國敵人當自己臣民來定罪，這在世界上恐怕都是絕無僅有的。審訊時，對他也不算太狠，雖然威脅說要砍他的頭，但最多是拉著他的頭髮或者耳朵在地上拖來拖去。從中國的刑罰史來看，這種審訊還算是比較溫和的，並不算特別虐待。
其他俘虜被關在了圓明園，據說皇帝曾秘密審訊過他們。被關在圓明園的俘虜就慘多了，他們雙手被捆，整日下跪，三天水米未進，手腕處被皮繩勒得腐爛了，生出蛆蟲。據後來得以生還釋放的人回憶說:「當時被俘虜的人，包括《泰晤士報)記者鮑爾比，他在第四天死去，屍體在牢房裡放了三天都沒人管，後來被扔到野外，讓狗吃了;另一個人手腳被勒得生出了蛆蟲，他看著蛆蟲在身上蔓延，覺得既噁心又害怕，於是在精神錯亂中死去;一位法國人，蛆蟲進了他的嘴巴、耳朵、鼻子，也瘋掉了:有個活下來的人居然還在獄中數蛆蟲。」
到了9月13日至16日，在英法的強烈要求下，清政府迫於無奈，陸續把俘虜放還。但英法聯軍一看這些俘虜就火了:總共俘走39人，活著回來的只有19人。有些人的屍體被大卸八塊，還有些人腐爛得已經認不出了，還有些人根本就找不到屍體了。再聽聽活下來的人添油加醋的描述，更是讓這些高傲的白人怒不可遏。
於是，英法召開了會議，都同意要懲罰清朝「這個野蠻的政府」。按照西方的遊戲規則，也就是萬國公法規定，凡使臣性命不保，它日城破，可以雞犬不留。但在到底如何懲罰上，英法產生了分歧。
英國額爾金認為，這些可憐的俘虜是在圓明園內受到虐待的，那麼就必須將這個園子夷為平地。英國另一個建議就是，由中國政府出錢，在天津設立紀念碑。用滿文、英文、法文刻上清政府認罪的碑文，然後由清方大臣護送死者屍體到天津參加揭幕儀式。
法國提出了反對意見，首先，圓明園沒有設防，屬於非交戰區，燒圓明園屬於無益之報復。另外，立碑一事實施起來也很困難，清政府驕傲慣了，受不得這等侮辱，刺激得太過分，說不定會影響談判。再者，真要報復，最好的方法就是燒北京的皇宮，這比燒一個園子更讓清朝統治者丟臉。
額爾金不同意燒皇宮，但最後他堅持要燒圓明園。於是，10月16日，英方向清方提交最後通牒:一是拆毀圓明園，二是賠償被虐待致死的英方人員補恤金30萬兩。第二天，又追加了一條，將虐待俘虜的清方官員嚴加治罪。 火燒圓明園在世界上引起了軒然大波，但額爾金認為他燒得有理，原因就是這些戰俘手足捆綁，三天不進飲食，受到了野蠻對待。據說額爾金火燒圓明園的動力，很大程度上是源於《泰晤士報》記者鮑爾比的受虐致死。當時英國媒體將此事在國內公布後，引起英國人的憤怒，都要求報復中國皇帝。
關於火燒圓明園的原因，我們都解釋為「弱國無外文」、「落後就要挨打」，這沒錯。英法聯軍的強盜行為是主要原因，但當時清政府在戰俘問題上處理不當，也是一個誘因。說到底，這是由於，在幾千年的封建社會裡，統治者草菅人命是常事，認為死幾個人不算什麼，因此對這些戰俘也處理得很隨意。結果沒有想到，當時的西方人早已有了所謂「人權」這個概念。當然這個人權是加引號的，強盜的邏輯很簡單，找藉口掠奪是他們的生存發展之道，再加上「敵強我弱「，於是，悲劇的發生就是必然的了。