熵是一件奇怪的事情。有人說它可以衡量物理系統中的混亂程度。其他人則說這是一種信息量度。還有其他人在蒸汽機的背景下談論它。那麼，這是什麼？如何將不同背景中談到的熵聯繫起來
蒸汽機：
讓我們從頭開始。十九世紀見證了蒸汽機的興起，但同時也給人們帶來了一個不便的事實：那些蒸汽機效率極低。這激發了一位年輕的法國工程師Sadi Carnot制定出熱機效率的理論極限（熱機的工作原理是將從熱庫轉移到冷庫的熱量轉化為功）。1824年，卡諾（Carnot）出版了一本書，題為《對火的動力的思考》（Reflections on fire of fire），在書中他指出，無論多麼完美，熱機都不可能達到100％的效率。發動機中傳遞的一些熱量總是會浪費掉。
卡諾（Carnot）誕生 40年後，魯道夫·克勞修斯（Rudolf Clausius）下定決心，要解決這種固有的不能將熱量完全轉化成功的問題。他找到了一個數學表達式（請參見方框），以量化物理系統中無法工作的能量。他稱這個數量為系統的熵。
紊亂
卡諾（Carnot）提出了他對熱機的想法，儘管他認為熱是一種流體，但事實並非如此。多虧了克勞修斯（Clausius），開爾文勳爵（Lord Kelvin）和 詹姆斯·克萊克·麥克斯韋（James Clerk Maxwell）等人，我們現在知道熱是一種能量形式，來自構成材料的分子和原子。它們振動，旋轉，或者在液體或氣體中隨機運動，並隨著運動而相互反彈。他們做得越積極，他們的平均動能就越高，並且它們所屬於的材料就越熱。每當有東西融化時，您都可以看到。例如，在一個冰塊中，單個分子被鎖定在一個剛性的晶格中，但是一旦加熱，它們就會開始四處晃動，最終斷裂其鏈，使水變暖，也變液態。
麥克斯韋（Maxwell），路德維希·博爾茲曼（ Ludwig Boltzmann）等人繼續意識到，熵可以視為系統中無序的一種度量。要想知道這是如何工作的，請想像其中有一個燃燒著的蠟燭的房間。蠟燭的熱量可以轉化為功。例如，您可以使用從中升起的熱空氣為那些頂部帶有風扇葉片的聖誕節玩具之一供電。現在，想像一下蠟燭燒完並且整個溫度均勻之後的同一個房間。在這種情況下，您將無法進行任何工作，因此，如果您將熵視為衡量無法完成工作的指標，那麼很明顯，蠟燭燒盡時，房間的熵要比仍在燃燒時的熵高。
在分子水平上，第二種情況隨著蠟燭被燒毀，也變得不那麼有序。整個過程中空氣的溫度均勻，這意味著快慢運動的分子會完全混合在一起：如果以某種方式將它們分離開，那麼您的房間中就會出現溫度梯度。實際上，房間所處的熱平衡也是最大無序狀態。相比之下，當蠟燭仍在燃燒時，快速分子聚集在火焰周圍，從而使情況更加井井有條。
麥克斯韋（Maxwell）和玻爾茲曼（Boltzmann）提出了一個公式，用於量化由多種成分（例如氣體）組成的系統中的無序量。它基於這樣的思想，即系統的順序越少，重新排列其小組件的方式就越多，而又不會影響整個系統的外觀（請參見方框）。事實證明，這種關於無序的熵定義等同於克勞修斯關於溫度和能量的原始定義。
信息
那麼，信息連結是什麼？如果系統井井有條，那麼您就不需要太多信息來描述它。例如，您可以用一個句子描述分子在冷凍冰塊中的規則排列，但是要給出氣體的精確描述，該氣體中分子隨機嗡嗡作響，您需要知道每個個體的精確位置和速度分子，這是很多信息。混亂程度越大，熵越高，描述系統所需的信息也越多。
這就是熵的概念如何將引擎的效率低下與混亂和信息聯繫起來。熵還牽涉到自然的基本定律：熱力學第二定律說，一個孤立系統的熵永遠不會降低。它只能保持不變或增加。對於發動機而言，這意味著任何發動機都不會因直覺而變得更加高效。就無序而言，這意味著任何留給自己設備的系統都只會變得更加混亂，而且還會因直覺而發出聲響（例如，您的廚房或辦公桌）。正如我們所看到的，凌亂的事物比有序的事物更難以描述，這為熱力學第二定律提供了信息角度。