熵是什麼
熵是一個科學概念，也是一個可測量的物理屬性，最常與無序、隨機或不確定狀態相關聯。這個術語和概念在各個領域中被使用，從經典熱力學，它首先被認識到，到統計物理學中對自然的微觀描述，再到資訊理論的原則。它在化學和物理學、生物系統及其與生命的關係、宇宙學、經濟學、社會學、氣象科學、氣候變化和資訊系統中找到了廣泛的應用，包括在電信中傳輸資訊。
熵是一個科學概念，也是一種可測量的物理屬性，通常與無序、隨機或不確定性狀態相關。該術語和概念被用於不同的領域，從它最初被認識的經典熱力學，到統計物理學中對自然的微觀描述，再到資訊理論的原理。它在化學和物理學、生物系統及其與生命的關係、宇宙學、經濟學、社會學、天氣科學、氣候變化和資訊系統（包括電信資訊傳輸）中有著廣泛的應用。

熱力學概念由蘇格蘭科學家兼工程師威廉·蘭金於 1850 年提出，名稱為熱力學函式和熱勢。 1865年，熱力學領域的主要創始人之一、德國物理學家魯道夫·克勞修斯將其定義為無窮小量的熱量與瞬時溫度的商。他最初用德語 Verwandlungsinhalt 將其描述為“變換內容”，後來根據希臘語中的“變換”一詞創造了“熵”一詞。 1862年，克勞修斯將微觀構成和結構解釋為意義分解。

熵的一個結果是，除了不違反能量守恆定律的要求之外，某些過程是不可逆或不可能的，能量守恆在熱力學第一定律中得到了表達。熵是熱力學第二定律的核心，該定律指出，自發演化的孤立系統的熵不會隨著時間而減少，因為它們總是達到熵最高的熱力學平衡狀態。

奧地利物理學家路德維希·玻爾茲曼將熵解釋為系統中單個原子和分子可能的微觀排列或狀態數量的度量，這些排列或狀態符合系統的宏觀條件。因此，他將統計無序和機率分佈的概念引入了熱力學的新領域，稱為統計力學，並發現了圍繞平均配置波動的微觀相互作用與宏觀可觀察行為之間的聯絡，以簡單對數的形式定律，其中一個比例常數是玻爾茲曼常數，它已成為現代國際單位制 (SI) 的定義通用常數之一。

1948 年，貝爾實驗室科學家克勞德·夏農 (Claude Shannon) 開發了類似的統計概念，用於測量微觀不確定性和多重性，以解決電信訊號中資訊隨機丟失的問題。根據約翰·馮·諾依曼的建議，夏農將這種缺失資訊的實體命名為熵，類似於它在統計力學中的應用，並催生了資訊理論領域。該描述已被確定為熵概念的通用定義。