Ανισότητα Γκιμπς
 Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Τζένσεν για κοίλη συνάρτηση f {\displaystyle f} και τυχαία μεταβλητή X {\displaystyle X} : E [ f ( X ) ] ≥ f ( E [ X ] ) . {\displaystyle E[f(X)]\geq f(E[X]).} Θεωρούμε την τυχαία μεταβλητή X {\displaystyle X} με κατανομή την p {\displaystyle p} και την συνάρτηση f ( x ) = log ⁡ x {\displaystyle f(x)=\log x} , που είναι κυρτή. Επομένως, − ∑ i = 1 n p i log ⁡ ( p i q i ) = ∑ i = 1 n p i log ⁡ ( q i p i ) = E [ log ⁡ ( q x p x ) ] ≥ log ⁡ ( E [ q x p x ] ) ≥ log ⁡ ( ∑ i = 1 n p i q i p i ) = log ⁡ ( ∑ i = 1 n q i ) = log ⁡ 1 = 0 {\displaystyle -\sum _{i=1}^{n}p_{i}\log \left({\tfrac {p_{i}}{q_{i}}}\right)=\sum _{i=1}^{n}p_{i}\log \left({\tfrac {q_{i}}{p_{i}}}\right)=E\left[\log \left({\tfrac {q_{x}}{p_{x}}}\right)\right]\geq \log \left(E\left[{\tfrac {q_{x}}{p_{x}}}\right]\right)\geq \log \left(\sum _{i=1}^{n}p_{i}{\tfrac {q_{i}}{p_{i}}}\right)=\log \left(\sum _{i=1}^{n}q_{i}\right)=\log 1=0} .Αναδιατάσσοντας, λαμβάνουμε την ανισότητα Γκμιπς, − ∑ i = 1 n p i log ⁡ ( p i q i ) ≥ 0 ⇔ − ∑ i = 1 n p i log ⁡ p i ≥ − ∑ i = 1 p i log ⁡ q i {\displaystyle -\sum _{i=1}^{n}p_{i}\log \left({\tfrac {p_{i}}{q_{i}}}\right)\geq 0\Leftrightarrow -\sum _{i=1}^{n}p_{i}\log p_{i}\geq -\sum _{i=1}p_{i}\log q_{i}} . Η ανισότητα λογαρίθμου-αθροίσματος δίνει ότι για οποιεσδήποτε ακολουθίες a 1 , … , a n {\displaystyle a_{1},\ldots ,a_{n}} και b 1 , … , b n {\displaystyle b_{1},\ldots ,b_{n}} ∑ i = 1 n a i log ⁡ ( a i b i ) ≥ a log ⁡ ( a b ) {\displaystyle \sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}\right)\geq a\log \left({\frac {a}{b}}\right)} ,όπου a = ∑ i = 1 n a i {\displaystyle a=\sum _{i=1}^{n}a_{i}} και b = ∑ i = 1 n b i {\displaystyle b=\sum _{i=1}^{n}b_{i}} . Θέτοντας a i = p i {\displaystyle a_{i}=p_{i}} και b i = q i {\displaystyle b_{i}=q_{i}} , τότε a = b = 1 {\displaystyle a=b=1} , λαμβάνουμε ∑ i = 1 n p i log ⁡ ( p i q i ) ≥ 1 log ⁡ ( 1 1 ) = 0 {\displaystyle \sum _{i=1}^{n}p_{i}\log \left({\frac {p_{i}}{q_{i}}}\right)\geq 1\log \left({\frac {1}{1}}\right)=0} .Αναδιατάσσοντας όπως στην προηγούμενη απόδειξη, λαμβάνουμε το ζητούμενο. Εντροπία πληροφοριών Απόκλιση Kullback–Leibler (Χρησιμοποιείται στην απόδειξη ότι η απόκλιση είναι πάντοτε μη-αρνητική) Θεωρία πληροφορίας Ανισότητα λογαρίθμου-αθροίσματος
Στα μαθηματικά, η ανισότητα Γκιμπς ή ανισότητα πληροφορίας (αναφέρεται και ως ανισότητα Gibbs) λέει ότι για οποιεσδήποτε δύο διακριτές κατανομές p = ( p 1 , … , p n ) {\displaystyle p=(p_{1},\ldots ,p_{n})} και q = ( q 1 , … , q n ) {\displaystyle q=(q_{1},\ldots ,q_{n})} , ισχύει ότι − ∑ i = 1 n p i log ⁡ p i ≤ − ∑ i = 1 n p i log ⁡ q i {\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}} .Η ανισότητα παίρνει το όνομά της από τον Τζοσάια Γουίλαρντ Γκιμπς.