Дефиниција: Named after Boltzmann's H-theorem, Shannon denoted the entropy H of a discrete random variable X with possible values {x1, ..., xn} and probability mass function p (X) as,
ຄໍານິຍາມ: ຕັ້ງຊື່ຕາມ H-theorem ຂອງ Boltzmann, Shannon ກ່າວເຖິງ entropy H ຂອງຕົວປ່ຽນ X ແບບສຸ່ມທີ່ແຕກຕ່າງກັບຄ່າທີ່ເປັນໄປໄດ້ {x1, ..., xn} ແລະ ຫນ້າ ທີ່ຕັ້ງມະຫາຊົນຄວາມເປັນໄປໄດ້ p (X) ເປັນ ......