Теорія Шеннона (якого вважають «батьком» теорії інформації), з самого початку розглядалась як точно сформульована математична задача і дала можливість інженерам визначати ємність комунікаційного каналу.