b'\n_START_ARTICLE_\nTeoria da informa\xc3\xa7\xc3\xa3o\n_START_PARAGRAPH_\nA teoria matem\xc3\xa1tica da informa\xc3\xa7\xc3\xa3o estuda a quantifica\xc3\xa7\xc3\xa3o, armazenamento e comunica\xc3\xa7\xc3\xa3o da informa\xc3\xa7\xc3\xa3o. Ela foi originalmente proposta por Claude E. Shannon em 1948 para achar os limites fundamentais no processamento de sinais e opera\xc3\xa7\xc3\xb5es de comunica\xc3\xa7\xc3\xa3o como as de compress\xc3\xa3o de dados, em um artigo divisor de \xc3\xa1guas intitulado  "A Mathematical Theory of Communication". Agora essa teoria tem v\xc3\xa1rias aplica\xc3\xa7\xc3\xb5es nas mais diversas \xc3\xa1reas, incluindo  infer\xc3\xaancia estat\xc3\xadstica, processamento de linguagem natural, criptografia, neuroci\xc3\xaancia computacional, evolu\xc3\xa7\xc3\xa3o, computa\xc3\xa7\xc3\xa3o qu\xc3\xa2ntica, dentre outras._NEWLINE_A medida chave em teoria da informa\xc3\xa7\xc3\xa3o \xc3\xa9 a entropia. A entropia \xc3\xa9 o grau de casualidade, de indetermina\xc3\xa7\xc3\xa3o que algo possui. Ela est\xc3\xa1 ligada \xc3\xa0 quantidade de informa\xc3\xa7\xc3\xa3o. Quanto maior a informa\xc3\xa7\xc3\xa3o, maior a desordem, maior a entropia. Quanto menor a informa\xc3\xa7\xc3\xa3o, menor a escolha, menor a entropia. Dessa forma, esse processo quantifica a quantidade de incerteza envolvida no valor de uma vari\xc3\xa1vel aleat\xc3\xb3ria ou na sa\xc3\xadda de um processo aleat\xc3\xb3rio. Por exemplo, a sa\xc3\xadda de um cara ou coroa de uma moeda honesta (com duas sa\xc3\xaddas igualmente prov\xc3\xa1veis) fornece menos informa\xc3\xa7\xc3\xa3o (menor entropia) do que especificar a sa\xc3\xadda da rolagem de um dado de seis faces (com seis sa\xc3\xaddas igualmente prov\xc3\xa1veis). Algumas outras medidas importantes em teoria da informa\xc3\xa7\xc3\xa3o s\xc3\xa3o informa\xc3\xa7\xc3\xa3o m\xc3\xbatua, informa\xc3\xa7\xc3\xa3o condicional e capacidade de um canal._NEWLINE_Aplica\xc3\xa7\xc3\xb5es de t\xc3\xb3picos fundamentais da teoria da informa\xc3\xa7\xc3\xa3o incluem compress\xc3\xa3o sem perdas de dados (e.g ZIP), e compress\xc3\xa3o de dados (e.g MP3 e JPEG)._NEWLINE_Essa teoria \xc3\xa9 considerada uma das fundadoras das ci\xc3\xaancias da comunica\xc3\xa7\xc3\xa3o. Um dos criadores da teoria da informa\xc3\xa7\xc3\xa3o, Weaver, defende que comunica\xc3\xa7\xc3\xa3o \xc3\xa9 o processo de transmiss\xc3\xa3o plena de uma ideia. E para isso a informa\xc3\xa7\xc3\xa3o deve solucionar tr\xc3\xaas n\xc3\xadveis de problemas: t\xc3\xa9cnico, sem\xc3\xa2ntico e de influ\xc3\xaancia. Enquanto a maior parte das pessoas acredita que o principal aspecto da comunica\xc3\xa7\xc3\xa3o \xc3\xa9 a interpreta\xc3\xa7\xc3\xa3o (n\xc3\xadvel sem\xc3\xa2ntico) ou o efeito (problema de influ\xc3\xaancia), a teoria matem\xc3\xa1tica da comunica\xc3\xa7\xc3\xa3o traz para o centro da discuss\xc3\xa3o as quest\xc3\xb5es t\xc3\xa9cnicas. Esse n\xc3\xadvel envolve tudo que diz respeito \xc3\xa0 precis\xc3\xa3o na transmiss\xc3\xa3o de informa\xc3\xa7\xc3\xa3o que parte do emissor e vai at\xc3\xa9 o receptor, seja por meio do r\xc3\xa1dio, telefone ou televis\xc3\xa3o atrav\xc3\xa9s de um sinal. Sua import\xc3\xa2ncia se justap\xc3\xb5e com os outros dois n\xc3\xadveis de problemas porque eles dependem inevitavelmente da efic\xc3\xa1cia na transmiss\xc3\xa3o das mensagens._NEWLINE_O campo est\xc3\xa1 na intersec\xc3\xa7\xc3\xa3o da matem\xc3\xa1tica, estat\xc3\xadstica, ci\xc3\xaancia da computa\xc3\xa7\xc3\xa3o, f\xc3\xadsica, neurobiologia e engenharia el\xc3\xa9trica. Seu impacto \xc3\xa9 crucial, por exemplo, no sucesso das miss\xc3\xb5es da sonda Voyager no espa\xc3\xa7o, no entendimento desde buracos negros at\xc3\xa9 da consci\xc3\xaancia humana como na teoria de integra\xc3\xa7\xc3\xa3o da informa\xc3\xa7\xc3\xa3o (do ingl\xc3\xaas, Integrated Information Theory), proposta por Giulio Tononi.\n_START_SECTION_\nVari\xc3\xa1veis aleat\xc3\xb3rias discretas\n_START_PARAGRAPH_\nAntes de prosseguir \xc3\xa9 importante definir a nota\xc3\xa7\xc3\xa3o utilizada para as vari\xc3\xa1veis aleat\xc3\xb3rias discretas. Dado uma vari\xc3\xa1vel aleat\xc3\xb3ria , que pode assumir  valores, podemos representa-la como:_NEWLINE_Onde  \xc3\xa9 o i-\xc3\xa9simo valor que pode ser assumido pela vari\xc3\xa1vel. Cada um dos  valores podem acontecer com probabilidade , n\xc3\xa3o necessariamente iguais. A distribui\xc3\xa7\xc3\xa3o de probabilidades de  \xc3\xa9 representada como:_NEWLINE_Nesse caso , com , representa a probabilidade do valor  acontecer. Esse tipo de distribui\xc3\xa7\xc3\xa3o pode ser representada com um gr\xc3\xa1fico de barras como na figura a seguir._NEWLINE_Para uma dada distribui\xc3\xa7\xc3\xa3o de probabilidades a condi\xc3\xa7\xc3\xa3o  \xc3\xa9 cumprida._NEWLINE_*_NEWLINE_Dado duas vari\xc3\xa1veis aleat\xc3\xb3rias  e , cada uma podendo assumir quatro valores, logo  e , com distribui\xc3\xa7\xc3\xb5es de probabilidade  e . A distribui\xc3\xa7\xc3\xa3o conjunta das vari\xc3\xa1veis pode ser determinada medindo-se a frequ\xc3\xaancia de ocorr\xc3\xaancia dos pares , com ._NEWLINE_Medindo o n\xc3\xbamero de ocorr\xc3\xaancias dos pares , em uma amostragem de tamanho  suficientemente grande, \xc3\xa9 poss\xc3\xadvel determinar as probabilidades de cada par dividindo o n\xc3\xbamero de ocorr\xc3\xaancias de cada um deles por . Dando a distribui\xc3\xa7\xc3\xa3o de probabilidades conjunta (do ingl\xc3\xaas, joint probability distribution)._NEWLINE_A distribui\xc3\xa7\xc3\xa3o conjunta pode ser por um histograma tridimensional, como o mostrado a seguir._NEWLINE_A partir da distribui\xc3\xa7\xc3\xa3o conjunta de , \xc3\xa9 poss\xc3\xadvel voltar as distribui\xc3\xa7\xc3\xb5es de  ou de  (chamadas de distribui\xc3\xa7\xc3\xb5es marginais), atrav\xc3\xa9s de um processo chamado marginaliza\xc3\xa7\xc3\xa3o. Por exemplo, se quisermos obter o valor da distribui\xc3\xa7\xc3\xa3o  para  ent\xc3\xa3o devemos faze-lo somando por todos \xc2\xa0os  valores de   para :_NEWLINE_Fazendo isso fixando cada um dos poss\xc3\xadveis valores de $X$, obtemos a distribui\xc3\xa7\xc3\xa3o marginal :_NEWLINE_Para obter a distribui\xc3\xa7\xc3\xa3o marginal  basta seguir o mesmo procedimento, fixando , em cada um de seus poss\xc3\xadveis valores:\n_START_SECTION_\nAs grandezas da Teoria da Informa\xc3\xa7\xc3\xa3o\n_START_PARAGRAPH_\nA teoria da informa\xc3\xa7\xc3\xa3o \xc3\xa9 baseada na teoria de probabilidades e estat\xc3\xadstica. Ela preocupa-se com medidas de informa\xc3\xa7\xc3\xa3o das distribui\xc3\xa7\xc3\xb5es associadas com vari\xc3\xa1veis aleat\xc3\xb3rias. Grandezas importantes da teoria da informa\xc3\xa7\xc3\xa3o s\xc3\xa3o a entropia, uma medida de informa\xc3\xa7\xc3\xa3o de uma \xc3\xbanica vari\xc3\xa1vel aleat\xc3\xb3ria, e informa\xc3\xa7\xc3\xa3o m\xc3\xbatua, uma medida de informa\xc3\xa7\xc3\xa3o em comum entre das vari\xc3\xa1veis aleat\xc3\xb3rias._NEWLINE_Na formula\xc3\xa7\xc3\xa3o das grandezas da teoria da informa\xc3\xa7\xc3\xa3o, escolheu-se utilizar bases logar\xc3\xadtmicas (para manter propriedades como a aditividade da entropia), mais especificamente a entropia de Shannon \xc3\xa9 definida com logaritmos na base 2. A unidade utilizada para quantificar informa\xc3\xa7\xc3\xa3o \xc3\xa9 o bit (baseado no logaritmo base 2), muito embora outras existam, como o nat (baseada no logaritmo natural), e o hartley (baseado no logaritmo na base 10)._NEWLINE_Tendo citado as aplica\xc3\xa7\xc3\xb5es da teoria da informa\xc3\xa7\xc3\xa3o, seu contexto hist\xc3\xb3rico de surgimento e mencionado as grandezas envolvidas, chegou o momento de discutir mais a fundo alguns dos conceitos bases da teoria, come\xc3\xa7ando pela unidade de informa\xc3\xa7\xc3\xa3o, o bit.\n_START_SECTION_\nEscolhendo destinos e o bit de informa\xc3\xa7\xc3\xa3o\n_START_PARAGRAPH_\nA fim de entender de forma intuitiva o que significa dizer 1 bit de informa\xc3\xa7\xc3\xa3o, imagine a seguinte situa\xc3\xa7\xc3\xa3o, um viajante, decide sair de sua cidade, no ponto marcado com a letra "A" na figura abaixo e chegar ao seu destino no ponto "D"._NEWLINE_O caminho entre "A" e "D", possui v\xc3\xa1rias bifurca\xc3\xa7\xc3\xb5es (como os pontos "B" e "C"), como o viajante desconhece o caminho, em cada cidade que ele passa (representado pelas bifurca\xc3\xa7\xc3\xb5es) ele pede informa\xc3\xa7\xc3\xa3o, perguntando se deve seguir a direita ou a esquerda. Na figura anterior dizer que ele deve seguir a esquerda \xc3\xa9 o mesmo que mostrar o d\xc3\xadgito bin\xc3\xa1rio 0 a ele, e um sinal de que deve seguir a direita o mesmo que mostrar o d\xc3\xadgito1._NEWLINE_Dessa forma, como \xc3\xa9 poss\xc3\xadvel ver pela figura, ele ter\xc3\xa1 que pedir informa\xc3\xa7\xc3\xa3o nos pontos "A", "B" e "C", note que independente do destino () o n\xc3\xbamero de perguntas para alcan\xc3\xa7a-lo (nesse caso) \xc3\xa9 sempre tr\xc3\xaas. Ou seja, escolher entre oito destinos requer tr\xc3\xaas perguntas:_NEWLINE_Note que o o expoente do n\xc3\xbamero dois na equa\xc3\xa7\xc3\xa3o anterior \xc3\xa9 igual ao n\xc3\xbamero de perguntas feitas. Defini-se ent\xc3\xa3o que para escolher entre um dos oito poss\xc3\xadveis destinos \xc3\xa9 necess\xc3\xa1ria uma quantidade de informa\xc3\xa7\xc3\xa3o igual a .\xc2\xa0_NEWLINE_Aplicando logaritmo de base dois na express\xc3\xa3o anterior, temos:_NEWLINE_\xc3\x89 importante salientar, que como o viajante poderia ter escolhido qualquer um dos destinos finais poss\xc3\xadveis, eles s\xc3\xa3o todos equiprov\xc3\xa1veis, com probabilidade ._NEWLINE_De forma an\xc3\xa1loga, para o caso em que se tem poss\xc3\xadveis destinos, e supondo que o viajante possa escolher qualquer um deles com igual probabilidade, a quantidade de informa\xc3\xa7\xc3\xa3o, em bits, para alcan\xc3\xa7ar um dos poss\xc3\xadveis destinos \xc3\xa9 dada pela rela\xc3\xa7\xc3\xa3o a seguir_NEWLINE_Com isso conclui-se que  bits \xc3\xa9 a informa\xc3\xa7\xc3\xa3o necess\xc3\xa1ria para se escolher entre  alternativas equiprov\xc3\xa1veis, ou  \xc3\xa9 a quantidade de informa\xc3\xa7\xc3\xa3o necess\xc3\xa1ria para escolher entre duas alternativas equiprov\xc3\xa1veis.\n_START_SECTION_\nInforma\xc3\xa7\xc3\xa3o de Shannon (h) ou surpresa\n_START_PARAGRAPH_\nUsarei de outro exemplo para explicar a medida de Informa\xc3\xa7\xc3\xa3o de Shannon  ou surpresa. Imagine nesse caso, uma moeda desonesta (enviesada), que tem probabilidade  de dar cara e probabilidade  de dar coroa._NEWLINE_Por voc\xc3\xaa estar acostumado que a jogada dessa moeda quase sempre d\xc3\xaa cara, esse resultado n\xc3\xa3o te surpreende. Mas um resultado coroa te surpreende por conta da "raridade" do evento. \xc2\xa0Pensando nisso, uma forma natural de se definir essa surpresa que se tem, seria como algo proporcional ao inverso da probabilidade  de ocorr\xc3\xaancia do evento, de modo que quando menor essa probabilidade maior a surpresa._NEWLINE_Shannon definiu essa grandeza como:_NEWLINE_Utilizando o logaritmo na base dois mant\xc3\xaam-se a propriedade de aditividade dessa grandeza._NEWLINE_Dessa maneira podemos calcular a surpresa da jogada da moeda retornar cara () ou coroa () de acordo com a defini\xc3\xa7\xc3\xa3o anterior._NEWLINE_e,_NEWLINE_De fato, , que surpresa!\n_START_SECTION_\nEntropia (H)\n_START_PARAGRAPH_\nA fim de chegar na formula\xc3\xa7\xc3\xa3o matem\xc3\xa1tica da entropia, imagine por exemplo uma vari\xc3\xa1vel aleat\xc3\xb3ria , que pode assumir dois valores distintos  e  com probabilidades  e , respectivamente. Seguindo a nota\xc3\xa7\xc3\xa3o definida na se\xc3\xa7\xc3\xa3o: Vari\xc3\xa1veis aleat\xc3\xb3rias discretas, temos:_NEWLINE_e,_NEWLINE_A informa\xc3\xa7\xc3\xa3o de Shannon associada a cada um dos valores \xc3\xa9:_NEWLINE_e,_NEWLINE_Na pr\xc3\xa1tica, geralmente n\xc3\xb3s n\xc3\xa3o estamos interessados em saber a surpresa de um valor em particular que uma vari\xc3\xa1vel aleat\xc3\xb3ria pode assumir, e sim a surpresa associada com todos os poss\xc3\xadveis valores que essa vari\xc3\xa1vel aleat\xc3\xb3ria pode ter. De modo a obter a surpresa associada a todos poss\xc3\xadveis valores que  pode assumir, defini-se a entropia  como a informa\xc3\xa7\xc3\xa3o de Shannon m\xc3\xa9dia:_NEWLINE_Caso , possa assumir  valores, a express\xc3\xa3o anterior pode ser escrita de modo mais geral.\n_START_SECTION_\nA entropia do dado de seis faces\n_START_PARAGRAPH_\nUma aplica\xc3\xa7\xc3\xa3o direta para a equa\xc3\xa7\xc3\xa3o da entropia definida anteriormente pode ser obtida com o exemplo um dado de seis faces. Representando o dado pela vari\xc3\xa1vel aleat\xc3\xb3ria , temos que:_NEWLINE_e,_NEWLINE_Desse modo a entropia \xc3\xa9:\n_START_SECTION_\nMoeda boa, moeda m\xc3\xa1\n_START_PARAGRAPH_\nConsidere a moeda honesta, representada pela vari\xc3\xa1vel aleat\xc3\xb3ria :_NEWLINE_e,_NEWLINE_\xc2\xa0E a moeda enviesada, como aquela utilizada para exemplificar a informa\xc3\xa7\xc3\xa3o de Shannon, representada pela vari\xc3\xa1vel aleat\xc3\xb3ria ._NEWLINE_e,_NEWLINE_\xc2\xa0Note que um resultado cara \xc3\xa9 representado pelo d\xc3\xadgito 0 e um resultado coroa por um d\xc3\xadgito 1. A entropia de cada uma das moedas pode ser calculada, sendo ent\xc3\xa3o:_NEWLINE_e,_NEWLINE_Nesse caso a entropia da moeda honesta \xc3\xa9 maior do que a da moeda desonesta, mas qual o significado disso? O que a medida de entropia pode me dizer? Essas quest\xc3\xb5es ser\xc3\xa3o abordadas na pr\xc3\xb3xima se\xc3\xa7\xc3\xa3o, onde uma abordagem conceitual de entropia ser\xc3\xa1 tratada.\n_START_SECTION_\nUma vis\xc3\xa3o conceitual da grandeza entropia\n_START_PARAGRAPH_\nFundamentalmente a entropia \xc3\xa9 uma medida de incerteza. Isso pode ser visto no exemplo anterior, na moeda honesta \xc3\xa9 muito dif\xc3\xadcil dizer qual ser\xc3\xa1 o resultado antes de joga-la, algu\xc3\xa9m pode arriscar dizer que o resultado ser\xc3\xa1 cara ou coroa, mas a incerteza continua maior do que no caso da moeda enviesada (logo com entropia tamb\xc3\xa9m maior), onde podemos prever com certa tranquilidade que o resultado da jogada ser\xc3\xa1 cara._NEWLINE_No fundo, essa incerteza est\xc3\xa1 ligada \xc3\xa0 previsibilidade do valor que ser\xc3\xa1 assumido por uma dada vari\xc3\xa1vel aleat\xc3\xb3ria, prever um valor sorteado entre 100 valores equiprov\xc3\xa1veis (por exemplo, adivinhar o n\xc3\xbamero que sa\xc3\xadra em um dado de 100 faces) \xc3\xa9 mais dif\xc3\xadcil do que prever esse valor, caso esse dado seja enviesado e uma das faces tenha probabilidade alta de aparecer._NEWLINE_Agora sabemos tamb\xc3\xa9m que a entropia \xc3\xa9 uma medida de informa\xc3\xa7\xc3\xa3o, como uma coisa se relaciona a outra?_NEWLINE_Justamente por ter mais incerteza sobre a poss\xc3\xadvel sa\xc3\xadda de uma vari\xc3\xa1vel aleat\xc3\xb3ria, voc\xc3\xaa precisa de mais informa\xc3\xa7\xc3\xa3o, para "advinhar" essa sa\xc3\xadda. Isso \xc3\xa9 an\xc3\xa1logo ao n\xc3\xbamero de perguntas que o nosso viajante da se\xc3\xa7\xc3\xa3o "Escolhendo destinos e o bit de informa\xc3\xa7\xc3\xa3o" teve de fazer para chegar ao seu destino. Desse modo quanto maior a entropia maior a incerteza e maior a informa\xc3\xa7\xc3\xa3o que voc\xc3\xaa precisa para "advinhar" uma poss\xc3\xadvel sa\xc3\xadda que a vari\xc3\xa1vel aleat\xc3\xb3ria pode apresentar._NEWLINE_Para ilustrar o que foi dito, considere a seguinte situa\xc3\xa7\xc3\xa3o, estacionaram seu carro em um estacionamento de 8 vagas dispostas como no desenho abaixo, para adivinhar em que vaga ele est\xc3\xa1 voc\xc3\xaa tem permiss\xc3\xa3o de realizar perguntas sim ou n\xc3\xa3o._NEWLINE_Voc\xc3\xaa pode come\xc3\xa7ar: "O carro est\xc3\xa1 na direita?", caso a resposta seja sim, isso restringe as poss\xc3\xadveis vagas pela metade, sendo elas as vagas 3, 4, 7 e 8. A pr\xc3\xb3xima perguntar pode ser: "O carro est\xc3\xa1 ao norte?", com uma resposta n\xc3\xa3o, restam duas possibilidades, a vaga 7 ou 8. Uma ultima pergunta: "O carro est\xc3\xa1 a direita?", basta para determinar em qual delas seu carro est\xc3\xa1. Nesse caso cada resposta sim/n\xc3\xa3o te da 1 bit de informa\xc3\xa7\xc3\xa3o. Como s\xc3\xa3o necess\xc3\xa1rias tr\xc3\xaas perguntamos podemos dizer que a entropia  \xc3\xa9 igual a 3 bits._NEWLINE_Assim fica f\xc3\xa1cil entender a ideia de que a entropia est\xc3\xa1 relacionada \xc2\xa0com a quantidade de informa\xc3\xa7\xc3\xa3o necess\xc3\xa1ria para "advinhar" a resposta (ou uma poss\xc3\xadvel sa\xc3\xadda de uma vari\xc3\xa1vel aleat\xc3\xb3ria)._NEWLINE_No exemplo das vagas, como a probabilidade do carro estar em qualquer uma das vagas \xc3\xa9 igual, cada bit de informa\xc3\xa7\xc3\xa3o diminui o n\xc3\xbamero de respostas poss\xc3\xadveis pela metade.\n_START_SECTION_\nEntropia da distribui\xc3\xa7\xc3\xa3o conjunta\n_START_PARAGRAPH_\nA defini\xc3\xa7\xc3\xa3o de entropia para uma distribui\xc3\xa7\xc3\xa3o conjunta  pode ser obtida de forma direta da defini\xc3\xa7\xc3\xa3o de entropia, por analogia, sendo:_NEWLINE_Onde  \xc3\xa9 a probabilidade de ocorr\xc3\xaancia do par . Essa defini\xc3\xa7\xc3\xa3o \xc3\xa9 de particular import\xc3\xa2ncia para quando definirmos informa\xc3\xa7\xc3\xa3o m\xc3\xbatua.\n_START_SECTION_\nTeorema de codifica\xc3\xa7\xc3\xa3o da fonte\n_START_PARAGRAPH_\nO teorema de codifica\xc3\xa7\xc3\xa3o da fonte \xc3\xa9 fundamental para todos os meios de comunica\xc3\xa7\xc3\xa3o, uma vez que ele estabelece limites de como mensagens podem ser transmitidas e al\xc3\xa9m disso, ele mostra que existem maneiras mais e menos eficientes de se fazer isso, dependendo da mensagem enviada. Aqui apenas uma ideia do que ele se trata ser\xc3\xa1 dada, para entendimento maior consulte as refer\xc3\xaancias._NEWLINE_Antes de mais nada considere um canal, sem fonte de ru\xc3\xaddo, onde uma mensagem \xc3\xa9 codificada em sua fonte (source) por um encoder, enviada pelo canal at\xc3\xa9 seu destino, decodificada por um decoder e interpretada pela pessoa alvo._NEWLINE_Define-se a Capacidade do canal  como sendo numericamente igual ao n\xc3\xbamero de d\xc3\xadgitos bin\xc3\xa1rios comunicados por segundo. Se tivermos 1 bit por d\xc3\xadgito bin\xc3\xa1rio a capacidade \xc3\xa9 definida em unidades de bits por segundo. Essa defini\xc3\xa7\xc3\xa3o pode ser mais bem explorada matematicamente, mas para os fins aqui propostos, a defini\xc3\xa7\xc3\xa3o dada \xc3\xa9 suficiente._NEWLINE_\\par Dada as defini\xc3\xa7\xc3\xb5es, imagine que se deseja transmitir uma s\xc3\xa9rie de $m$ s\xc3\xadmbolos, representados pela vari\xc3\xa1vel , sendo  a distribui\xc3\xa7\xc3\xa3o de probabilidades de  e  sua entropia. O teorema de \xc2\xa0codifica\xc3\xa7\xc3\xa3o da fonte pode ser enunciado como segue:_NEWLINE_"Dada a distribui\xc3\xa7\xc3\xa3o $S$ com entropia $H(S)$, medida em bits por simbolo $s$, e um canal com capacidade $C$ bits por segundo. Ent\xc3\xa3o \xc3\xa9 poss\xc3\xadvel codificar os s\xc3\xadmbolos $s$ enviados pela fonte de tal modo que a mensagem seja transmitida na capacidade m\xc3\xa1xima $C$ do canal."\n_START_SECTION_\nConsidera\xc3\xa7\xc3\xb5es Iniciais\n_START_PARAGRAPH_\nDado duas vari\xc3\xa1veis aleat\xc3\xb3rias  e , a informa\xc3\xa7\xc3\xa3o m\xc3\xbatua  entre elas \xc3\xa9 a quantidade de informa\xc3\xa7\xc3\xa3o m\xc3\xa9dia que ganhamos sobre  ap\xc3\xb3s observar um valor isolado de _NEWLINE_A informa\xc3\xa7\xc3\xa3o m\xc3\xbatua entre  e  \xc3\xa9 definida como:_NEWLINE_\xc2\xa0Para  valores de  e  valores de . A express\xc3\xa3o anterior pode ser trabalhada de forma a ser escrita como:_NEWLINE_Onde  \xc3\xa9 entropia da distribui\xc3\xa7\xc3\xa3o conjunta dada j\xc3\xa1 definida anteriormente.\n_START_SECTION_\nEntropia condicional\n_START_PARAGRAPH_\nUm modo alternativo de enxergar o conceito de informa\xc3\xa7\xc3\xa3o m\xc3\xbatua pode ser obtido considerando-se a entropia da sa\xc3\xadda em rela\xc3\xa7\xc3\xa3o ao ru\xc3\xaddo do canal. Se n\xc3\xa3o conhecemos o valor da entrada  ent\xc3\xa3o nossa incerteza sobre o valor de  \xc3\xa9 dado por sua entropia . Mas se conhecemos o valor de   ent\xc3\xa3o nossa incerteza sobre  \xc3\xa9 reduzida de  para um valor chamado de entropia condicional , que \xc3\xa9 a incerteza m\xc3\xa9dia do valor de  ap\xc3\xb3s  ser observado. Assim:_NEWLINE_Como informa\xc3\xa7\xc3\xa3o m\xc3\xbatua e uma grandeza sim\xc3\xa9trica:_NEWLINE_Onde  \xc3\xa9 a incerteza m\xc3\xa9dia que temos sobre o valor de  ap\xc3\xb3s temos observado , e portanto a incerteza m\xc3\xa9dia em  que n\xc3\xa3o pode ser atribu\xc3\xadda a .\n_START_SECTION_\nIndepend\xc3\xaancia Estat\xc3\xadstica\n_START_PARAGRAPH_\nSe  e  s\xc3\xa3o estatisticamente independentes, ent\xc3\xa3o conhecer um valor de   n\xc3\xa3o nos d\xc3\xa1 nenhuma informa\xc3\xa7\xc3\xa3o sobre  e vice versa. Nesse caso cada valor de probabilidade da distribui\xc3\xa7\xc3\xa3o conjunta pode ser escrito como:_NEWLINE_Substituindo na defini\xc3\xa7\xc3\xa3o de informa\xc3\xa7\xc3\xa3o m\xc3\xbatua, e realizando algumas manipula\xc3\xa7\xc3\xb5es temos:_NEWLINE_O que significa que , como esperado.\n_START_SECTION_\nEntropia condicional e ru\xc3\xaddo\n_START_PARAGRAPH_\nDiferente do que se considerou na se\xc3\xa7\xc3\xa3o onde tratamos do teorema de codifica\xc3\xa7\xc3\xa3o da fonte, os canais geralmente possuem ru\xc3\xaddo (figura abaixo). Por esse motivo se considera que a sa\xc3\xadda do canal  \xc3\xa9 igual a entrada  mas um ru\xc3\xaddo do canal , \xc3\xa9 poss\xc3\xadvel achar uma express\xc3\xa3o do ru\xc3\xaddo do canal como a seguir.\xc2\xa0_NEWLINE_Da express\xc3\xa3o  nos leva a:_NEWLINE_Se o valor de  \xc3\xa9 conhecido, ent\xc3\xa3o a incerteza em  \xc3\xa9 zero, logo ele n\xc3\xa3o tem nenhuma contribui\xc3\xa7\xc3\xa3o na entropia condicional , dando:_NEWLINE_Entretanto o valor do ru\xc3\xaddo  \xc3\xa9 independente do valor de , logo , o que nos permite reescrever a equa\xc3\xa7\xc3\xa3o anterior como:_NEWLINE_Comparando as equa\xc3\xa7\xc3\xb5es   e a anterior podemos concluir que:_NEWLINE_Logo, a entropia do ru\xc3\xaddo \xc3\xa9 igual a entropia condicional .'