<jupyter_start><jupyter_text>Estatística Descritiva Uma coisa que pode confundir: Quando se fala em estatística existem duas, vamos chamar aqui de Estatística e estatística. Com a letra e maiuscula é a disciplina e com a letra minúscula é um número que descreve uma característica de um conjunto de dados.Estátistica Descritiva serve para dois propósitos, simplificar e dar sentido ao conjunto de dados.  Dados Qualitativos (Categóricos)São dados separados por... adivinhe!! Dados dividos entre orientação política, em cor dos olhos, essas coisas. Pode também ser **ordinal**, ou seja, aquelas perguntas que fazem que é "concorda", "em partes", "discorda" ela tem uma ordem, mas ainda assim não são números. E como você resume um dado qualitativo? Porcentagem!Esses dados podem ser divididos em uma tabela que compara duas variáveis categóricas ao mesmo tempo e realizar comparações entre eles. (Two-way tables or crosstabs). Depois pode ser feito um teste de hipotese para identificar se existe uma relação significativa entre as duas variaveis.  Dados QuantitativosDividido em Contínuo ou Discreto. Dados como altura (contínuo), quantos dedos você tem na mão (discreto).Com esses dados da pra brincar mais, você tem várias formas de sintetizar o conjunto de dados.Perguntas que você pode fazer:- Qual o número mais comum?- Qual o valor que está no meio do conjunto de dados?- Qual a média desse conjunto de dados? MédiaMédia nada mais é do que a somatória dos valores no conjunto de dados dividido pelo total de valores no conjunto de dados.<jupyter_code># Digamos eu tenho um conjunto C com os seguintes elementos C = {5, 10, 15, 20, 25}

media = (5 + 1 + 15 + 20 + 25) / 5
media<jupyter_output><empty_output><jupyter_text>Leia wikipedia para saber um pouco mais sobre média. Essa média que expliquei é a Aritmética, existem outras!! E esse calculo foi feito de maneira simples. é apenas a somatória de dados brutos. Tem algumas mudanças básicas no cálculo quando os dados estão numa tabela de frequências. Tabela de Frequência dados discretos| Notas | Alunos ||-------|--------|| 1     | 5      || 2     | 10     || 3     | 2      || 4     | 4      || 5     | 2      ||Total  | 23     |Nesse caso você precisa apenas multiplicar a nota pela quantidade de alunos (no caso é a frequência) para saber qual foi a média da turma.<jupyter_code>media = ((1 * 5) + (2 * 10) + (3 * 2) + (4 * 4) + (5 * 2)) / 23
media<jupyter_output><empty_output><jupyter_text>Tabbela de Frequência dados contínuos| Altura      | Alunos ||-------------|--------|| 120 &124;- 130  | 5      || 130 &124;- 140  | 10     || 140 &124;- 150  | 2      || 150 &124;- 160  | 4      || 160 &124;-&124; 170 | 2      |No caso de uma tabela com dados contínuos, o cálculo muda um pouco. Você primeiro tem que achar o ponto médio, ou seja, a média do intervalo e depois multiplicar pela frequência (no caso os alunos).Sua tabela no final ficaria assim| Altura (cm)               | Caixas |Xi   ||-----------------------|--------|-----|| 120 &124;- 130       | 5      |(130 + 120)/2 =  125  || 130 &124;- 140       | 10     |(140 + 130)/2 =  135 || 140 &124;- 150       | 2      |(140 + 150)/2 =  145 || 150 &124;- 160       | 4      |(150 + 140)/2 =  155 | | 160 &124;-&124; 170 | 2      |(160 + 150)/2 =  165 |<jupyter_code># então minha média vai ser:

media = ((125 * 5) + (135 * 10) + (145 * 2) + (155 * 4) + (165 * 2)) / 23
media<jupyter_output><empty_output><jupyter_text>Ok sabemos como calcular a média não importa como te forneçam os dados. Nem sempre a média vai ser a melhor estatística para contar a história dos seus dados. Você pode ter algo chamado valor atípico ou em inglês `outliers`. Nesse caso se diz que a mediana é resistente ao valores atípicos, enquanto que a média não. Apenas a média não diz muito sobre um conjunto de dados. Sabendo da mediana é possível identificar a presença desses valores atípicos.Imagina que você tem os seguintes valores (0, 5, 2, 2, 3, 3, 0, 1, 75). Nesse conjunto o valor 75 se destaca. Vamos calcular a média desse conjunto de dados.<jupyter_code>media_com_outlier = (0 + 5 + 2 + 2 + 3 + 3 + 0 + 1 + 75) / 9

media_sem_outlier = (0 + 5 + 2 + 2 + 3 + 3 + 0 + 1) / 9
media_com_outlier, media_sem_outlier<jupyter_output><empty_output><jupyter_text>Olha a diferença que um valor deu! Vamos falar de valor do meio (Mediana)Mediana é o valor que encontra-se no meio do conjunto de dados (depois de ordenado). Como encontrar a mediana é simples. Você precisa ordenar os dados. ai temos uma diferença. total de dados (n) = impar- divide por dois (n / 2) e pronto achou a posição de sua mediana. total de dados (n) = par- Primeira posição (n / 2), - Segunda posição (n / 2 + 1) - Calcular a média desses valores.  ObliquidadeObliquidade (em ingles skewness) é a medida de assimetria de uma distribuição de Frequência. A cauda da distribuição. Se você tem uma distribuição que tem a maior quantidade de valores à esquerda e vai diminuindo a quantidade para valores maiores você tem uma "cauda" pra direita. O contrário o gráfico apresenta uma cauda para esquerda. Mas o que isso quer dizer. apenas olhando para o gráfico é possivel identificar que quando a cauda é para direita a media é maior que a mediana. Imagina que estejamos falando de salário de uma empresa. A maioria das pessoas da empresa não recebem grandes salários, mas tem um ou dois que recebem muito. Dessa forma a média de salários é puxada para cima então a mediana fica menor que a média.<jupyter_code>%matplotlib inline

import numpy as np
import matplotlib.pyplot as plt

hist = np.random.normal(10, 0.2, 10000)

plt.hist(hist)
plt.show()<jupyter_output><empty_output><jupyter_text>Desvio PadrãoMedida que determina quão concentrado os dados estão ao redor da média. Quanto mais concentrado, menor o desvio padrão. $$s = \sqrt{\sum_{i=1}^N \frac{(x_i - \overline{x})^2}{N-1}}$$Seguindo a fórmula, para calcular o desvio padrão é necessário:    - Calcular a média    - Para cada número do conjunto de dados subtrair a média    - Elevar cada uma dessas diferenças ao quadrado    - Somatória desse resultado.    - Dividir a soma dos quadrados pelo número do conjunto de dados menos 1.    - Raiz quadrada desse resultado.    Algumas observações interessantes. Observação 1: Se você não fizer a raiz quadrada, tem-se a `variancia` do conjunto de dados. É uma outra medida da variação, porém ela não é muito boa para comparar porque ela está ao quadrado. Se você está comparando dinheiro, seria real ao quadrado, o que não faz muito sentido.Observação 2: Subtrai-se 1 do conjunto porque estamos trabalhando com uma amostra da população e dessa forma diminui-se o erro associado. Se fosse a população completa seria apenas N. Observação 3: Porque é necessário elevar cada uma das diferenças ao quadrado? Para evitar números negativos que na somatoria substrairia dos números positivos e não daria para verificar a verdadeira variação dos dados.Exemplo: Seu conjunto de dados é (1,3,5,7).<jupyter_code>media = (1 + 3 + 5 + 7)/ 4
media
#Subtraindo a média de cada número fica
(1-4),(3-4),(5-4),(7-4)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.0835446604677374, 'fraction_numerical': 0.04156100309946464, 'mean_word_length': 3.6368386675375572, 'pattern_counts': {'":': 0, '<': 25, '<?xml version=': 0, '>': 25, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 3, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '6', 'dir': 'jupyter-structured-clean-dedup', 'id': '257773', 'license': 'MIT', 'n_tokens_mistral': 2714, 'n_tokens_neox': 2418, 'n_words': 1046, 'path': 'estatistica-descritiva.ipynb', 'repo_name': 'carlosmachel/data-science', 'size': '7098'}