<jupyter_start><jupyter_text>Relatório de Análise VIII Identificando e removendo Outliers Parte 1<jupyter_code>%matplotlib inline
import pandas as pd
import matplotlib.pyplot as plt
plt.rc('figure', figsize = (14, 6))
dados = pd.read_csv('dados/t_alugueis_residenciais.csv', sep = ';')
dados.boxplot(['Valor'])<jupyter_output><empty_output><jupyter_text>Nessa primeira visualização (acima) é possível ver que o gráfico não está com uma visualização boa, pois está na vertical e possui valores muito discrepantes que achatam o gráfico.<jupyter_code># O valor escolhido acima de 500 é baseado na discrepância apresentada no gráfico acima.
dados[dados['Valor'] >= 500000]
valor = dados['Valor']
valor<jupyter_output><empty_output><jupyter_text>É possível separar os _quantile_ dos dados pela porcentagem de distribuição/representação dos dados.<jupyter_code># Outlier esquerdo
Q1 = valor.quantile(.25)
Q1
# Outlier direito
Q3 = valor.quantile(.75)
Q3
# Intervalo
IIQ = Q3 - Q1
IIQ
# Limites
limite_inferior = Q1 - 1.5 * IIQ
limite_superior = Q3 + 1.5 * IIQ<jupyter_output><empty_output><jupyter_text>Ou seja, tudo o que está fora dos limites inferiores e superiores são considerados Outliers<jupyter_code>selecao = (valor >= limite_inferior) & (valor <= limite_superior)
dados_new = dados[selecao]
dados_new
dados_new.boxplot(['Valor'])<jupyter_output><empty_output><jupyter_text>Removido os dados discrepantes (advindos provavelmente de confusão entre valor de compra e valor de aluguel), é notável que existem vários valores acima do novo limite superior e que esses valores são valores reais possíveis para alugueis em determinadas condições. Portanto, para removê-los seria necessário uma melhor análise.<jupyter_code># Antes
dados.hist(['Valor'])

# Depois
dados_new.hist(['Valor'])
dados_new.to_csv('dados/alugueis_residenciais_sem_outliers.csv', sep = ';', index = False)<jupyter_output><empty_output><jupyter_text>Parte 2<jupyter_code>dados_new.boxplot(['Valor'], by = ['Tipo'])
dados.boxplot(['Valor'], by = ['Tipo'])
grupo_tipo = dados.groupby('Tipo')['Valor']
grupo_tipo.groups
Q1 = grupo_tipo.quantile(.25)
Q3 = grupo_tipo.quantile(.75)
IIQ = Q3 - Q1
LI = Q1 - 1.5 * IIQ
LS = Q3 + 1.5 * IIQ

print(Q1)
print(Q3)
print(IIQ)
print(LI)
print(LS)
%config IPCompleter.greedy=True
grupo_tipo.groups.keys
dados_new_tipo = pd.DataFrame()
for tipo in grupo_tipo.groups.keys():
    eh_tipo = (dados["Tipo"] == tipo)
    eh_dentro_limite = (dados["Valor"] >= LI[tipo]) & (dados["Valor"] <= LS[tipo])
    selecao = eh_tipo & eh_dentro_limite
    dados_new_tipo = pd.concat([dados_new_tipo, dados[selecao]])

dados_new_tipo
dados_new.boxplot(['Valor'], by = ['Tipo'])
dados_new_tipo.boxplot(['Valor'], by = ['Tipo'])
dados_new_tipo.to_csv('dados/alugueis_residenciais_sem_outliers.csv', sep = ';', index = False)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.1226215644820296, 'fraction_numerical': 0.01620859760394644, 'mean_word_length': 6.550531914893617, 'pattern_counts': {'":': 0, '<': 27, '<?xml version=': 0, '>': 28, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '6', 'dir': 'jupyter-structured-clean-dedup', 'id': '162166', 'license': 'MIT', 'n_tokens_mistral': 1182, 'n_tokens_neox': 1132, 'n_words': 250, 'path': 'Pandas/8 - Identificando e Removendo Outliers.ipynb', 'repo_name': 'SalatielBairros/data-science-studies', 'size': '2838'}