Após concluir quais são as variáveis independentes estatisticamente signiﬁcativas (no exemplo acima temos quatro delas), a pergunta natural é o quão bem a regressão representa a realidade?
Para responder isso você deve analisar cuidadosamente cada variável que está influenciando o modelo e levar em conta os fatores citados a seguir.
É importante não confundir correlação com causalidade. Por exemplo, é possível correlacionar o número de afogamentos em um uma praia com o número de sorvetes vendidos num dado período. O modelo pode dar previsões razoáveis, não porque sorvetes causam afogamentos, mas porque as pessoas tomam mais sorvetes em dias quentes quando elas também são mais propensas a nadar. Então as duas variáveis (vendas de sorvete e afogamentos) estão correlacionadas, mas uma não está causando a outra. Entretanto as correlações não deixam de ser úteis para a previsão, mesmo quando não há nenhuma relação causal entre as duas variáveis.
Via de regra um modelo melhor é possível se um mecanismo causal pode ser determinado. Neste exemplo, tanto as vendas de sorvete e afogamentos serão afetados pela temperatura e pelos números de pessoas que visitam a praia. Então um modelo melhor para afogamentos provavelmente poderia incluir temperaturas e o número de visitantes e excluir as vendas de sorvetes.
Um outlier é um ponto de dados que é muito diferente do resto dos dados. Por exemplo, ao selecionar uma amostra das vendas de 30 lojas de uma rede, 29 delas estão entre R$ 150 e R$ 300 mil reais mensais e uma 30ª loja com vendas de R$ 3.000.000. Esta última provavelmente é um outlier. Na regressão, um outlier é um ponto de dados que está longe da linha de regressão em comparação com o resto dos dados.
Outliers podem ocorrer por acaso em qualquer distribuição, mas eles geralmente indicam ou um erro de medição.