O que são as curvas de Zipf e cortes de Luhn » Computer Science Master
A primeira lei de Zipf segue a ideia de Estoup (2016) e diz que Contam-se quantas vezes cada palavra ocorre em um córpus grande, montando-se um ranque em função da frequência delas. Zipf afirma que há uma relação entre a frequência e a posição da palavra no ranque. Assim ele também infere a lei: Frequência x posição no ranque = constante k Em resumo, a observação de Zipf afirma que existem poucas palavras muito frequentes, um número significativo de palavras de frequência média e muitas palavras de frequência baixa. As palavras de alta frequência geralmente são as stopwords, já as palavras que tem baixa frequência são aquelas altamente específicas e erros de ortografia. Zipf também construiu uma visualização dessa sua teoria realizando a contagem de palavras no livro moby dick.
Para colocar a prova a teoria de Zipf e Luhn, um experimento foi conduzido construindo um texto "dummy" gerado a partir do Gerador de LeroLero. Esse gerador monta sentenças aleatórias onde utilizaremos para construir nossa curva de Zipf e realizarmos os cortes.