<commit_before># Лабораторная работа 6 (WiP!)
## Задачи для лабораторной: 
* импорт данных и работа с ними;
* написание функий для получения оценок парметров;
* написание функций для подгонки парметров модели (model fit);

## Требования к оформлению
* Оформить решение в R Markdown. 
* Сохранить файл в свой репозиторий.
* Выгрузить R Markdown в HTML, назвать своим именем и отправить по почте (если хочется сдать раньше или нужна помощь).

## Исходные данные
&ensp;Продолжаем разоблачать богатеев. На этот раз возьмём данные из более надёжного места, чем журнал Форбс
&ndash; базы данных [The World Wealth and Income Database](http://www.wid.world/), которая поддерживается
Парижской школой экономики. База составлена из налоговых отчётов и содержит информацию о самых больших доходах
в различных странах по времени. Данные в ней обработаны таким образом, чтобы можно было сравнивать данные во времени
и пространстве.  
&ensp;Для большинства стран, на большинстве временных отрезков, верхнее окончание распределения доходов грубо подчиняется распределению
[Парето](http://stu.sernam.ru/book_stat1.php?id=59) со следующей функцией плотности распределения:  
![функция плотности распределения](pareto_pdf.png) (1)  
Для дохода x >= xmin (Обычно xmin настолько большое, что только 3-4% населения входят в его границы).
Чем меньше становится экспонента Парето, тем сильнее неравным становится распределение, т.е. больший объём
дохода сосредотачивается среди меньшего количества богатейших людей.  

Пропорция людей, чей доход равен или выше w (w >= xmin), может быть определён как:  
![Пропроция](prop.png) (2)  
Будем использовать эту формулу для того, чтобы определить соотношение между богатыми и бедными в США
на протяжении последних 100 лет.
WWID [предоставляет](http://www.wid.world/TopIncomes/service/DownloadPdfServlet?fileName=US_state_level.zip) данные в формате xlsx,
для простоты из этих данных были выделены нужные, преобразованы в формат csv и сохранены по [адресу](https://raw.githubusercontent.com/SergeyMirvoda/da2016/master/lab6/wtid-report.csv).
  
### Задание 1

### Задание 2 
<commit_msg>Лаюораторная 6<commit_after># Лабораторная работа 6
## Задачи для лабораторной: 
* импорт данных и работа с ними;
* написание функий для получения оценок парметров;
* написание функций для подгонки парметров модели (model fit);

## Требования к оформлению
* Оформить решение в R Markdown. 
* Сохранить файл в свой репозиторий.
* Выгрузить R Markdown в HTML, назвать своим именем и отправить по почте (если хочется сдать раньше или нужна помощь).

## Исходные данные
&ensp;Продолжаем разоблачать богатеев. На этот раз возьмём данные из более надёжного места, чем журнал Форбс
&ndash; базы данных [The World Wealth and Income Database](http://www.wid.world/), которая поддерживается
Парижской школой экономики. База составлена из налоговых отчётов и содержит информацию о самых больших доходах
в различных странах по времени. Данные в ней обработаны таким образом, чтобы можно было сравнивать данные во времени
и пространстве.  
&ensp;Для большинства стран, на большинстве временных отрезков, верхнее окончание распределения доходов грубо подчиняется распределению
[Парето](http://stu.sernam.ru/book_stat1.php?id=59) со следующей функцией плотности распределения:  
![функция плотности распределения](pareto_pdf.png) (1)  
Для дохода x >= xmin (Обычно xmin настолько большое, что только 3-4% населения входят в его границы).
Чем меньше становится экспонента Парето, тем сильнее неравным становится распределение, т.е. больший объём
дохода сосредотачивается среди меньшего количества богатейших людей.  

Пропорция людей, чей доход равен или выше _w (w >= xmin)_, может быть определён как:  
![Пропроция](prop.png) (2)  
Будем использовать эту формулу для того, чтобы определить соотношение между богатыми и бедными в США
на протяжении последних 100 лет.
WWID [предоставляет](http://www.wid.world/TopIncomes/service/DownloadPdfServlet?fileName=US_state_level.zip) данные в формате xlsx,
для простоты из этих данных были выделены нужные, преобразованы в формат csv и хранятся [здесь](https://raw.githubusercontent.com/SergeyMirvoda/da2016/master/lab6/wtid-report.csv).
  
### Задание 1
1. Прочитайте файл в переменную. На основе полученных данных создайте новую переменную в которой будут следующие колонки (наблюдения): 'Year', 'P99', 'P99.5' и 'P99.9';
это уровни дохода ,которые входят в 99-й, 99.5-й и 99.9 персентиль дохода. Чему равнялся P99 в 1972? P99.5 в 1942? P99.9 в 1922?
Требуется найти эти значения с помощью кода, а не с помощью глаз (для удобства разумно будет переименовать колонки в данных).
2. Постройте диаграмму рассеяний всех трёх персентилей относительно времени. Проверьте, чтобы метки осей были корректными и на оси _x_ были годы от 1913 до 2012.
3. Из предыдущих вычислений можно получить, что оценить параметр _a_ можно по следующей формуле: ``a = 1 - log(10)/log(P99/P99.9) (3)``.
Напишите функцию _my.exp.estimate_ratio_, которая принимает аргументы _P99_ и _P99.9_ и возвращает _a_, рассчитанное по формуле (3). Проверьте, что при
_P99 = 1e6_ и _P99.9 = 1e7_ функция вернёт _a = 2_.
### Задание 2
1. Получите значение _a_ для каждого года в наборе данных. Если функция написана корректно вам не понадобятся циклы.
Постройте график _а_ относительно годов. Что можно сказать по полученному графику, соотносится ли это с тем, что имеется на самом деле?(Имейте ввиду, чем экспонента меньше, тем выше неравенство)
2. Используя полученную для 2012 года оценка параметра _a_ рассчитаннайте приближенное количество домохозяйств с доходом больше $50 милионов и меньше $50.
3. Из выражения (3) можно вывести следующее: ``(P99.5/P99.9)^(-a+1) = 5``. Напишите функцию, которая будет принимать 
_P99.5_, _P99.9_ и _a_ , и вычислять левую часть выражения. Отобразите полученное на графике. На нём же отобразите горизонтальную прямую 
с вертикальной координатой равной 5 (при помощи команды ``abline``). Насколько качественно выполнена подгонка модели?
4. Тоже самое верно и для: ``(P90/P95)^(-a+1) = 2``. Повторите предыдущее для этой формулы. Что можно сказать, сравнив эти подгонки?
{'fraction_non_alphanumeric': 0.0700307294193757, 'fraction_numerical': 0.023127931424874657, 'mean_word_length': 4.844990548204159, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 7, 'https://': 2, 'lorem ipsum': 0, 'www.': 4, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 2, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '5722932', 'n_tokens_mistral': 2581, 'n_tokens_neox': 3062, 'n_words': 759}