<commit_before>=============
rutermextract
=============

Вдохновлённая `topia.termextract <https://pypi.python.org/pypi/topia.termextract/>`_ библиотека для извлечения ключевых слов из текстов на русском языке, использующая `pymorphy2 <http://pymorphy2.readthedocs.org/en/latest/>`_ для морфологического анализа.

Использование
=============

    >>> from rutermextract import TermExtractor
    >>> term_extractor = TermExtractor()
    >>> text = u'Съешь ещё этих мягких французских булок да выпей же чаю.'
    >>> for term in term_extractor(text):
    >>>    print term.normalized, term.count
    мягкие французские булки 1
    чай 1

Извлеченные ключевые слова приводятся в нормальную форму и упорядочиваются от более важных к менее важным.

Возможные применения
====================

* Автоматическое присвоение тегов.

* Вычисление похожести текстов на основе извлеченных ключевых слов.

Вызов библиотеки
================

Аргументы при вызове экземпляра класса `TermExtractor`:

* ``text`` — текст.

* *(опционально)* ``limit`` — максимальное количество извлечённых ключевых слов. По умолчанию ограничения нет.

* *(опционально)* ``weight`` — функция для вычисления веса извлеченного ключевого слова. В нее передается объект типа ``Term``. По умолчанию ключевые слова упорядочиваются по количеству употреблений, затем по количеству слов.<commit_msg>Добавил в README команду для установки<commit_after>=============
rutermextract
=============

Вдохновлённая `topia.termextract <https://pypi.python.org/pypi/topia.termextract/>`_ библиотека для извлечения ключевых слов из текстов на русском языке, использующая `pymorphy2 <http://pymorphy2.readthedocs.org/en/latest/>`_ для морфологического анализа.

Установка
=========

    pip install rutermextract    

Использование
=============

    >>> from rutermextract import TermExtractor
    >>> term_extractor = TermExtractor()
    >>> text = u'Съешь ещё этих мягких французских булок да выпей же чаю.'
    >>> for term in term_extractor(text):
    >>>    print term.normalized, term.count
    мягкие французские булки 1
    чай 1

Извлеченные ключевые слова приводятся в нормальную форму и упорядочиваются от более важных к менее важным.

Возможные применения
====================

* Автоматическое присвоение тегов.

* Вычисление похожести текстов на основе извлеченных ключевых слов.

Вызов библиотеки
================

Аргументы при вызове экземпляра класса `TermExtractor`:

* ``text`` — текст.

* *(опционально)* ``limit`` — максимальное количество извлечённых ключевых слов. По умолчанию ограничения нет.

* *(опционально)* ``weight`` — функция для вычисления веса извлеченного ключевого слова. В нее передается объект типа ``Term``. По умолчанию ключевые слова упорядочиваются по количеству употреблений, затем по количеству слов.
{'fraction_non_alphanumeric': 0.13149408814045144, 'fraction_numerical': 0.002866356144750985, 'mean_word_length': 5.109409190371991, 'pattern_counts': {'":': 0, '<': 7, '<?xml version=': 0, '>': 37, 'https://': 2, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2908816', 'n_tokens_mistral': 1087, 'n_tokens_neox': 1243, 'n_words': 270}