<commit_before>viihdepython
============

<NAME> – Python-skriptejä. Toimii ainakin Python versiolla 2.7.

Skriptit kysyvät luvan ennen kuin tekevät siirto/poisto -operaatioita.

Kirjautumistunnisteita tai -keksiä ei tallenneta, joten salasana kysytään
erikseen jokaisella käyttökerralla.

delete_duplicates.py
--------------------

Etsii ja poistaa duplikaatit halutusta kansiosta (tai kaikista tallenteista).
Säilyttää ensimmäisen tallenteen.

Huomaa, että duplikaattien tunnistus tehdään ohjelman nimen ja kuvauksen
perusteella, joten esimerkiksi "Yle Uutiset" / "Mukana talous ja kulttuuri"
-nimiset lähetykset tunnistetaan väärin duplikaateiksi.

move_simpsonit.py
-----------------

Siirtää Simpsonit-kansion tallenteet alikansioihin kausien mukaisesti.
Käyttää simpsonit.orgin tietoja jaotteluun.

Mukana olevat kirjastot
-----------------------

* http://www.crummy.com/software/BeautifulSoup/ (MIT license)
* http://python-requests.org (Apache 2 license)
<commit_msg>Added possibility to give program inputs as command line paramters<commit_after>viihdepython
============

<NAME> – Python-skriptejä. Toimii ainakin Python versiolla 2.7.

Skriptit kysyvät luvan ennen kuin tekevät siirto/poisto -operaatioita.

Kirjautumistunnisteita tai -keksiä ei tallenneta, joten salasana kysytään
erikseen jokaisella käyttökerralla.

Scripteille voi antaa input parametreja myös komentoriviparametrien avulla 
jos scriptejä halutaan ajaa esim. cronilla.

Mahdolliset komentoriviparametrit saa näkyviin -h vivulla.

delete_duplicates.py
--------------------

Etsii ja poistaa duplikaatit halutusta kansiosta (tai kaikista tallenteista).
Säilyttää ensimmäisen tallenteen.

Huomaa, että duplikaattien tunnistus tehdään ohjelman nimen ja kuvauksen
perusteella, joten esimerkiksi "Yle Uutiset" / "Mukana talous ja kulttuuri"
-nimiset lähetykset tunnistetaan väärin duplikaateiksi.

move_simpsonit.py
-----------------

Siirtää Simpsonit-kansion tallenteet alikansioihin kausien mukaisesti.
Käyttää simpsonit.orgin tietoja jaotteluun.

Mukana olevat kirjastot
-----------------------

* http://www.crummy.com/software/BeautifulSoup/ (MIT license)
* http://python-requests.org (Apache 2 license)

{'fraction_non_alphanumeric': 0.1171088746569076, 'fraction_numerical': 0.0027447392497712718, 'mean_word_length': 4.170212765957447, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 2, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1576705', 'n_tokens_mistral': 887, 'n_tokens_neox': 816, 'n_words': 199}