<commit_before># -*- coding: utf-8 -*-
import re
import os
from datetime import datetime
from lxml import etree, html
from django import db
from eduskunta.importer import Importer, ParseError
from parliament.models.session import *
from parliament.models.member import Member

VOTE_MAP = {
    'Jaa': 'Y',
    'Ei': 'N',
    u'Tyhjää': 'E',
    'Poissa': 'A',
}

MEMBER_NAME_TRANSFORMS = {
        '<NAME>': '<NAME>.',
        '<NAME>': '<NAME>',
        '<NAME>': '<NAME>',
        '<NAME>': '<NAME>',
        '<NAME>': '<NAME>',
        'Karttunen-<NAME>': '<NAME>'
}

PROCESSING_STEP = {
	u'Ensimmäinen käsittely': '1H',
	u'Toinen käsittely': '2H',
	u'Ainoa käsittely': 'OH',
	u'Yksi käsittely': 'OH',
	u'Ulkopuolella päiväjärjestyksen': 'OA',
	u'Osittain ainoa, osittain toinen käsittely': '2H-OH',
	u'Toinen käsittely, ainoa käsittely': '2H-OH',
	u'Jatkettu ensimmäinen käsittely': '1H',
	u'Palautekeskustelu': '??',
	u'Lähetekeskustelu': '??',
	u'Vaalit': 'EL',
	u'Vaaleja': 'EL',
	u'Täysistuntokäsittely': 'PV',
	u'Ilmoituksia': '??',
	u'Kolmas käsittely': '??',
}

def parse_vote(mp, vote):
    (name, party) = mp.split('/')<commit_msg>Add one more MP to type fix list<commit_after># -*- coding: utf-8 -*-
import re
import os
from datetime import datetime
from lxml import etree, html
from django import db
from eduskunta.importer import Importer, ParseError
from parliament.models.session import *
from parliament.models.member import Member

VOTE_MAP = {
    'Jaa': 'Y',
    'Ei': 'N',
    u'Tyhjää': 'E',
    'Poissa': 'A',
}

MEMBER_NAME_TRANSFORMS = {
        '<NAME>': '<NAME>.',
        '<NAME>': '<NAME>',
        '<NAME>': '<NAME>',
        '<NAME>': '<NAME>',
        'Forsius-<NAME>': '<NAME>',
        'Karttunen-<NAME>': '<NAME>',
        '<NAME>': '<NAME>-Maria',
}

PROCESSING_STEP = {
	u'Ensimmäinen käsittely': '1H',
	u'Toinen käsittely': '2H',
	u'Ainoa käsittely': 'OH',
	u'Yksi käsittely': 'OH',
	u'Ulkopuolella päiväjärjestyksen': 'OA',
	u'Osittain ainoa, osittain toinen käsittely': '2H-OH',
	u'Toinen käsittely, ainoa käsittely': '2H-OH',
	u'Jatkettu ensimmäinen käsittely': '1H',
	u'Palautekeskustelu': '??',
	u'Lähetekeskustelu': '??',
	u'Vaalit': 'EL',
	u'Vaaleja': 'EL',
	u'Täysistuntokäsittely': 'PV',
	u'Ilmoituksia': '??',
	u'Kolmas käsittely': '??',
}

def parse_vote(mp, vote):
    (name, party) = mp.split('/')
{'fraction_non_alphanumeric': 0.20127659574468085, 'fraction_numerical': 0.005106382978723404, 'mean_word_length': 4.088744588744588, 'pattern_counts': {'":': 0, '<': 29, '<?xml version=': 0, '>': 29, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 2}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7174443', 'n_tokens_mistral': 1034, 'n_tokens_neox': 1032, 'n_words': 212}