<commit_before>package de.danielnaber.languagetool.tagging.disambiguation.pl;

import java.util.HashMap;

import de.danielnaber.languagetool.AnalyzedSentence;
import de.danielnaber.languagetool.AnalyzedToken;
import de.danielnaber.languagetool.AnalyzedTokenReadings;
import de.danielnaber.languagetool.tagging.disambiguation.Disambiguator;

/**
 * Multiword tagger-chunker for Polish. 
 * 
 * @author <NAME>
 */
  public class PolishChunker implements Disambiguator {
    
    private HashMap <String, String> mStartSpace;
    private HashMap <String, String> mStartNoSpace;
    private HashMap <String, String> mFull;

    /**
     * Simple formatted static string with multiword tokens.
     * Can be moved to a local file in the future. 
     */

      private static final String TOKEN_DEFINITIONS = 
        "...|ELLIPSIS\n" 
        + "to znaczy|TO_ZNACZY\nTo znaczy|TO_ZNACZY\n" 
        + "to jest|TO_JEST\nTo jest|TO_JEST\n" 
        + "z uwagi na|PREP:ACC\n" 
        + "ze względu na|PREP:ACC\n" 
        + "bez względu na|PREP:ACC\n"
        + "w oparciu o|PREP:ACC\n"
        + "w związku z|PREP:INST\n"
        + "w zgodzie z|PREP:INST\n"
        + "w porównaniu z|PREP:INST\n"
        + "odnośnie do|PREP:GEN\n"
        + "za pomocą|PREP:GEN\n"      
        + "na mocy|PREP:GEN\n"
        + "na podstawie|PREP:GEN\n"
        + "w braku|PREP:GEN\n"
        + "w razie|PREP:GEN\n"
        + "w odniesieniu do|PREP:GEN\n"
        + "w stosunku do|PREP:GEN\n"
        + "w relacji do|PREP:GEN\n"
        + "a także|CONJ\n"
        + "na co dzień|ADV\n"
        + "co najmniej|ADV\n"
        + "co najwyżej|ADV\n"
        + "co nieco|ADV\n"
        + "mimo wszystko|ADV\nMimo wszystko|ADV\n"
        + "do czysta|ADV\n"
        + "do cna|ADV\n"
        + "do naga|ADV\n"<commit_msg>small update to PL chunker<commit_after>package de.danielnaber.languagetool.tagging.disambiguation.pl;

import java.util.HashMap;

import de.danielnaber.languagetool.AnalyzedSentence;
import de.danielnaber.languagetool.AnalyzedToken;
import de.danielnaber.languagetool.AnalyzedTokenReadings;
import de.danielnaber.languagetool.tagging.disambiguation.Disambiguator;

/**
 * Multiword tagger-chunker for Polish. 
 * 
 * @author <NAME>
 */
  public class PolishChunker implements Disambiguator {
    
    private HashMap <String, String> mStartSpace;
    private HashMap <String, String> mStartNoSpace;
    private HashMap <String, String> mFull;

    /**
     * Simple formatted static string with multiword tokens.
     * Can be moved to a local file in the future. 
     */

      private static final String TOKEN_DEFINITIONS = 
        "...|ELLIPSIS\n" 
        + "to znaczy|TO_ZNACZY\nTo znaczy|TO_ZNACZY\n" 
        + "to jest|TO_JEST\nTo jest|TO_JEST\n" 
        + "z uwagi na|PREP:ACC\n" 
        + "ze względu na|PREP:ACC\n" 
        + "bez względu na|PREP:ACC\n"
        + "w oparciu o|PREP:ACC\n"
        + "w związku z|PREP:INST\n"
        + "w zgodzie z|PREP:INST\n"
        + "zgodnie z|PREP:INST\n"
        + "w porównaniu z|PREP:INST\n"
        + "odnośnie do|PREP:GEN\n"
        + "za pomocą|PREP:GEN\n"      
        + "na mocy|PREP:GEN\n"
        + "na podstawie|PREP:GEN\n"
        + "w braku|PREP:GEN\n"
        + "w razie|PREP:GEN\n"
        + "w odniesieniu do|PREP:GEN\n"
        + "w stosunku do|PREP:GEN\n"
        + "w relacji do|PREP:GEN\n"
        + "a także|CONJ\n"
        + "na co dzień|ADV\n"
        + "co najmniej|ADV\n"
        + "co najwyżej|ADV\n"
        + "co nieco|ADV\n"
        + "mimo wszystko|ADV\nMimo wszystko|ADV\n"
        + "do czysta|ADV\n"
        + "do cna|ADV\n"
        + "do naga|ADV\n"
{'fraction_non_alphanumeric': 0.12826864849986236, 'fraction_numerical': 0.0, 'mean_word_length': 2.4315391879131254, 'pattern_counts': {'":': 0, '<': 11, '<?xml version=': 0, '>': 11, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '6653160', 'n_tokens_mistral': 1502, 'n_tokens_neox': 1489, 'n_words': 263}