<commit_before>package bullshit_paper;

import static org.junit.Assert.*;

import java.util.Arrays;
import java.util.List;

import org.junit.Test;

public class ParserTest {

	@Test
	public void SimpleTest() {
		String text = "Bądź tak uprzejmy i spróbuj przemyśleć następujący problem – na co by się zdało twoje dobro, gdyby nie istniało zło, i jak by wyglądała ziemia, gdyby z niej zniknęły cienie? "
		+ "Przecież cienie rzucają przedmioty i ludzie. "
		+ "Oto cień mojej szpady. "
		+ "Ale są również cienie drzew i cienie istot żywych.";
		
		List<String> sentences = Arrays.asList(
		"Bądź tak uprzejmy i spróbuj przemyśleć następujący problem – na co by się zdało twoje dobro, gdyby nie istniało zło, i jak by wyglądała ziemia, gdyby z niej zniknęły cienie? ",
		"Przecież cienie rzucają przedmioty i ludzie. ",
		"Oto cień mojej szpady. ",
		"Ale są również cienie drzew i cienie istot żywych. ");

		assertEquals(Parser.parseText(text), sentences);
	}
	
	@Test
	public void AbbreviationsTest() {
		String text = "Rada Ministrów przyjęła dziś projekt tzw. ustawy rekrutacyjnej. "
					+ "Ustawa \"rekrutacyjna\" realizuje wyrok Trybunału Konstytucyjnego dotyczący zasad rekrutacji m.in. do przedszkoli.";
		
		List<String> sentences = Arrays.asList(
				"Rada Ministrów przyjęła dziś projekt tzw. ustawy rekrutacyjnej. ",
				"Ustawa \"rekrutacyjna\" realizuje wyrok Trybunału Konstytucyjnego dotyczący zasad rekrutacji m.in. do przedszkoli. ");		

		assertEquals(Parser.parseText(text), sentences);
	}
	
	@Test
	public void ElipsisTest() {
		String text = "Konsument wysłał list wprost do… prezydenta. Zaczął recytować: „Ruszyła maszyna…”, ale dziecko mu przerwało.";
		
		List<String> sentences = Arrays.asList(
			"Konsument wysłał list wprost do… prezydenta. ",
			"Zaczął recytować: „Ruszyła maszyna…”, ale dziecko mu przerwało. ");		

		assertEquals(Parser.parseText(text), sentences);
	}
}<commit_msg>Add second ellipsis test (three dots not \u2026)<commit_after>package bullshit_paper;

import static org.junit.Assert.*;

import java.util.Arrays;
import java.util.List;

import org.junit.Test;

public class ParserTest {

	@Test
	public void SimpleTest() {
		String text = "Bądź tak uprzejmy i spróbuj przemyśleć następujący problem – na co by się zdało twoje dobro, gdyby nie istniało zło, i jak by wyglądała ziemia, gdyby z niej zniknęły cienie? "
		+ "Przecież cienie rzucają przedmioty i ludzie. "
		+ "Oto cień mojej szpady. "
		+ "Ale są również cienie drzew i cienie istot żywych.";
		
		List<String> sentences = Arrays.asList(
		"Bądź tak uprzejmy i spróbuj przemyśleć następujący problem – na co by się zdało twoje dobro, gdyby nie istniało zło, i jak by wyglądała ziemia, gdyby z niej zniknęły cienie? ",
		"Przecież cienie rzucają przedmioty i ludzie. ",
		"Oto cień mojej szpady. ",
		"Ale są również cienie drzew i cienie istot żywych. ");

		assertEquals(Parser.parseText(text), sentences);
	}
	
	@Test
	public void AbbreviationsTest() {
		String text = "Rada Ministrów przyjęła dziś projekt tzw. ustawy rekrutacyjnej. "
					+ "Ustawa \"rekrutacyjna\" realizuje wyrok Trybunału Konstytucyjnego dotyczący zasad rekrutacji m.in. do przedszkoli.";
		
		List<String> sentences = Arrays.asList(
				"Rada Ministrów przyjęła dziś projekt tzw. ustawy rekrutacyjnej. ",
				"Ustawa \"rekrutacyjna\" realizuje wyrok Trybunału Konstytucyjnego dotyczący zasad rekrutacji m.in. do przedszkoli. ");		

		assertEquals(Parser.parseText(text), sentences);
	}
	
	@Test
	public void ElipsisTest() {
		String text = "Konsument wysłał list wprost do… prezydenta. Zaczął recytować: „Ruszyła maszyna…”, ale dziecko mu przerwało.";
		
		List<String> sentences = Arrays.asList(
			"Konsument wysłał list wprost do… prezydenta. ",
			"Zaczął recytować: „Ruszyła maszyna…”, ale dziecko mu przerwało. ");		

		assertEquals(Parser.parseText(text), sentences);
	}

        @Test
	public void ElipsisTest2() {
		String text = "Konsument wysłał list wprost do... prezydenta. Zaczął recytować: „Ruszyła maszyna...”, ale dziecko mu przerwało.";

                List<String> sentences = Arrays.asList(
			"Konsument wysłał list wprost do... prezydenta. ",
			"Zaczął recytować: „Ruszyła maszyna...”, ale dziecko mu przerwało. ");

		assertEquals(Parser.parseText(text), sentences);
	}

}
{'fraction_non_alphanumeric': 0.09311551925320886, 'fraction_numerical': 0.0011668611435239206, 'mean_word_length': 4.078199052132701, 'pattern_counts': {'":': 0, '<': 10, '<?xml version=': 0, '>': 10, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1551809', 'n_tokens_mistral': 1796, 'n_tokens_neox': 1748, 'n_words': 472}