<commit_before><!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//DE" "http://www.w3.org/TR/html4/loose.dtd">
<html>
	<head>
		<meta http-equiv="content-type" content="text/html; charset=UTF-8" />
		<meta name="generator" content="Rtf2Html Converter" />
		<title>
			9e4b7ec1-bb4b-4133-be6c-c49480bdac7b
		</title>
	</head>
	<body>
		<h3>Testing highlight in RTL</h3>
		<p><span dir="rtl" style="background-color:yellow;font-family:SBL Hebrew;font-size:32pt;"> בַּיָּמִ֑ים וַיְכַסֻּ֨הוּ֙ בַּבְּגָדִ֔ים וְלֹ֥א יִחַ֖ם לֽוֹ׃ ב וַיֹּ֧אמְרוּ ל֣וֹ עֲבָדָ֗יו יְבַקְשׁ֞וּ לַֽאדֹנִ֤י הַמֶּ֨לֶךְ֙  נַֽעֲרָ֣ה בְתוּלָ֔ה וְעָֽמְדָה֙ לִפְנֵ֣י הַמֶּ֔לֶךְ וּתְהִי־ל֖וֹ סֹכֶ֑נֶת וְשָֽׁכְבָ֣ה בְחֵיקֶ֔ךָ וְחַ֖ם לַֽאדֹנִ֥י הַמֶּֽלֶךְ׃ ג וַיְבַקְשׁוּ֙ נַֽעֲרָ֣ה יָפָ֔ה בְּכֹ֖ל גְּב֣וּל יִשְׂרָאֵ֑ל וַֽיִּמְצְא֗וּ אֶת־אֲבִישַׁג֙ הַשּׁ֣וּנַמִּ֔ית וַיָּבִ֥אוּ אֹתָ֖הּ לַמֶּֽלֶךְ׃ ד וְהַֽנַּעֲרָ֖ה יָפָ֣ה עַד־מְאֹ֑ד  וַתְּהִ֨י לַמֶּ֤לֶךְ סֹכֶ֨נֶת֙ וַתְּשָׁ֣רְתֵ֔הוּ וְהַמֶּ֖לֶךְ לֹ֥א יְדָעָֽהּ׃ ה וַאֲדֹֽנִיָּ֧ה בֶן־חַגִּ֛ית מִתְנַשֵּׂ֥א לֵאמֹ֖ר אֲנִ֣י אֶמְלֹ֑ךְ וַיַּ֣עַשׂ ל֗וֹ רֶ֚כֶב וּפָ֣רָשִׁ֔ים וַֽחֲמִשִּׁ֥ים אִ֖ישׁ רָצִ֥ים לְפָנָֽיו׃ ו וְלֹֽא־עֲצָב֨וֹ אָבִ֤יו מִיָּמָיו֙ לֵאמֹ֔ר מַדּ֖וּעַ כָּ֣כָה עָשִׂ֑יתָ וְגַם־ה֤וּא טֽוֹב־תֹּ֨אַר֙ מְאֹ֔ד וְאֹת֥וֹ יָֽלְדָ֖ה אַֽחֲרֵ֥י אַבְשָׁלֽוֹם׃ ז וַיִּֽהְי֣וּ דְבָרָ֔יו עִ֚ם יוֹאָ֣ב בֶּן־צְרוּיָ֔ה וְעִ֖ם אֶבְיָתָ֣ר הַכֹּהֵ֑ן וַֽיַּעְזְר֔וּ אַֽחֲרֵ֖י אֲדֹֽנִיָּֽה׃ ח וְצָד֣וֹק הַ֠כֹּהֵן וּבְנָיָ֨הוּ בֶן־יְהֽוֹיָדָ֜ע וְנָתָ֤ן הַנָּבִיא֙ וְשִׁמְעִ֣י וְרֵעִ֔י וְהַגִּבּוֹרִ֖ים אֲשֶׁ֣ר לְדָוִ֑ד לֹ֥א הָי֖וּ עִם־אֲדֹֽנִיָּֽהוּ׃ ט וַיִּזְבַּ֣ח אֲדֹֽנִיָּ֗הוּ צֹ֤אן וּבָקָר֙ וּמְרִ֔יא עִ֚ם אֶ֣בֶן הַזֹּחֶ֔לֶת אֲשֶׁר־אֵ֖צֶל עֵ֣ין רֹגֵ֑ל וַיִּקְרָ֗א אֶת־כָּל־אֶחָיו֙ בְּנֵ֣י הַמֶּ֔לֶךְ וּלְכָל־אַנְשֵׁ֥י יְהוּדָ֖ה עַבְדֵ֥י הַמֶּֽלֶךְ׃</span></p>
		<h3>Testing highlight in LTR</h3>
		<p><span  style="background-color:yellow;font-size:32pt;"><u>bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla bla </p>

		
	</body>
</html><commit_msg>Added current test for #466<commit_after><!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//DE" "http://www.w3.org/TR/html4/loose.dtd">
<html>
	<head>
		<meta http-equiv="content-type" content="text/html; charset=UTF-8" />
		<meta name="generator" content="Rtf2Html Converter" />
	</head>
	<body>
		<p>Some text and then 2 encoded&#9;&#9tabs and 2		non-encoded tabs</p>

		
	</body>
</html>
{'fraction_non_alphanumeric': 0.3340113913751017, 'fraction_numerical': 0.019121236777868186, 'mean_word_length': 5.926760563380282, 'pattern_counts': {'":': 0, '<': 37, '<?xml version=': 0, '>': 37, 'https://': 0, 'lorem ipsum': 0, 'www.': 2, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 4, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2245022', 'n_tokens_mistral': 2001, 'n_tokens_neox': 2318, 'n_words': 239}