<commit_before>丟	丟 丢
並	並 竝
幷	并 幷
僞	偽 僞
兌	兌 兑
內	內 内
冊	冊 册
冢	冢 塚
剁	剁 刴
剋	剋 尅
劃	劃 𠟱 劐 𠜻
劍	劍 劎 劒 剣 剱 劔
匯	匯 滙
升	升 陞 阩 𧿘
只	只 𠮡 𠷓
呆	呆 獃
啓	啓 啟
回	回 囘 囬
囪	囪 囱
垛	垛 垜
埼	埼 碕 崎 隑
壩	垻 壩
壺	壷 壺
夠	够 夠
嫋	嫋 嬝
嬀	媯 嬀
嬤	嬤 嬷
崙	崙 崘
嶽	嶽 𡶓 𡶳 𡴳
廁	廁 厠
愨	愨 慤 𣪎
戶	戶 户 戸
挆	挆 挅
捂	捂 摀
擔	擔 担
擡	擡 抬
曬	曬 晒
朵	朵 朶
杴	杴 鍁 𣞘
查	査 查
棱	棱 稜
殼	㱿 殻 殼 㱿 𣪊
污	汙 污 汚
泄	泄 洩
涌	湧 涌
溯	溯 泝
潙	溈 潙
煙	煙 烟
爲	爲 為
牀	牀 床
牆	牆 墻
獎	獎 奬 𤟌 㢡
產	產 産
畫	畫 畵 𤱪 𨽶 𤲯
瘻	瘻 瘺
癡	癡 痴
衆	衆 眾
禿	禿 秃
秋	秋 龝 秌
秘	秘 祕
竈	竈 灶
累	累 纍
絕	絕 絶 𢇍 𠤉
絛	絛 縧
綠	綠 緑
綫	線 綫
繃	繃 綳
繡	繡 綉
繮	繮 韁
罈	罈 墰 罎 壜
罵	罵 駡
羣	羣 群
考	考 攷
脣	脣 唇
蓴	蓴 蒓
蘊	蘊 藴
裏	裏 裡
說	說 説
謠	謠 謡 䚻
譾	譾 謭
豎	豎 竪
豔	艷 豔 豓
贓	贓 贜
贗	贗 贋 偐
跺	跺 跥
踊	踴 踊
蹟	蹟 跡 迹
躲	躲 躱
逾	逾 踰
醞	醞 醖
醯	酰 醯
鉢	鉢 缽
鉤	鉤 鈎
銳	銳 鋭
錄	錄 録
錘	錘 鎚
鏽	鏥 銹 鏽
鐫	鐫 鎸 鋑 𥍯
钁	钁 鐝
閱	閱 閲
阪	坂 阪
僱	僱 雇
雕	雕 彫 琱
雞	雞 鷄 鶏
鞝	鞝 緔
頹	頹 頽
顏	顏 顔
館	館 舘
鬥	鬭 鬥 鬭 闘
鬨	鬨 閧
鯗	鯗 鮝
鱷	鱷 鰐 𧍞
鳧	鳧 鳬
鶿	鶿 鷀
鹼	鹼 礆 碱
麴	麯 麴
麪	麪 麵
麼	麽 麼
黴	黴 霉
齎	齎 賫
捻	捻 撚
柺	柺 枴
棲	棲 栖
臥	臥 卧
教	教 敎
勳	勳 勛
剿	剿 勦
甕	甕 瓮
餚	餚 肴
鼴	鼴 鼹
蔥	葱 蔥
搗	擣 搗
螂	蜋 螂
溼	濕 溼
羶	羶 羴
痺	痺 痹
蝨	虱 蝨
檐	檐 簷
暱	昵 暱
灩	灩 灎 灧
齧	嚙 齧
彝	彝 彞
檾	檾 苘 䔛
餈	餈 糍
拋	拋 抛
祕	祕 秘
糉	糉 粽
峯	峰 峯<commit_msg>修正一些異體字。<commit_after>丟	丟 丢
並	並 竝
幷	并 幷
僞	偽 僞
兌	兌 兑
內	內 内
冊	冊 册
冢	冢 塚
剁	剁 刴
剋	剋 尅
劃	劃 𠟱 劐 𠜻
劍	劍 劎 劒 剣 剱 劔
匯	匯 滙
升	升 陞 阩 𧿘
只	只 𠮡 𠷓
呆	呆 獃
啓	啓 啟
回	回 囘 囬
囪	囪 囱
垛	垛 垜
埼	埼 碕 崎 隑
壩	垻 壩
壺	壷 壺
夠	够 夠
嫋	嫋 嬝
嬀	媯 嬀
嬤	嬤 嬷
崙	崙 崘
嶽	嶽 𡶓 𡶳 𡴳
廁	廁 厠
愨	愨 慤 𣪎
戶	戶 户 戸
挆	挆 挅
捂	捂 摀
擔	擔 担
擡	擡 抬
曬	曬 晒
朵	朵 朶
杴	杴 鍁 𣞘
查	査 查
棱	棱 稜
殼	㱿 殻 殼 㱿 𣪊
污	汙 污 汚
泄	泄 洩
涌	湧 涌
溯	溯 泝
潙	溈 潙
煙	煙 烟
爲	爲 為
牀	牀 床
牆	牆 墻
獎	獎 奬 𤟌 㢡
產	產 産
畫	畫 畵 𤱪 𨽶 𤲯
瘻	瘻 瘺
癡	癡 痴
衆	衆 眾
禿	禿 秃
秋	秋 龝 秌
秘	祕 秘
竈	竈 灶
累	累 纍
絕	絕 絶 𢇍 𠤉
絛	絛 縧
綠	綠 緑
綫	線 綫
繃	繃 綳
繡	繡 綉
繮	繮 韁
罈	罈 墰 罎 壜
罵	罵 駡
羣	羣 群
考	考 攷
脣	脣 唇
蓴	蓴 蒓
蘊	蘊 藴
裏	裏 裡
說	說 説
謠	謠 謡 䚻
譾	譾 謭
豎	豎 竪
豔	艷 豔 豓
贓	贓 贜
贗	贗 贋 偐
跺	跺 跥
踊	踴 踊
躲	躲 躱
逾	逾 踰
醞	醞 醖
醯	酰 醯
鉢	鉢 缽
鉤	鉤 鈎
銳	銳 鋭
錄	錄 録
錘	錘 鎚
鏽	鏥 銹 鏽
鐫	鐫 鎸 鋑 𥍯
钁	钁 鐝
閱	閱 閲
阪	坂 阪
僱	僱 雇
雕	雕 彫 琱
雞	雞 鷄 鶏
鞝	鞝 緔
頹	頹 頽
顏	顏 顔
館	館 舘
鬥	鬭 鬥 鬭 闘
鬨	鬨 閧
鯗	鯗 鮝
鱷	鱷 鰐 𧍞
鳧	鳧 鳬
鶿	鶿 鷀
鹼	鹼 礆 碱
麴	麯 麴
麪	麪 麵
麼	麽 麼
黴	黴 霉
齎	齎 賫
捻	捻 撚
柺	柺 枴
棲	棲 栖
臥	臥 卧
教	教 敎
勳	勳 勛
剿	剿 勦
甕	甕 瓮
餚	餚 肴
鼴	鼴 鼹
蔥	葱 蔥
搗	擣 搗
螂	蜋 螂
溼	濕 溼
羶	羶 羴
痺	痺 痹
蝨	虱 蝨
檐	檐 簷
暱	昵 暱
灩	灩 灎 灧
齧	嚙 齧
彝	彝 彞
檾	檾 苘 䔛
餈	餈 糍
拋	拋 抛
糉	糉 粽
峯	峰 峯
{'fraction_non_alphanumeric': 0.0035122930255895636, 'fraction_numerical': 0.0, 'mean_word_length': 1.051440329218107, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '735267', 'n_tokens_mistral': 3760, 'n_tokens_neox': 3313, 'n_words': 972}