<commit_before># -*- coding: utf-8 -*-

from 臺灣言語工具.音標系統.閩南語.臺灣閩南語羅馬字拼音 import 臺灣閩南語羅馬字拼音
from 臺灣言語工具.解析整理.拆文分析器 import 拆文分析器
from 臺灣言語工具.解析整理.文章粗胚 import 文章粗胚
from 用字.models import 用字表


def 判斷本調拼音(漢字, 本調臺羅):
    結果 = 檢查本調拼音(漢字, 本調臺羅)
    回傳字串 = ''
    if type(結果) is list:
        回傳字串 = ' '.join(結果)
    else:
        回傳字串 = 結果
    return 回傳字串


def 檢查本調拼音(漢字, 本調臺羅):
    try:
        本調 = 拆文分析器.對齊句物件(
            漢字,
            文章粗胚.建立物件語句前處理減號(臺灣閩南語羅馬字拼音, 本調臺羅)
        ).轉音(臺灣閩南語羅馬字拼音)
    except Exception as 錯誤:
        錯誤結果 = str(錯誤).split('！')[0]
    else:
        錯誤結果 = []
        for 詞物件 in 本調.網出詞物件():
            for 字物件 in 詞物件.篩出字物件():
                if 這个字袂使(字物件):
                    錯誤結果.append(字物件.看分詞())
    return 錯誤結果


def 這个字袂使(字物件):
    if 字物件.型==字物件.音 or 字物件.型==字物件.音[1:]:
        return False
    return not 用字表.有這个字無(字物件)<commit_msg>檢查共合音的狀況提掉<commit_after># -*- coding: utf-8 -*-

from 臺灣言語工具.音標系統.閩南語.臺灣閩南語羅馬字拼音 import 臺灣閩南語羅馬字拼音
from 臺灣言語工具.解析整理.拆文分析器 import 拆文分析器
from 臺灣言語工具.解析整理.文章粗胚 import 文章粗胚
from 用字.models import 用字表
from 校對工具.檢查 import 文本分析


def 判斷本調拼音(漢字, 本調臺羅):
    結果 = 檢查本調拼音(漢字, 本調臺羅)
    回傳字串 = ''
    if type(結果) is list:
        回傳字串 = ' '.join(結果)
    else:
        回傳字串 = 結果
    return 回傳字串


def 檢查本調拼音(漢字, 本調臺羅):
    try:
        本調 = 拆文分析器.對齊句物件(
            文本分析.漢字合音轉做代號(漢字),
            文章粗胚.建立物件語句前處理減號(臺灣閩南語羅馬字拼音, 本調臺羅)
        ).轉音(臺灣閩南語羅馬字拼音)
    except Exception as 錯誤:
        錯誤結果 = str(錯誤).split('！')[0]
    else:
        錯誤結果 = []
        for 詞物件 in 本調.網出詞物件():
            for 字物件 in 詞物件.篩出字物件():
                if 這个字袂使(字物件):
                    錯誤結果.append(字物件.看分詞())
    return 錯誤結果


def 這个字袂使(字物件):
    if 字物件.型 == 字物件.音 or 字物件.型 == 字物件.音[1:]:
        return False
    if 文本分析.這字的漢字敢是合音(字物件):
        return False
    return not 用字表.有這个字無(字物件)
{'fraction_non_alphanumeric': 0.12527472527472527, 'fraction_numerical': 0.0032967032967032967, 'mean_word_length': 1.8632075471698113, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '2472806', 'n_tokens_mistral': 1269, 'n_tokens_neox': 1430, 'n_words': 167}