<jupyter_start><jupyter_text>執行到以上，下面是測試<jupyter_code>test_sentence = '''中華統一促進黨總裁「白狼」張安樂及其子張瑋，
遭控收受政治獻金卻未按規定申報，還涉替張瑋成立的「華夏大地旅行社」逃漏稅，掏空兩千多萬元公司資產啊啊啊啊啊啊啊啊'''

test_sentence = '''夜店小王子家賢本月的KPI是載實習生妹妹下班，真的鬼'''
test_sentence = '''今天早上的部會抽籤，讓我很緊張，還好看到的是游騰林跟燊磊一齊出現在中獎名單上，真是阿彌陀佛'''
tokenized_sentence = tokenizer_chinese.encode(test_sentence)
input_ids = torch.tensor([tokenized_sentence]).cuda()
len([tokenizer_chinese.convert_ids_to_tokens(i) for i in tokenized_sentence])
with torch.no_grad():
    output = model(input_ids)
label_indices = np.argmax(output[0].to('cpu').numpy(), axis=2)

# join bpe split tokens
tokens = tokenizer_chinese.convert_ids_to_tokens(input_ids.to('cpu').numpy()[0])
new_tokens, new_labels = [], []
for token, label_idx in zip(tokens, label_indices[0]):
    if token.startswith("##"):
        new_tokens[-1] = new_tokens[-1] + token[2:]
    else:
        new_labels.append(tag_values[label_idx])
        new_tokens.append(token)
for token, label in zip(new_tokens, new_labels):
    print("{}\t{}".format(label, token))<jupyter_output>O	[CLS]
O	中
O	華
O	統
O	一
O	促
O	進
O	黨
O	總
O	裁
O	「
O	白
O	狼
O	」
B_person_name	張
M_person_name	安
E_person_name	樂
O	及
O	其
O	子
B_person_name	張
E_person_name	瑋
O	，
O	遭
O	控
O	收
O	受
O	政
O	治
O	獻
O	金
O	卻
O	未
O	按
O	規
O	定
O	申
O	報
O	，
O	還
O	涉
O	替
B_person_name	張
E_person_name	瑋
O	成
O	立
O	的
O	「
O	華
O	夏
O	大
O	地
O	旅
O	行
O	社
O	」
O	逃
O	漏
O	稅
O	，
O	掏
O	空
O	兩
O	千
O	多
O	萬
O	元
O	公
O	司
O	資
O	產
O	啊
O	啊
O	啊
O	啊
O	啊
O	啊
O	啊
O	啊
O	[SEP]
{'fraction_non_alphanumeric': 0.11596180081855388, 'fraction_numerical': 0.0047748976807639835, 'mean_word_length': 4.129370629370629, 'pattern_counts': {'":': 0, '<': 4, '<?xml version=': 0, '>': 4, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 1, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '548870', 'license': 'MIT', 'n_tokens_mistral': 931, 'n_tokens_neox': 985, 'n_words': 209, 'path': 'step1_1_bert_model.ipynb', 'repo_name': 'TimKuo38/AML-Blacklist-Prediction', 'size': '1466'}