<jupyter_start><jupyter_text>Load model<jupyter_code>model = models.load_model('models/02-0.0223-0.9917.hdf5')<jupyter_output>WARNING: Logging before flag parsing goes to stderr.
W0704 04:45:05.212321 140487151609664 deprecation.py:323] From /home/dustin/anaconda3/envs/tf2/lib/python3.6/site-packages/tensorflow/python/ops/math_grad.py:1250: add_dispatch_support.<locals>.wrapper (from tensorflow.python.ops.array_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Use tf.where in 2.0, which has the same broadcast rule as np.where<jupyter_text>Make prediction<jupyter_code>test = '''영국의철학자인화이트헤드는”서양의 2000년 철학은 모두 플라톤의 각주에 불과하다”라고 말했으며,
          시인 에머슨은 “철학은 플라톤이고, 플라톤은 철학”이라 평하였는데, 플라톤은 소크라테스의 수제자이다. 
          플라톤이 20대인 시절, 스승 소크라테스가 민주주의에 의해 끝내 사형당하는 것을 보고 크게 분개했으며, 
          이는 그의 귀족주의 “철인 정치” 지지의 큰 계기가 되었다. 알렉산더 대왕은 소크라테스의 증손제자로, 
          플라톤의 제자인 아리스토텔레스의 제자'''
max_text_len = 200
regex = re.compile(r'\s+')
test = test.strip().lower()
test = re.sub(regex, '', test)  # remove all whitespaces
print(test)
encoded = encode_string(test)
X_train = pad_sequences([encoded], maxlen=max_text_len, padding='post', truncating='post')
data = pad_sequences([encoded], maxlen=max_text_len, padding='post', truncating='post')
data
data.shape
p = model.predict(data)
for i, c in enumerate(test):
    print(c, end='')
    if p[0][i] >= 0.5:
        print(' ', end='')<jupyter_output>영국의 철학자인 화이트 헤드는 ”서양의 2000년 철학은 모두 플라톤의 각주에 불과하다”라고 말했으며, 시인에 머슨은 “철학은 플라톤이고, 플라톤은 철학”이라 평하였는데, 플라톤은 소크라테스의 수제자이다. 플라톤이 20대인 시절, 스승소크라테스가 민주주의에 의해 끝내사 형당하는 것을 보고 크게 분개했으며, 이는 그의 귀족주의 “철인 정치” 지지의 큰 계기가 되었다. 알렉산더 대왕은 소크라테스의 증손제자로 ,플라톤의 제자인 아리스 토텔레스의 제자
{'fraction_non_alphanumeric': 0.11490125673249552, 'fraction_numerical': 0.04488330341113106, 'mean_word_length': 4.481967213114754, 'pattern_counts': {'":': 0, '<': 8, '<?xml version=': 0, '>': 9, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '2', 'dir': 'jupyter-structured-clean-dedup', 'id': '469064', 'license': 'MIT', 'n_tokens_mistral': 1027, 'n_tokens_neox': 1229, 'n_words': 185, 'path': 'notebooks/awesome-spacer-test.ipynb', 'repo_name': 'EthanJYK/awesome-spacer', 'size': '1671'}