metadata

pipeline_tag: fill-mask
license: mit
language: ko
mask_token: <mask>
widget:
  - text: 대한민국의 수도인 서울은 현대적인 고층 빌딩, 첨단 기술의 지하철, 대중문화와 사찰, 고궁, 노점상이 공존하는 <mask>입니다.

roberta-base-ko

A roberta model trained from the scratch. It has almost the same structure as roberta-base, but with a few differences.

hidden_act: mish
position_embedding_type: relative_key_query