bert-tiny-ita / README.md
mascIT's picture
Update README.md
b266db5
|
raw
history blame
1.28 kB
metadata
language:
  - it
pipeline_tag: fill-mask
library_name: transformers
widget:
  - example_title: Esempio 1
    text: >-
      Più tardi, durante la sua carriera, la gravidanza la costrinse a
      cancellare le sue apparizioni programmate nell'autunno del 1935. Il 29
      marzo 1936 entrò in una clinica di Londra in [MASK] della nascita del suo
      bimbo
  - example_title: Esempio 2
    text: >-
      Nella stagione 2017-2018 il Karlsruhe, allenato da Alois Schwartz, [MASK]
      il campionato di 3. Liga al 3º posto.
  - example_title: Esempio 3
    text: >-
      Conchita Supervía, nome alla nascita María de la Concepción Supervía
      Pascual (Barcellona, 8 dicembre 1895[1] – Londra, 30 marzo 1936), è [MASK]
      un mezzosoprano spagnolo molto famosa nel panorama operistico europeo e
      statunitense, attiva anche in campo concertistico

This model (based on bert-tiny) has been trained from scratch on 20k italian Wikipedia articles and on a wide collection of italian words and dictionary definitions.

The project is still a work in progress, new versions will come with time.

Training

  • epochs: 200
  • lr: 1e-5
  • optim: AdamW
  • weight_decay: 1e-3

Eval

  • perplexity: 50 (it's a 12MB model, don't expect this to be ChatGPT anytime soon :)