|
--- |
|
license: apache-2.0 |
|
datasets: |
|
- mozilla-foundation/common_voice_13_0 |
|
- falabrasil/Audio_Corpora-Bases_de_áudio |
|
- lucasgris/wav2vec4bp |
|
- Edresson/TTS-Portuguese-Corpus |
|
- voxforge/voxforge-pt-dataset |
|
- programadorartificial/custom_dataset |
|
language: |
|
- pt |
|
metrics: |
|
- wer |
|
- cer |
|
pipeline_tag: automatic-speech-recognition |
|
tags: |
|
- Wav2Vec2 |
|
- speech-to-text |
|
--- |
|
|
|
# Wav2Vec 2.0 - Brazilian Portuguese |
|
|
|
This model is a fine-tuned of [facebook/wav2vec2-large-xlsr-53](https://huggingface.co/facebook/wav2vec2-large-xlsr-53-portuguese) model with the following datasets: |
|
|
|
- [Common Voice 13.0](https://commonvoice.mozilla.org/pt/datasets) |
|
- [FalaBrasil](https://github.com/falabrasil/gitlab-resources) |
|
- [Multilingual Librispeech (MLS) Portuguese](http://www.openslr.org/94/) |
|
- [TTS-Portuguese-Corpus](https://github.com/Edresson/TTS-Portuguese-Corpus) |
|
- [VoxForge](https://www.voxforge.org/pt/Downloads) |
|
- Custom_dataset - With me talking - Not available |
|
|
|
All datasets were pre-processed and cleaned (trying to keep only brazilian speakers), not original training, testing and validating files wer not used. The files used to training, testing and validating are in the "dataset_files" folder. |
|
|
|
The model was fine-tuned using the [ProgramadorArificial/transformers](https://github.com/ProgramadorArtificial/transformers/tree/main) repository, more specific, the [speech-recognition](https://github.com/ProgramadorArtificial/transformers/tree/main/examples/pytorch/speech-recognition) folder. |
|
|
|
```python |
|
from transformers import AutoModelForCTC, Wav2Vec2Processor |
|
|
|
processor = Wav2Vec2Processor.from_pretrained('ProgramadorArtificial/wav2vec2-large-xlsr-53-portuguese') |
|
model = AutoModelForCTC.from_pretrained('ProgramadorArtificial/wav2vec2-large-xlsr-53-portuguese') |
|
``` |
|
|
|
Video explaining how this model was trained (portuguese): https://youtu.be/ff_NQVUwtx4 |
|
|
|
|
|
## Results test and validation dataset |
|
|
|
### Test |
|
| WER | CER | |
|
|-------|------| |
|
| 11.7% | 3.3% | |
|
|
|
| Prediction | Real | |
|
| ------------ |---------------------------------------------------------------------------------| |
|
| ele é considerado por seus companheiros de tropa como um oficial moderado | ele é considerado por seus companheiros de tropa como um oficial moderado | |
|
| os empréstimos do banco mundial exigem contrapartidas do governo beneficiados | os empréstimos do banco mundial exigem contrapartidas dos governos beneficiados | |
|
| mwendel queiroz rodrigues | wendell queiroz rodrgues | |
|
| virmontes | virmond | |
|
| conversões pelo dólar turismo a mil seiscentos e oitenta reais | conversões pelo dólar turismo a mil seiscentos e oitenta reais | |
|
| o grupo de moda são paulo promove o seu primeiro encontro | o grupo de moda são paulo promove o seu primeiro encontro | |
|
| abandonou a frança e se fixou em são paulo | abandonou a frança e se fixou em são paulo | |
|
| o avanço da tecnologia fez esta divisão perder o sentido | o avanço da tecnologia fez esta divisão perder o sentido | |
|
| reservadamente confessa não entender o comportamento do presidente | reservadamente confessa não entender o comportamento do presidente | |
|
| foi definido o campeonato estadual que começa no dia trinta | foi definido o campeonato estadual que começa no dia trinta | |
|
|
|
### Validation |
|
| WER | CER | |
|
|------|------| |
|
| 9.5% | 2.6% | |
|
|
|
| Prediction | Real | |
|
| ------------- | ------------- | |
|
| pontex gestal | pontes gestal | |
|
| o cruzeiro real continua valendo até o dia quinze de julho | o cruzeiro real continua valendo até o dia quinze de julho | |
|
| o espaço fica portanto vago e disponível para o traficante | o espaço fica portanto vago e disponível para o traficante | |
|
| os botões estão empilhados | os botões estão empilhados | |
|
| as chances que apareciam eram perdidas pelos atacantes cruzeirenses | as chances que apareciam eram perdidas pelos atacantes cruzeirenses | |
|
| possibilitar que a população se sinta identificada com o estado | possibilitar que a população se sinta identificada com o estado | |
|
| os detentos serão transferidos das delegacias que estiverem lotadas | os detentos serão transferidos das delegacias que estiverem lotadas | |
|
| a euforia pela pista menos quente causou três incidentes | a euforia pela pista menos quente causou três incidentes | |
|
| almeida é presidente da liga independente das escolas de samba | almeida é presidente da liga independente das escolas de samba | |
|
| os modos de seu pensamento as cendências de seu espírito e até as menores particularidades de sua vida é nessa fonte que deve beber o poeta brasileiro é dela que há de sair o verdadeiro poema nacional tal como eu o imagino | os modos de seu pensamento as tendências de seu espírito e até as menores particularidades de sua vida é nessa fonte que deve beber o poeta brasileiro é dela que há de sair o verdadeiro poema nacional tal como eu o imagino | |
|
|
|
## Autor |
|
* **Programador Artificial** - [GitHub](https://github.com/ProgramadorArtificial) - [YouTube](https://www.youtube.com/@ProgramadorArtificial) |
