wav2vec-xlsr-cv-grain-lg_both / README.md

End of training

b9db176 verified 4 days ago

8.6 kB

	---
	library_name: transformers
	license: apache-2.0
	base_model: facebook/wav2vec2-xls-r-300m
	tags:
	- generated_from_trainer
	metrics:
	- wer
	model-index:
	- name: wav2vec-xlsr-cv-grain-lg_both
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# wav2vec-xlsr-cv-grain-lg_both

	This model is a fine-tuned version of [facebook/wav2vec2-xls-r-300m](https://huggingface.co/facebook/wav2vec2-xls-r-300m) on the None dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.0871
	- Wer: 0.0289
	- Cer: 0.0079

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 0.0003
	- train_batch_size: 16
	- eval_batch_size: 8
	- seed: 42
	- gradient_accumulation_steps: 2
	- total_train_batch_size: 32
	- optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
	- lr_scheduler_type: linear
	- num_epochs: 100
	- mixed_precision_training: Native AMP

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Wer \| Cer \|
	\|:-------------:\|:-----:\|:------:\|:---------------:\|:------:\|:------:\|
	\| 1.9082 \| 1.0 \| 2703 \| 0.2081 \| 0.2630 \| 0.0539 \|
	\| 0.6172 \| 2.0 \| 5406 \| 0.1523 \| 0.1853 \| 0.0386 \|
	\| 0.5149 \| 3.0 \| 8109 \| 0.1235 \| 0.1432 \| 0.0307 \|
	\| 0.4589 \| 4.0 \| 10812 \| 0.1207 \| 0.1297 \| 0.0285 \|
	\| 0.4226 \| 5.0 \| 13515 \| 0.1007 \| 0.1117 \| 0.0238 \|
	\| 0.3932 \| 6.0 \| 16218 \| 0.0988 \| 0.0979 \| 0.0225 \|
	\| 0.3706 \| 7.0 \| 18921 \| 0.0916 \| 0.0924 \| 0.0212 \|
	\| 0.3481 \| 8.0 \| 21624 \| 0.0882 \| 0.0881 \| 0.0210 \|
	\| 0.3291 \| 9.0 \| 24327 \| 0.0856 \| 0.0803 \| 0.0185 \|
	\| 0.3131 \| 10.0 \| 27030 \| 0.0806 \| 0.0777 \| 0.0182 \|
	\| 0.2997 \| 11.0 \| 29733 \| 0.0767 \| 0.0733 \| 0.0175 \|
	\| 0.2851 \| 12.0 \| 32436 \| 0.0749 \| 0.0742 \| 0.0178 \|
	\| 0.2745 \| 13.0 \| 35139 \| 0.0738 \| 0.0636 \| 0.0161 \|
	\| 0.2628 \| 14.0 \| 37842 \| 0.0818 \| 0.0749 \| 0.0177 \|
	\| 0.2487 \| 15.0 \| 40545 \| 0.0750 \| 0.0699 \| 0.0162 \|
	\| 0.2389 \| 16.0 \| 43248 \| 0.0682 \| 0.0586 \| 0.0145 \|
	\| 0.2299 \| 17.0 \| 45951 \| 0.0675 \| 0.0590 \| 0.0137 \|
	\| 0.22 \| 18.0 \| 48654 \| 0.0715 \| 0.0562 \| 0.0140 \|
	\| 0.2102 \| 19.0 \| 51357 \| 0.0757 \| 0.0534 \| 0.0134 \|
	\| 0.202 \| 20.0 \| 54060 \| 0.0785 \| 0.0586 \| 0.0149 \|
	\| 0.195 \| 21.0 \| 56763 \| 0.0731 \| 0.0590 \| 0.0136 \|
	\| 0.186 \| 22.0 \| 59466 \| 0.0750 \| 0.0566 \| 0.0136 \|
	\| 0.1797 \| 23.0 \| 62169 \| 0.0746 \| 0.0523 \| 0.0127 \|
	\| 0.1713 \| 24.0 \| 64872 \| 0.0739 \| 0.0538 \| 0.0132 \|
	\| 0.1634 \| 25.0 \| 67575 \| 0.0806 \| 0.0514 \| 0.0130 \|
	\| 0.157 \| 26.0 \| 70278 \| 0.0748 \| 0.0532 \| 0.0132 \|
	\| 0.1521 \| 27.0 \| 72981 \| 0.0774 \| 0.0521 \| 0.0133 \|
	\| 0.1483 \| 28.0 \| 75684 \| 0.0775 \| 0.0501 \| 0.0125 \|
	\| 0.1424 \| 29.0 \| 78387 \| 0.0772 \| 0.0479 \| 0.0122 \|
	\| 0.1363 \| 30.0 \| 81090 \| 0.0747 \| 0.0453 \| 0.0116 \|
	\| 0.1322 \| 31.0 \| 83793 \| 0.0801 \| 0.0436 \| 0.0116 \|
	\| 0.1266 \| 32.0 \| 86496 \| 0.0758 \| 0.0473 \| 0.0112 \|
	\| 0.1234 \| 33.0 \| 89199 \| 0.0691 \| 0.0430 \| 0.0107 \|
	\| 0.1214 \| 34.0 \| 91902 \| 0.0853 \| 0.0458 \| 0.0120 \|
	\| 0.1178 \| 35.0 \| 94605 \| 0.0805 \| 0.0436 \| 0.0107 \|
	\| 0.1126 \| 36.0 \| 97308 \| 0.0803 \| 0.0436 \| 0.0116 \|
	\| 0.1119 \| 37.0 \| 100011 \| 0.0744 \| 0.0412 \| 0.0105 \|
	\| 0.1079 \| 38.0 \| 102714 \| 0.0788 \| 0.0421 \| 0.0106 \|
	\| 0.1039 \| 39.0 \| 105417 \| 0.0802 \| 0.0406 \| 0.0105 \|
	\| 0.1014 \| 40.0 \| 108120 \| 0.0741 \| 0.0367 \| 0.0098 \|
	\| 0.1 \| 41.0 \| 110823 \| 0.0812 \| 0.0401 \| 0.0106 \|
	\| 0.096 \| 42.0 \| 113526 \| 0.0772 \| 0.0410 \| 0.0111 \|
	\| 0.0937 \| 43.0 \| 116229 \| 0.0782 \| 0.0417 \| 0.0106 \|
	\| 0.0923 \| 44.0 \| 118932 \| 0.0808 \| 0.0404 \| 0.0104 \|
	\| 0.0894 \| 45.0 \| 121635 \| 0.0725 \| 0.0384 \| 0.0097 \|
	\| 0.0874 \| 46.0 \| 124338 \| 0.0747 \| 0.0351 \| 0.0098 \|
	\| 0.0856 \| 47.0 \| 127041 \| 0.0761 \| 0.0373 \| 0.0100 \|
	\| 0.0852 \| 48.0 \| 129744 \| 0.0786 \| 0.0393 \| 0.0099 \|
	\| 0.0821 \| 49.0 \| 132447 \| 0.0766 \| 0.0334 \| 0.0092 \|
	\| 0.0815 \| 50.0 \| 135150 \| 0.0789 \| 0.0365 \| 0.0103 \|
	\| 0.0798 \| 51.0 \| 137853 \| 0.0813 \| 0.0391 \| 0.0101 \|
	\| 0.0775 \| 52.0 \| 140556 \| 0.0783 \| 0.0341 \| 0.0091 \|
	\| 0.0755 \| 53.0 \| 143259 \| 0.0793 \| 0.0399 \| 0.0105 \|
	\| 0.0745 \| 54.0 \| 145962 \| 0.0770 \| 0.0408 \| 0.0100 \|
	\| 0.072 \| 55.0 \| 148665 \| 0.0774 \| 0.0349 \| 0.0093 \|
	\| 0.0708 \| 56.0 \| 151368 \| 0.0811 \| 0.0341 \| 0.0091 \|
	\| 0.0675 \| 57.0 \| 154071 \| 0.0740 \| 0.0321 \| 0.0087 \|
	\| 0.067 \| 58.0 \| 156774 \| 0.0747 \| 0.0321 \| 0.0087 \|
	\| 0.0657 \| 59.0 \| 159477 \| 0.0721 \| 0.0312 \| 0.0085 \|
	\| 0.0645 \| 60.0 \| 162180 \| 0.0701 \| 0.0341 \| 0.0089 \|
	\| 0.0631 \| 61.0 \| 164883 \| 0.0788 \| 0.0358 \| 0.0090 \|
	\| 0.0623 \| 62.0 \| 167586 \| 0.0763 \| 0.0312 \| 0.0091 \|
	\| 0.0614 \| 63.0 \| 170289 \| 0.0777 \| 0.0332 \| 0.0087 \|
	\| 0.0592 \| 64.0 \| 172992 \| 0.0742 \| 0.0319 \| 0.0085 \|
	\| 0.0576 \| 65.0 \| 175695 \| 0.0755 \| 0.0317 \| 0.0085 \|
	\| 0.0566 \| 66.0 \| 178398 \| 0.0785 \| 0.0347 \| 0.0092 \|
	\| 0.0565 \| 67.0 \| 181101 \| 0.0794 \| 0.0315 \| 0.0086 \|
	\| 0.0559 \| 68.0 \| 183804 \| 0.0774 \| 0.0317 \| 0.0084 \|
	\| 0.0534 \| 69.0 \| 186507 \| 0.0814 \| 0.0338 \| 0.0088 \|
	\| 0.0521 \| 70.0 \| 189210 \| 0.0825 \| 0.0330 \| 0.0089 \|
	\| 0.0514 \| 71.0 \| 191913 \| 0.0781 \| 0.0297 \| 0.0081 \|
	\| 0.0489 \| 72.0 \| 194616 \| 0.0802 \| 0.0293 \| 0.0079 \|
	\| 0.0496 \| 73.0 \| 197319 \| 0.0799 \| 0.0330 \| 0.0086 \|
	\| 0.0474 \| 74.0 \| 200022 \| 0.0806 \| 0.0299 \| 0.0080 \|
	\| 0.0479 \| 75.0 \| 202725 \| 0.0789 \| 0.0284 \| 0.0080 \|
	\| 0.0461 \| 76.0 \| 205428 \| 0.0797 \| 0.0308 \| 0.0079 \|
	\| 0.044 \| 77.0 \| 208131 \| 0.0788 \| 0.0284 \| 0.0078 \|
	\| 0.0444 \| 78.0 \| 210834 \| 0.0830 \| 0.0304 \| 0.0083 \|
	\| 0.0429 \| 79.0 \| 213537 \| 0.0826 \| 0.0312 \| 0.0085 \|
	\| 0.0423 \| 80.0 \| 216240 \| 0.0845 \| 0.0317 \| 0.0087 \|
	\| 0.041 \| 81.0 \| 218943 \| 0.0862 \| 0.0323 \| 0.0085 \|
	\| 0.0399 \| 82.0 \| 221646 \| 0.0844 \| 0.0297 \| 0.0083 \|
	\| 0.0402 \| 83.0 \| 224349 \| 0.0884 \| 0.0308 \| 0.0084 \|
	\| 0.0389 \| 84.0 \| 227052 \| 0.0853 \| 0.0276 \| 0.0079 \|
	\| 0.0372 \| 85.0 \| 229755 \| 0.0839 \| 0.0325 \| 0.0082 \|
	\| 0.0367 \| 86.0 \| 232458 \| 0.0851 \| 0.0282 \| 0.0078 \|
	\| 0.0358 \| 87.0 \| 235161 \| 0.0836 \| 0.0297 \| 0.0081 \|
	\| 0.0355 \| 88.0 \| 237864 \| 0.0860 \| 0.0295 \| 0.0083 \|
	\| 0.0347 \| 89.0 \| 240567 \| 0.0848 \| 0.0291 \| 0.0081 \|
	\| 0.0334 \| 90.0 \| 243270 \| 0.0832 \| 0.0280 \| 0.0079 \|
	\| 0.033 \| 91.0 \| 245973 \| 0.0848 \| 0.0282 \| 0.0079 \|
	\| 0.0329 \| 92.0 \| 248676 \| 0.0852 \| 0.0286 \| 0.0082 \|
	\| 0.0317 \| 93.0 \| 251379 \| 0.0851 \| 0.0291 \| 0.0080 \|
	\| 0.0314 \| 94.0 \| 254082 \| 0.0873 \| 0.0291 \| 0.0080 \|
	\| 0.0313 \| 95.0 \| 256785 \| 0.0869 \| 0.0284 \| 0.0079 \|
	\| 0.0305 \| 96.0 \| 259488 \| 0.0853 \| 0.0291 \| 0.0080 \|
	\| 0.03 \| 97.0 \| 262191 \| 0.0862 \| 0.0280 \| 0.0077 \|
	\| 0.0299 \| 98.0 \| 264894 \| 0.0865 \| 0.0282 \| 0.0078 \|
	\| 0.0286 \| 99.0 \| 267597 \| 0.0871 \| 0.0289 \| 0.0079 \|


	### Framework versions

	- Transformers 4.46.1
	- Pytorch 2.1.0+cu118
	- Datasets 3.1.0
	- Tokenizers 0.20.1

	---
	library_name: transformers
	license: apache-2.0
	base_model: facebook/wav2vec2-xls-r-300m
	tags:
	- generated_from_trainer
	metrics:
	- wer
	model-index:
	- name: wav2vec-xlsr-cv-grain-lg_both
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# wav2vec-xlsr-cv-grain-lg_both

	This model is a fine-tuned version of [facebook/wav2vec2-xls-r-300m](https://huggingface.co/facebook/wav2vec2-xls-r-300m) on the None dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.0871
	- Wer: 0.0289
	- Cer: 0.0079

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 0.0003
	- train_batch_size: 16
	- eval_batch_size: 8
	- seed: 42
	- gradient_accumulation_steps: 2
	- total_train_batch_size: 32
	- optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
	- lr_scheduler_type: linear
	- num_epochs: 100
	- mixed_precision_training: Native AMP

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Wer \| Cer \|
	\|:-------------:\|:-----:\|:------:\|:---------------:\|:------:\|:------:\|
	\| 1.9082 \| 1.0 \| 2703 \| 0.2081 \| 0.2630 \| 0.0539 \|
	\| 0.6172 \| 2.0 \| 5406 \| 0.1523 \| 0.1853 \| 0.0386 \|
	\| 0.5149 \| 3.0 \| 8109 \| 0.1235 \| 0.1432 \| 0.0307 \|
	\| 0.4589 \| 4.0 \| 10812 \| 0.1207 \| 0.1297 \| 0.0285 \|
	\| 0.4226 \| 5.0 \| 13515 \| 0.1007 \| 0.1117 \| 0.0238 \|
	\| 0.3932 \| 6.0 \| 16218 \| 0.0988 \| 0.0979 \| 0.0225 \|
	\| 0.3706 \| 7.0 \| 18921 \| 0.0916 \| 0.0924 \| 0.0212 \|
	\| 0.3481 \| 8.0 \| 21624 \| 0.0882 \| 0.0881 \| 0.0210 \|
	\| 0.3291 \| 9.0 \| 24327 \| 0.0856 \| 0.0803 \| 0.0185 \|
	\| 0.3131 \| 10.0 \| 27030 \| 0.0806 \| 0.0777 \| 0.0182 \|
	\| 0.2997 \| 11.0 \| 29733 \| 0.0767 \| 0.0733 \| 0.0175 \|
	\| 0.2851 \| 12.0 \| 32436 \| 0.0749 \| 0.0742 \| 0.0178 \|
	\| 0.2745 \| 13.0 \| 35139 \| 0.0738 \| 0.0636 \| 0.0161 \|
	\| 0.2628 \| 14.0 \| 37842 \| 0.0818 \| 0.0749 \| 0.0177 \|
	\| 0.2487 \| 15.0 \| 40545 \| 0.0750 \| 0.0699 \| 0.0162 \|
	\| 0.2389 \| 16.0 \| 43248 \| 0.0682 \| 0.0586 \| 0.0145 \|
	\| 0.2299 \| 17.0 \| 45951 \| 0.0675 \| 0.0590 \| 0.0137 \|
	\| 0.22 \| 18.0 \| 48654 \| 0.0715 \| 0.0562 \| 0.0140 \|
	\| 0.2102 \| 19.0 \| 51357 \| 0.0757 \| 0.0534 \| 0.0134 \|
	\| 0.202 \| 20.0 \| 54060 \| 0.0785 \| 0.0586 \| 0.0149 \|
	\| 0.195 \| 21.0 \| 56763 \| 0.0731 \| 0.0590 \| 0.0136 \|
	\| 0.186 \| 22.0 \| 59466 \| 0.0750 \| 0.0566 \| 0.0136 \|
	\| 0.1797 \| 23.0 \| 62169 \| 0.0746 \| 0.0523 \| 0.0127 \|
	\| 0.1713 \| 24.0 \| 64872 \| 0.0739 \| 0.0538 \| 0.0132 \|
	\| 0.1634 \| 25.0 \| 67575 \| 0.0806 \| 0.0514 \| 0.0130 \|
	\| 0.157 \| 26.0 \| 70278 \| 0.0748 \| 0.0532 \| 0.0132 \|
	\| 0.1521 \| 27.0 \| 72981 \| 0.0774 \| 0.0521 \| 0.0133 \|
	\| 0.1483 \| 28.0 \| 75684 \| 0.0775 \| 0.0501 \| 0.0125 \|
	\| 0.1424 \| 29.0 \| 78387 \| 0.0772 \| 0.0479 \| 0.0122 \|
	\| 0.1363 \| 30.0 \| 81090 \| 0.0747 \| 0.0453 \| 0.0116 \|
	\| 0.1322 \| 31.0 \| 83793 \| 0.0801 \| 0.0436 \| 0.0116 \|
	\| 0.1266 \| 32.0 \| 86496 \| 0.0758 \| 0.0473 \| 0.0112 \|
	\| 0.1234 \| 33.0 \| 89199 \| 0.0691 \| 0.0430 \| 0.0107 \|
	\| 0.1214 \| 34.0 \| 91902 \| 0.0853 \| 0.0458 \| 0.0120 \|
	\| 0.1178 \| 35.0 \| 94605 \| 0.0805 \| 0.0436 \| 0.0107 \|
	\| 0.1126 \| 36.0 \| 97308 \| 0.0803 \| 0.0436 \| 0.0116 \|
	\| 0.1119 \| 37.0 \| 100011 \| 0.0744 \| 0.0412 \| 0.0105 \|
	\| 0.1079 \| 38.0 \| 102714 \| 0.0788 \| 0.0421 \| 0.0106 \|
	\| 0.1039 \| 39.0 \| 105417 \| 0.0802 \| 0.0406 \| 0.0105 \|
	\| 0.1014 \| 40.0 \| 108120 \| 0.0741 \| 0.0367 \| 0.0098 \|
	\| 0.1 \| 41.0 \| 110823 \| 0.0812 \| 0.0401 \| 0.0106 \|
	\| 0.096 \| 42.0 \| 113526 \| 0.0772 \| 0.0410 \| 0.0111 \|
	\| 0.0937 \| 43.0 \| 116229 \| 0.0782 \| 0.0417 \| 0.0106 \|
	\| 0.0923 \| 44.0 \| 118932 \| 0.0808 \| 0.0404 \| 0.0104 \|
	\| 0.0894 \| 45.0 \| 121635 \| 0.0725 \| 0.0384 \| 0.0097 \|
	\| 0.0874 \| 46.0 \| 124338 \| 0.0747 \| 0.0351 \| 0.0098 \|
	\| 0.0856 \| 47.0 \| 127041 \| 0.0761 \| 0.0373 \| 0.0100 \|
	\| 0.0852 \| 48.0 \| 129744 \| 0.0786 \| 0.0393 \| 0.0099 \|
	\| 0.0821 \| 49.0 \| 132447 \| 0.0766 \| 0.0334 \| 0.0092 \|
	\| 0.0815 \| 50.0 \| 135150 \| 0.0789 \| 0.0365 \| 0.0103 \|
	\| 0.0798 \| 51.0 \| 137853 \| 0.0813 \| 0.0391 \| 0.0101 \|
	\| 0.0775 \| 52.0 \| 140556 \| 0.0783 \| 0.0341 \| 0.0091 \|
	\| 0.0755 \| 53.0 \| 143259 \| 0.0793 \| 0.0399 \| 0.0105 \|
	\| 0.0745 \| 54.0 \| 145962 \| 0.0770 \| 0.0408 \| 0.0100 \|
	\| 0.072 \| 55.0 \| 148665 \| 0.0774 \| 0.0349 \| 0.0093 \|
	\| 0.0708 \| 56.0 \| 151368 \| 0.0811 \| 0.0341 \| 0.0091 \|
	\| 0.0675 \| 57.0 \| 154071 \| 0.0740 \| 0.0321 \| 0.0087 \|
	\| 0.067 \| 58.0 \| 156774 \| 0.0747 \| 0.0321 \| 0.0087 \|
	\| 0.0657 \| 59.0 \| 159477 \| 0.0721 \| 0.0312 \| 0.0085 \|
	\| 0.0645 \| 60.0 \| 162180 \| 0.0701 \| 0.0341 \| 0.0089 \|
	\| 0.0631 \| 61.0 \| 164883 \| 0.0788 \| 0.0358 \| 0.0090 \|
	\| 0.0623 \| 62.0 \| 167586 \| 0.0763 \| 0.0312 \| 0.0091 \|
	\| 0.0614 \| 63.0 \| 170289 \| 0.0777 \| 0.0332 \| 0.0087 \|
	\| 0.0592 \| 64.0 \| 172992 \| 0.0742 \| 0.0319 \| 0.0085 \|
	\| 0.0576 \| 65.0 \| 175695 \| 0.0755 \| 0.0317 \| 0.0085 \|
	\| 0.0566 \| 66.0 \| 178398 \| 0.0785 \| 0.0347 \| 0.0092 \|
	\| 0.0565 \| 67.0 \| 181101 \| 0.0794 \| 0.0315 \| 0.0086 \|
	\| 0.0559 \| 68.0 \| 183804 \| 0.0774 \| 0.0317 \| 0.0084 \|
	\| 0.0534 \| 69.0 \| 186507 \| 0.0814 \| 0.0338 \| 0.0088 \|
	\| 0.0521 \| 70.0 \| 189210 \| 0.0825 \| 0.0330 \| 0.0089 \|
	\| 0.0514 \| 71.0 \| 191913 \| 0.0781 \| 0.0297 \| 0.0081 \|
	\| 0.0489 \| 72.0 \| 194616 \| 0.0802 \| 0.0293 \| 0.0079 \|
	\| 0.0496 \| 73.0 \| 197319 \| 0.0799 \| 0.0330 \| 0.0086 \|
	\| 0.0474 \| 74.0 \| 200022 \| 0.0806 \| 0.0299 \| 0.0080 \|
	\| 0.0479 \| 75.0 \| 202725 \| 0.0789 \| 0.0284 \| 0.0080 \|
	\| 0.0461 \| 76.0 \| 205428 \| 0.0797 \| 0.0308 \| 0.0079 \|
	\| 0.044 \| 77.0 \| 208131 \| 0.0788 \| 0.0284 \| 0.0078 \|
	\| 0.0444 \| 78.0 \| 210834 \| 0.0830 \| 0.0304 \| 0.0083 \|
	\| 0.0429 \| 79.0 \| 213537 \| 0.0826 \| 0.0312 \| 0.0085 \|
	\| 0.0423 \| 80.0 \| 216240 \| 0.0845 \| 0.0317 \| 0.0087 \|
	\| 0.041 \| 81.0 \| 218943 \| 0.0862 \| 0.0323 \| 0.0085 \|
	\| 0.0399 \| 82.0 \| 221646 \| 0.0844 \| 0.0297 \| 0.0083 \|
	\| 0.0402 \| 83.0 \| 224349 \| 0.0884 \| 0.0308 \| 0.0084 \|
	\| 0.0389 \| 84.0 \| 227052 \| 0.0853 \| 0.0276 \| 0.0079 \|
	\| 0.0372 \| 85.0 \| 229755 \| 0.0839 \| 0.0325 \| 0.0082 \|
	\| 0.0367 \| 86.0 \| 232458 \| 0.0851 \| 0.0282 \| 0.0078 \|
	\| 0.0358 \| 87.0 \| 235161 \| 0.0836 \| 0.0297 \| 0.0081 \|
	\| 0.0355 \| 88.0 \| 237864 \| 0.0860 \| 0.0295 \| 0.0083 \|
	\| 0.0347 \| 89.0 \| 240567 \| 0.0848 \| 0.0291 \| 0.0081 \|
	\| 0.0334 \| 90.0 \| 243270 \| 0.0832 \| 0.0280 \| 0.0079 \|
	\| 0.033 \| 91.0 \| 245973 \| 0.0848 \| 0.0282 \| 0.0079 \|
	\| 0.0329 \| 92.0 \| 248676 \| 0.0852 \| 0.0286 \| 0.0082 \|
	\| 0.0317 \| 93.0 \| 251379 \| 0.0851 \| 0.0291 \| 0.0080 \|
	\| 0.0314 \| 94.0 \| 254082 \| 0.0873 \| 0.0291 \| 0.0080 \|
	\| 0.0313 \| 95.0 \| 256785 \| 0.0869 \| 0.0284 \| 0.0079 \|
	\| 0.0305 \| 96.0 \| 259488 \| 0.0853 \| 0.0291 \| 0.0080 \|
	\| 0.03 \| 97.0 \| 262191 \| 0.0862 \| 0.0280 \| 0.0077 \|
	\| 0.0299 \| 98.0 \| 264894 \| 0.0865 \| 0.0282 \| 0.0078 \|
	\| 0.0286 \| 99.0 \| 267597 \| 0.0871 \| 0.0289 \| 0.0079 \|


	### Framework versions

	- Transformers 4.46.1
	- Pytorch 2.1.0+cu118
	- Datasets 3.1.0
	- Tokenizers 0.20.1