Hugging Face's logo

henryscheible
/
t5-small_stereoset_finetuned

Text2Text Generation
Transformers
PyTorch
t5
Generated from Trainer
Eval Results
text-generation-inference
Inference Endpoints
Model card Files Community
t5-small_stereoset_finetuned / README.md
henryscheible's picture
henryscheible
update model card README.md
f98ca34
preview code
|
raw
history blame
13.2 kB
metadata
license: apache-2.0
tags:
  - generated_from_trainer
datasets:
  - stereoset
metrics:
  - accuracy
model-index:
  - name: t5-small_stereoset_finetuned
    results:
      - task:
          name: Sequence-to-sequence Language Modeling
          type: text2text-generation
        dataset:
          name: stereoset
          type: stereoset
          config: intersentence
          split: validation
          args: intersentence
        metrics:
          - name: Accuracy
            type: accuracy
            value: 0.5180533751962323

t5-small_stereoset_finetuned

This model is a fine-tuned version of t5-small on the stereoset dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3572
  • Accuracy: 0.5181
  • Tp: 0.5008
  • Tn: 0.0173
  • Fp: 0.4819
  • Fn: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 50

Training results

Training Loss Epoch Step Validation Loss Accuracy Tp Tn Fp Fn
6.2515 0.43 20 5.1550 0.6507 0.4992 0.1515 0.3477 0.0016
3.3425 0.85 40 1.9895 0.8414 0.4451 0.3964 0.1028 0.0557
1.0076 1.28 60 0.5623 0.5110 0.5 0.0110 0.4882 0.0008
0.522 1.7 80 0.3896 0.5008 0.5008 0.0 0.4992 0.0
0.4541 2.13 100 0.3777 0.5008 0.5008 0.0 0.4992 0.0
0.4494 2.55 120 0.3694 0.5008 0.5008 0.0 0.4992 0.0
0.3915 2.98 140 0.3468 0.5008 0.5008 0.0 0.4992 0.0
0.3956 3.4 160 0.3510 0.5008 0.5008 0.0 0.4992 0.0
0.395 3.83 180 0.3403 0.5008 0.5008 0.0 0.4992 0.0
0.4005 4.26 200 0.3357 0.5008 0.5008 0.0 0.4992 0.0
0.3764 4.68 220 0.3367 0.5008 0.5008 0.0 0.4992 0.0
0.3798 5.11 240 0.3321 0.5008 0.5008 0.0 0.4992 0.0
0.3546 5.53 260 0.3452 0.5008 0.5008 0.0 0.4992 0.0
0.3716 5.96 280 0.3257 0.5008 0.5008 0.0 0.4992 0.0
0.3598 6.38 300 0.3255 0.5008 0.5008 0.0 0.4992 0.0
0.366 6.81 320 0.3400 0.5008 0.5008 0.0 0.4992 0.0
0.3537 7.23 340 0.3239 0.5008 0.5008 0.0 0.4992 0.0
0.3395 7.66 360 0.3238 0.5008 0.5008 0.0 0.4992 0.0
0.338 8.09 380 0.3323 0.5008 0.5008 0.0 0.4992 0.0
0.3402 8.51 400 0.3193 0.5008 0.5008 0.0 0.4992 0.0
0.3421 8.94 420 0.3188 0.5008 0.5008 0.0 0.4992 0.0
0.318 9.36 440 0.3173 0.5008 0.5008 0.0 0.4992 0.0
0.3532 9.79 460 0.3164 0.5008 0.5008 0.0 0.4992 0.0
0.3333 10.21 480 0.3175 0.5008 0.5008 0.0 0.4992 0.0
0.3187 10.64 500 0.3157 0.5008 0.5008 0.0 0.4992 0.0
0.3004 11.06 520 0.3108 0.5008 0.5008 0.0 0.4992 0.0
0.3257 11.49 540 0.3094 0.5008 0.5008 0.0 0.4992 0.0
0.3342 11.91 560 0.3125 0.5008 0.5008 0.0 0.4992 0.0
0.3084 12.34 580 0.3141 0.5008 0.5008 0.0 0.4992 0.0
0.3134 12.77 600 0.3076 0.5008 0.5008 0.0 0.4992 0.0
0.3081 13.19 620 0.3059 0.5008 0.5008 0.0 0.4992 0.0
0.3017 13.62 640 0.3098 0.5008 0.5008 0.0 0.4992 0.0
0.2924 14.04 660 0.3046 0.5008 0.5008 0.0 0.4992 0.0
0.3109 14.47 680 0.3054 0.5008 0.5008 0.0 0.4992 0.0
0.287 14.89 700 0.3061 0.5008 0.5008 0.0 0.4992 0.0
0.2783 15.32 720 0.3051 0.5008 0.5008 0.0 0.4992 0.0
0.2938 15.74 740 0.3037 0.5031 0.5008 0.0024 0.4969 0.0
0.2788 16.17 760 0.3057 0.5024 0.5008 0.0016 0.4976 0.0
0.2872 16.6 780 0.3100 0.5016 0.5008 0.0008 0.4984 0.0
0.2794 17.02 800 0.3055 0.5031 0.5008 0.0024 0.4969 0.0
0.2847 17.45 820 0.3047 0.5055 0.5008 0.0047 0.4945 0.0
0.2644 17.87 840 0.3067 0.5024 0.5008 0.0016 0.4976 0.0
0.2558 18.3 860 0.3062 0.5063 0.5008 0.0055 0.4937 0.0
0.2867 18.72 880 0.3160 0.5024 0.5008 0.0016 0.4976 0.0
0.2864 19.15 900 0.3067 0.5071 0.5008 0.0063 0.4929 0.0
0.2645 19.57 920 0.3211 0.5024 0.5008 0.0016 0.4976 0.0
0.2606 20.0 940 0.3067 0.5094 0.5008 0.0086 0.4906 0.0
0.2694 20.43 960 0.3125 0.5055 0.5008 0.0047 0.4945 0.0
0.2634 20.85 980 0.3072 0.5086 0.5008 0.0078 0.4914 0.0
0.2519 21.28 1000 0.3088 0.5086 0.5008 0.0078 0.4914 0.0
0.2537 21.7 1020 0.3136 0.5071 0.5008 0.0063 0.4929 0.0
0.2536 22.13 1040 0.3089 0.5133 0.5008 0.0126 0.4867 0.0
0.2488 22.55 1060 0.3108 0.5110 0.5008 0.0102 0.4890 0.0
0.2558 22.98 1080 0.3157 0.5071 0.5008 0.0063 0.4929 0.0
0.2626 23.4 1100 0.3104 0.5133 0.5008 0.0126 0.4867 0.0
0.2424 23.83 1120 0.3130 0.5133 0.5008 0.0126 0.4867 0.0
0.2496 24.26 1140 0.3139 0.5133 0.5008 0.0126 0.4867 0.0
0.2451 24.68 1160 0.3160 0.5133 0.5008 0.0126 0.4867 0.0
0.2399 25.11 1180 0.3148 0.5141 0.5008 0.0133 0.4859 0.0
0.236 25.53 1200 0.3163 0.5141 0.5008 0.0133 0.4859 0.0
0.2561 25.96 1220 0.3208 0.5118 0.5008 0.0110 0.4882 0.0
0.2425 26.38 1240 0.3161 0.5149 0.5008 0.0141 0.4851 0.0
0.2376 26.81 1260 0.3173 0.5133 0.5008 0.0126 0.4867 0.0
0.246 27.23 1280 0.3174 0.5149 0.5008 0.0141 0.4851 0.0
0.2256 27.66 1300 0.3186 0.5149 0.5008 0.0141 0.4851 0.0
0.2316 28.09 1320 0.3177 0.5149 0.5008 0.0141 0.4851 0.0
0.2406 28.51 1340 0.3197 0.5157 0.5008 0.0149 0.4843 0.0
0.218 28.94 1360 0.3227 0.5133 0.5008 0.0126 0.4867 0.0
0.2103 29.36 1380 0.3228 0.5141 0.5008 0.0133 0.4859 0.0
0.2161 29.79 1400 0.3244 0.5133 0.5008 0.0126 0.4867 0.0
0.2172 30.21 1420 0.3246 0.5141 0.5008 0.0133 0.4859 0.0
0.2119 30.64 1440 0.3256 0.5141 0.5008 0.0133 0.4859 0.0
0.2202 31.06 1460 0.3261 0.5181 0.5008 0.0173 0.4819 0.0
0.2244 31.49 1480 0.3297 0.5141 0.5008 0.0133 0.4859 0.0
0.2123 31.91 1500 0.3285 0.5165 0.5008 0.0157 0.4835 0.0
0.1914 32.34 1520 0.3308 0.5149 0.5008 0.0141 0.4851 0.0
0.2338 32.77 1540 0.3311 0.5173 0.5008 0.0165 0.4827 0.0
0.2206 33.19 1560 0.3317 0.5173 0.5008 0.0165 0.4827 0.0
0.2278 33.62 1580 0.3340 0.5149 0.5008 0.0141 0.4851 0.0
0.1982 34.04 1600 0.3343 0.5181 0.5008 0.0173 0.4819 0.0
0.2154 34.47 1620 0.3354 0.5141 0.5008 0.0133 0.4859 0.0
0.1901 34.89 1640 0.3372 0.5149 0.5008 0.0141 0.4851 0.0
0.2087 35.32 1660 0.3396 0.5149 0.5008 0.0141 0.4851 0.0
0.1931 35.74 1680 0.3401 0.5173 0.5008 0.0165 0.4827 0.0
0.1995 36.17 1700 0.3411 0.5235 0.5008 0.0228 0.4765 0.0
0.2226 36.6 1720 0.3413 0.5181 0.5008 0.0173 0.4819 0.0
0.216 37.02 1740 0.3443 0.5141 0.5008 0.0133 0.4859 0.0
0.1911 37.45 1760 0.3434 0.5141 0.5008 0.0133 0.4859 0.0
0.2138 37.87 1780 0.3435 0.5173 0.5008 0.0165 0.4827 0.0
0.1918 38.3 1800 0.3449 0.5149 0.5008 0.0141 0.4851 0.0
0.2021 38.72 1820 0.3462 0.5149 0.5008 0.0141 0.4851 0.0
0.2046 39.15 1840 0.3454 0.5149 0.5008 0.0141 0.4851 0.0
0.2084 39.57 1860 0.3460 0.5149 0.5008 0.0141 0.4851 0.0
0.1834 40.0 1880 0.3462 0.5149 0.5008 0.0141 0.4851 0.0
0.19 40.43 1900 0.3479 0.5149 0.5008 0.0141 0.4851 0.0
0.1877 40.85 1920 0.3479 0.5149 0.5008 0.0141 0.4851 0.0
0.2152 41.28 1940 0.3480 0.5212 0.5008 0.0204 0.4788 0.0
0.1795 41.7 1960 0.3487 0.5157 0.5008 0.0149 0.4843 0.0
0.1804 42.13 1980 0.3502 0.5149 0.5008 0.0141 0.4851 0.0
0.1748 42.55 2000 0.3520 0.5149 0.5008 0.0141 0.4851 0.0
0.177 42.98 2020 0.3518 0.5181 0.5008 0.0173 0.4819 0.0
0.179 43.4 2040 0.3529 0.5204 0.5008 0.0196 0.4796 0.0
0.1895 43.83 2060 0.3538 0.5204 0.5008 0.0196 0.4796 0.0
0.1867 44.26 2080 0.3539 0.5196 0.5008 0.0188 0.4804 0.0
0.2155 44.68 2100 0.3546 0.5165 0.5008 0.0157 0.4835 0.0
0.1783 45.11 2120 0.3550 0.5181 0.5008 0.0173 0.4819 0.0
0.1969 45.53 2140 0.3560 0.5157 0.5008 0.0149 0.4843 0.0
0.1826 45.96 2160 0.3564 0.5149 0.5008 0.0141 0.4851 0.0
0.1957 46.38 2180 0.3571 0.5149 0.5008 0.0141 0.4851 0.0
0.1864 46.81 2200 0.3568 0.5157 0.5008 0.0149 0.4843 0.0
0.1889 47.23 2220 0.3564 0.5196 0.5008 0.0188 0.4804 0.0
0.1837 47.66 2240 0.3569 0.5165 0.5008 0.0157 0.4835 0.0
0.1713 48.09 2260 0.3568 0.5196 0.5008 0.0188 0.4804 0.0
0.1997 48.51 2280 0.3570 0.5188 0.5008 0.0181 0.4812 0.0
0.1844 48.94 2300 0.3570 0.5188 0.5008 0.0181 0.4812 0.0
0.1854 49.36 2320 0.3571 0.5181 0.5008 0.0173 0.4819 0.0
0.1897 49.79 2340 0.3572 0.5181 0.5008 0.0173 0.4819 0.0

Framework versions

  • Transformers 4.26.1
  • Pytorch 1.13.1
  • Datasets 2.10.1
  • Tokenizers 0.13.2