Edit model card

t5-small_stereoset_finetuned

This model is a fine-tuned version of t5-small on the stereoset dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3572
  • Accuracy: 0.5181
  • Tp: 0.5008
  • Tn: 0.0173
  • Fp: 0.4819
  • Fn: 0.0

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 5e-05
  • train_batch_size: 64
  • eval_batch_size: 64
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 50

Training results

Training Loss Epoch Step Validation Loss Accuracy Tp Tn Fp Fn
6.2515 0.43 20 5.1550 0.6507 0.4992 0.1515 0.3477 0.0016
3.3425 0.85 40 1.9895 0.8414 0.4451 0.3964 0.1028 0.0557
1.0076 1.28 60 0.5623 0.5110 0.5 0.0110 0.4882 0.0008
0.522 1.7 80 0.3896 0.5008 0.5008 0.0 0.4992 0.0
0.4541 2.13 100 0.3777 0.5008 0.5008 0.0 0.4992 0.0
0.4494 2.55 120 0.3694 0.5008 0.5008 0.0 0.4992 0.0
0.3915 2.98 140 0.3468 0.5008 0.5008 0.0 0.4992 0.0
0.3956 3.4 160 0.3510 0.5008 0.5008 0.0 0.4992 0.0
0.395 3.83 180 0.3403 0.5008 0.5008 0.0 0.4992 0.0
0.4005 4.26 200 0.3357 0.5008 0.5008 0.0 0.4992 0.0
0.3764 4.68 220 0.3367 0.5008 0.5008 0.0 0.4992 0.0
0.3798 5.11 240 0.3321 0.5008 0.5008 0.0 0.4992 0.0
0.3546 5.53 260 0.3452 0.5008 0.5008 0.0 0.4992 0.0
0.3716 5.96 280 0.3257 0.5008 0.5008 0.0 0.4992 0.0
0.3598 6.38 300 0.3255 0.5008 0.5008 0.0 0.4992 0.0
0.366 6.81 320 0.3400 0.5008 0.5008 0.0 0.4992 0.0
0.3537 7.23 340 0.3239 0.5008 0.5008 0.0 0.4992 0.0
0.3395 7.66 360 0.3238 0.5008 0.5008 0.0 0.4992 0.0
0.338 8.09 380 0.3323 0.5008 0.5008 0.0 0.4992 0.0
0.3402 8.51 400 0.3193 0.5008 0.5008 0.0 0.4992 0.0
0.3421 8.94 420 0.3188 0.5008 0.5008 0.0 0.4992 0.0
0.318 9.36 440 0.3173 0.5008 0.5008 0.0 0.4992 0.0
0.3532 9.79 460 0.3164 0.5008 0.5008 0.0 0.4992 0.0
0.3333 10.21 480 0.3175 0.5008 0.5008 0.0 0.4992 0.0
0.3187 10.64 500 0.3157 0.5008 0.5008 0.0 0.4992 0.0
0.3004 11.06 520 0.3108 0.5008 0.5008 0.0 0.4992 0.0
0.3257 11.49 540 0.3094 0.5008 0.5008 0.0 0.4992 0.0
0.3342 11.91 560 0.3125 0.5008 0.5008 0.0 0.4992 0.0
0.3084 12.34 580 0.3141 0.5008 0.5008 0.0 0.4992 0.0
0.3134 12.77 600 0.3076 0.5008 0.5008 0.0 0.4992 0.0
0.3081 13.19 620 0.3059 0.5008 0.5008 0.0 0.4992 0.0
0.3017 13.62 640 0.3098 0.5008 0.5008 0.0 0.4992 0.0
0.2924 14.04 660 0.3046 0.5008 0.5008 0.0 0.4992 0.0
0.3109 14.47 680 0.3054 0.5008 0.5008 0.0 0.4992 0.0
0.287 14.89 700 0.3061 0.5008 0.5008 0.0 0.4992 0.0
0.2783 15.32 720 0.3051 0.5008 0.5008 0.0 0.4992 0.0
0.2938 15.74 740 0.3037 0.5031 0.5008 0.0024 0.4969 0.0
0.2788 16.17 760 0.3057 0.5024 0.5008 0.0016 0.4976 0.0
0.2872 16.6 780 0.3100 0.5016 0.5008 0.0008 0.4984 0.0
0.2794 17.02 800 0.3055 0.5031 0.5008 0.0024 0.4969 0.0
0.2847 17.45 820 0.3047 0.5055 0.5008 0.0047 0.4945 0.0
0.2644 17.87 840 0.3067 0.5024 0.5008 0.0016 0.4976 0.0
0.2558 18.3 860 0.3062 0.5063 0.5008 0.0055 0.4937 0.0
0.2867 18.72 880 0.3160 0.5024 0.5008 0.0016 0.4976 0.0
0.2864 19.15 900 0.3067 0.5071 0.5008 0.0063 0.4929 0.0
0.2645 19.57 920 0.3211 0.5024 0.5008 0.0016 0.4976 0.0
0.2606 20.0 940 0.3067 0.5094 0.5008 0.0086 0.4906 0.0
0.2694 20.43 960 0.3125 0.5055 0.5008 0.0047 0.4945 0.0
0.2634 20.85 980 0.3072 0.5086 0.5008 0.0078 0.4914 0.0
0.2519 21.28 1000 0.3088 0.5086 0.5008 0.0078 0.4914 0.0
0.2537 21.7 1020 0.3136 0.5071 0.5008 0.0063 0.4929 0.0
0.2536 22.13 1040 0.3089 0.5133 0.5008 0.0126 0.4867 0.0
0.2488 22.55 1060 0.3108 0.5110 0.5008 0.0102 0.4890 0.0
0.2558 22.98 1080 0.3157 0.5071 0.5008 0.0063 0.4929 0.0
0.2626 23.4 1100 0.3104 0.5133 0.5008 0.0126 0.4867 0.0
0.2424 23.83 1120 0.3130 0.5133 0.5008 0.0126 0.4867 0.0
0.2496 24.26 1140 0.3139 0.5133 0.5008 0.0126 0.4867 0.0
0.2451 24.68 1160 0.3160 0.5133 0.5008 0.0126 0.4867 0.0
0.2399 25.11 1180 0.3148 0.5141 0.5008 0.0133 0.4859 0.0
0.236 25.53 1200 0.3163 0.5141 0.5008 0.0133 0.4859 0.0
0.2561 25.96 1220 0.3208 0.5118 0.5008 0.0110 0.4882 0.0
0.2425 26.38 1240 0.3161 0.5149 0.5008 0.0141 0.4851 0.0
0.2376 26.81 1260 0.3173 0.5133 0.5008 0.0126 0.4867 0.0
0.246 27.23 1280 0.3174 0.5149 0.5008 0.0141 0.4851 0.0
0.2256 27.66 1300 0.3186 0.5149 0.5008 0.0141 0.4851 0.0
0.2316 28.09 1320 0.3177 0.5149 0.5008 0.0141 0.4851 0.0
0.2406 28.51 1340 0.3197 0.5157 0.5008 0.0149 0.4843 0.0
0.218 28.94 1360 0.3227 0.5133 0.5008 0.0126 0.4867 0.0
0.2103 29.36 1380 0.3228 0.5141 0.5008 0.0133 0.4859 0.0
0.2161 29.79 1400 0.3244 0.5133 0.5008 0.0126 0.4867 0.0
0.2172 30.21 1420 0.3246 0.5141 0.5008 0.0133 0.4859 0.0
0.2119 30.64 1440 0.3256 0.5141 0.5008 0.0133 0.4859 0.0
0.2202 31.06 1460 0.3261 0.5181 0.5008 0.0173 0.4819 0.0
0.2244 31.49 1480 0.3297 0.5141 0.5008 0.0133 0.4859 0.0
0.2123 31.91 1500 0.3285 0.5165 0.5008 0.0157 0.4835 0.0
0.1914 32.34 1520 0.3308 0.5149 0.5008 0.0141 0.4851 0.0
0.2338 32.77 1540 0.3311 0.5173 0.5008 0.0165 0.4827 0.0
0.2206 33.19 1560 0.3317 0.5173 0.5008 0.0165 0.4827 0.0
0.2278 33.62 1580 0.3340 0.5149 0.5008 0.0141 0.4851 0.0
0.1982 34.04 1600 0.3343 0.5181 0.5008 0.0173 0.4819 0.0
0.2154 34.47 1620 0.3354 0.5141 0.5008 0.0133 0.4859 0.0
0.1901 34.89 1640 0.3372 0.5149 0.5008 0.0141 0.4851 0.0
0.2087 35.32 1660 0.3396 0.5149 0.5008 0.0141 0.4851 0.0
0.1931 35.74 1680 0.3401 0.5173 0.5008 0.0165 0.4827 0.0
0.1995 36.17 1700 0.3411 0.5235 0.5008 0.0228 0.4765 0.0
0.2226 36.6 1720 0.3413 0.5181 0.5008 0.0173 0.4819 0.0
0.216 37.02 1740 0.3443 0.5141 0.5008 0.0133 0.4859 0.0
0.1911 37.45 1760 0.3434 0.5141 0.5008 0.0133 0.4859 0.0
0.2138 37.87 1780 0.3435 0.5173 0.5008 0.0165 0.4827 0.0
0.1918 38.3 1800 0.3449 0.5149 0.5008 0.0141 0.4851 0.0
0.2021 38.72 1820 0.3462 0.5149 0.5008 0.0141 0.4851 0.0
0.2046 39.15 1840 0.3454 0.5149 0.5008 0.0141 0.4851 0.0
0.2084 39.57 1860 0.3460 0.5149 0.5008 0.0141 0.4851 0.0
0.1834 40.0 1880 0.3462 0.5149 0.5008 0.0141 0.4851 0.0
0.19 40.43 1900 0.3479 0.5149 0.5008 0.0141 0.4851 0.0
0.1877 40.85 1920 0.3479 0.5149 0.5008 0.0141 0.4851 0.0
0.2152 41.28 1940 0.3480 0.5212 0.5008 0.0204 0.4788 0.0
0.1795 41.7 1960 0.3487 0.5157 0.5008 0.0149 0.4843 0.0
0.1804 42.13 1980 0.3502 0.5149 0.5008 0.0141 0.4851 0.0
0.1748 42.55 2000 0.3520 0.5149 0.5008 0.0141 0.4851 0.0
0.177 42.98 2020 0.3518 0.5181 0.5008 0.0173 0.4819 0.0
0.179 43.4 2040 0.3529 0.5204 0.5008 0.0196 0.4796 0.0
0.1895 43.83 2060 0.3538 0.5204 0.5008 0.0196 0.4796 0.0
0.1867 44.26 2080 0.3539 0.5196 0.5008 0.0188 0.4804 0.0
0.2155 44.68 2100 0.3546 0.5165 0.5008 0.0157 0.4835 0.0
0.1783 45.11 2120 0.3550 0.5181 0.5008 0.0173 0.4819 0.0
0.1969 45.53 2140 0.3560 0.5157 0.5008 0.0149 0.4843 0.0
0.1826 45.96 2160 0.3564 0.5149 0.5008 0.0141 0.4851 0.0
0.1957 46.38 2180 0.3571 0.5149 0.5008 0.0141 0.4851 0.0
0.1864 46.81 2200 0.3568 0.5157 0.5008 0.0149 0.4843 0.0
0.1889 47.23 2220 0.3564 0.5196 0.5008 0.0188 0.4804 0.0
0.1837 47.66 2240 0.3569 0.5165 0.5008 0.0157 0.4835 0.0
0.1713 48.09 2260 0.3568 0.5196 0.5008 0.0188 0.4804 0.0
0.1997 48.51 2280 0.3570 0.5188 0.5008 0.0181 0.4812 0.0
0.1844 48.94 2300 0.3570 0.5188 0.5008 0.0181 0.4812 0.0
0.1854 49.36 2320 0.3571 0.5181 0.5008 0.0173 0.4819 0.0
0.1897 49.79 2340 0.3572 0.5181 0.5008 0.0173 0.4819 0.0

Framework versions

  • Transformers 4.26.1
  • Pytorch 1.13.1
  • Datasets 2.10.1
  • Tokenizers 0.13.2
Downloads last month
11
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Dataset used to train henryscheible/t5-small_stereoset_finetuned

Evaluation results