Hugging Face's logo

lmqg
/
mt5-base-frquad-qg-ae

Text2Text Generation
Transformers
PyTorch
French
mt5
question generation
answer extraction
Eval Results
Inference Endpoints
Model card Files Community
2
asahi417 commited on
Commit
0512352
•
1 Parent(s): f79ab65

model update

Browse files
Files changed (7) hide show
  1. README.md +91 -51
  2. eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_frquad.default.json +1 -0
  3. eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_frquad.default.json +1 -0
  4. eval/samples.test.hyp.paragraph.questions_answers.lmqg_qg_frquad.default.txt +0 -0
  5. eval/samples.test.hyp.paragraph_sentence.answer.lmqg_qg_frquad.default.txt +0 -0
  6. eval/samples.validation.hyp.paragraph.questions_answers.lmqg_qg_frquad.default.txt +0 -0
  7. eval/samples.validation.hyp.paragraph_sentence.answer.lmqg_qg_frquad.default.txt +0 -0
README.md CHANGED
@@ -21,9 +21,9 @@ widget:
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: contre <hl> Normie Smith <hl> et 15 000 dollars le 28 novembre 1938."
23
  example_title: "Question Generation Example 3"
24
- - text: "Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées »."
25
  example_title: "Answer Extraction Example 1"
26
- - text: "Néanmoins, une fois encore, l'arithmétique modulaire est insuffisante pour venir à bout du théorème. Dirichlet utilise de nombreuses techniques analytiques, comme les séries entières et l'analyse complexe. Le fruit de ces travaux donne naissance à une nouvelle branche des mathématiques : la théorie analytique des nombres. L'un des points cruciaux de cette théorie provient de l'unique article de <hl> Bernhard Riemann <hl> en théorie des nombres : Sur le nombre de nombres premiers inférieurs à une taille donnée. Il conjecture une localisation des racines de sa fonction ζ. La recherche de la position des racines, initiée par Dirichlet, devient une préoccupation centrale et reste l'une des conjectures pressenties comme les plus difficiles des mathématiques de notre époque."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
  - name: lmqg/mt5-base-frquad-multitask
@@ -36,45 +36,50 @@ model-index:
36
  type: default
37
  args: default
38
  metrics:
39
- - name: BLEU4
40
- type: bleu4
41
- value: 0.0747688439703985
42
- - name: ROUGE-L
43
- type: rouge-l
44
- value: 0.2704818403079258
45
- - name: METEOR
46
- type: meteor
47
- value: 0.16702013121594061
48
- - name: BERTScore
49
- type: bertscore
50
- value: 0.7958431921730535
51
- - name: MoverScore
52
- type: moverscore
53
- value: 0.5590516687507191
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
54
  ---
55
 
56
  # Model Card of `lmqg/mt5-base-frquad-multitask`
57
- This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation task on the
58
- [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
59
- This model is fine-tuned on the answer extraction task as well as the question generation.
60
 
61
- Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](https://arxiv.org/abs/2210.03992)).
62
-
63
- ```
64
-
65
- @inproceedings{ushio-etal-2022-generative,
66
- title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
67
- author = "Ushio, Asahi and
68
- Alva-Manchego, Fernando and
69
- Camacho-Collados, Jose",
70
- booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
71
- month = dec,
72
- year = "2022",
73
- address = "Abu Dhabi, U.A.E.",
74
- publisher = "Association for Computational Linguistics",
75
- }
76
-
77
- ```
78
 
79
  ### Overview
80
  - **Language model:** [google/mt5-base](https://huggingface.co/google/mt5-base)
@@ -87,38 +92,74 @@ Please cite our paper if you use the model ([https://arxiv.org/abs/2210.03992](h
87
  ### Usage
88
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
89
  ```python
90
-
91
  from lmqg import TransformersQG
 
92
  # initialize model
93
- model = TransformersQG(language='fr', model='lmqg/mt5-base-frquad-multitask')
 
94
  # model prediction
95
- question_answer = model.generate_qa("Créateur » (Maker), lui aussi au singulier, « le Suprême Berger » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
96
 
97
  ```
98
 
99
  - With `transformers`
100
  ```python
101
-
102
  from transformers import pipeline
103
- # initialize model
104
- pipe = pipeline("text2text-generation", 'lmqg/mt5-base-frquad-multitask')
 
105
  # answer extraction
106
- answer = pipe('extract answers: Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées ».')
 
107
  # question generation
108
- question = pipe('generate question: Créateur » (Maker), lui aussi au singulier, « <hl> le Suprême Berger <hl> » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.')
109
 
110
  ```
111
 
112
- ## Evaluation Metrics
 
 
 
 
 
 
 
 
 
 
 
 
 
 
113
 
114
 
115
- ### Metrics
116
 
117
- | Dataset | Type | BLEU4 | ROUGE-L | METEOR | BERTScore | MoverScore | Link |
118
- |:--------|:-----|------:|--------:|-------:|----------:|-----------:|-----:|
119
- | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) | default | 0.075 | 0.27 | 0.167 | 0.796 | 0.559 | [link](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_frquad.default.json) |
 
 
 
 
 
120
 
121
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
122
 
123
 
124
  ## Training hyperparameters
@@ -144,7 +185,6 @@ The full configuration can be found at [fine-tuning config file](https://hugging
144
 
145
  ## Citation
146
  ```
147
-
148
  @inproceedings{ushio-etal-2022-generative,
149
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
150
  author = "Ushio, Asahi and
 
21
  example_title: "Question Generation Example 2"
22
  - text: "generate question: contre <hl> Normie Smith <hl> et 15 000 dollars le 28 novembre 1938."
23
  example_title: "Question Generation Example 3"
24
+ - text: "extract answers: Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées »."
25
  example_title: "Answer Extraction Example 1"
26
+ - text: "extract answers: Néanmoins, une fois encore, l'arithmétique modulaire est insuffisante pour venir à bout du théorème. Dirichlet utilise de nombreuses techniques analytiques, comme les séries entières et l'analyse complexe. Le fruit de ces travaux donne naissance à une nouvelle branche des mathématiques : la théorie analytique des nombres. L'un des points cruciaux de cette théorie provient de l'unique article de <hl> Bernhard Riemann <hl> en théorie des nombres : Sur le nombre de nombres premiers inférieurs à une taille donnée. Il conjecture une localisation des racines de sa fonction ζ. La recherche de la position des racines, initiée par Dirichlet, devient une préoccupation centrale et reste l'une des conjectures pressenties comme les plus difficiles des mathématiques de notre époque."
27
  example_title: "Answer Extraction Example 2"
28
  model-index:
29
  - name: lmqg/mt5-base-frquad-multitask
 
36
  type: default
37
  args: default
38
  metrics:
39
+ - name: BLEU4 (Question Generation)
40
+ type: bleu4_question_generation
41
+ value: 7.48
42
+ - name: ROUGE-L (Question Generation)
43
+ type: rouge_l_question_generation
44
+ value: 27.05
45
+ - name: METEOR (Question Generation)
46
+ type: meteor_question_generation
47
+ value: 16.7
48
+ - name: BERTScore (Question Generation)
49
+ type: bertscore_question_generation
50
+ value: 79.58
51
+ - name: MoverScore (Question Generation)
52
+ type: moverscore_question_generation
53
+ value: 55.91
54
+ - name: QAAlignedF1Score-BERTScore
55
+ type: qa_aligned_f1_score_bertscore
56
+ value: 79.16
57
+ - name: QAAlignedRecall-BERTScore
58
+ type: qa_aligned_recall_bertscore
59
+ value: 81.87
60
+ - name: QAAlignedPrecision-BERTScore
61
+ type: qa_aligned_precision_bertscore
62
+ value: 76.69
63
+ - name: QAAlignedF1Score-MoverScore
64
+ type: qa_aligned_f1_score_moverscore
65
+ value: 53.9
66
+ - name: QAAlignedRecall-MoverScore
67
+ type: qa_aligned_recall_moverscore
68
+ value: 55.36
69
+ - name: QAAlignedPrecision-MoverScore
70
+ type: qa_aligned_precision_moverscore
71
+ value: 52.57
72
+ - name: AnswerF1Score (Answer Extraction)
73
+ type: answer_f1_score_answer_extraction
74
+ value: 63.54
75
+ - name: AnswerExactMatch (Answer Extraction)
76
+ type: answer_exact_match_answer_extraction
77
+ value: 43.01
78
  ---
79
 
80
  # Model Card of `lmqg/mt5-base-frquad-multitask`
81
+ This model is fine-tuned version of [google/mt5-base](https://huggingface.co/google/mt5-base) for question generation task and answer extraction jointly on the [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) (dataset_name: default) via [`lmqg`](https://github.com/asahi417/lm-question-generation).
 
 
82
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
83
 
84
  ### Overview
85
  - **Language model:** [google/mt5-base](https://huggingface.co/google/mt5-base)
 
92
  ### Usage
93
  - With [`lmqg`](https://github.com/asahi417/lm-question-generation#lmqg-language-model-for-question-generation-)
94
  ```python
 
95
  from lmqg import TransformersQG
96
+
97
  # initialize model
98
+ model = TransformersQG(language="fr", model="lmqg/mt5-base-frquad-multitask")
99
+
100
  # model prediction
101
+ question_answer_pairs = model.generate_qa("Créateur » (Maker), lui aussi au singulier, « le Suprême Berger » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
102
 
103
  ```
104
 
105
  - With `transformers`
106
  ```python
 
107
  from transformers import pipeline
108
+
109
+ pipe = pipeline("text2text-generation", "lmqg/mt5-base-frquad-multitask")
110
+
111
  # answer extraction
112
+ answer = pipe("generate question: Créateur » (Maker), lui aussi au singulier, « <hl> le Suprême Berger <hl> » (The Great Shepherd) ; de l'autre, des réminiscences de la théologie de l'Antiquité : le tonnerre, voix de Jupiter, « Et souvent ta voix gronde en un tonnerre terrifiant », etc.")
113
+
114
  # question generation
115
+ question = pipe("extract answers: Pourtant, la strophe spensérienne, utilisée cinq fois avant que ne commence le chœur, constitue en soi un vecteur dont les répétitions structurelles, selon Ricks, relèvent du pur lyrisme tout en constituant une menace potentielle. Après les huit sages pentamètres iambiques, l'alexandrin final <hl> permet une pause <hl>, « véritable illusion d'optique » qu'accentuent les nombreuses expressions archaïsantes telles que did swoon, did seem, did go, did receive, did make, qui doublent le prétérit en un temps composé et paraissent à la fois « très précautionneuses et très peu pressées ».")
116
 
117
  ```
118
 
119
+ ## Evaluation
120
+
121
+
122
+ - ***Metric (Question Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/eval/metric.first.sentence.paragraph_answer.question.lmqg_qg_frquad.default.json)
123
+
124
+ | | Score | Type | Dataset |
125
+ |:-----------|--------:|:--------|:-----------------------------------------------------------------|
126
+ | BERTScore | 79.58 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
127
+ | Bleu_1 | 27.1 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
128
+ | Bleu_2 | 15.73 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
129
+ | Bleu_3 | 10.54 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
130
+ | Bleu_4 | 7.48 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
131
+ | METEOR | 16.7 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
132
+ | MoverScore | 55.91 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
133
+ | ROUGE_L | 27.05 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
134
 
135
 
136
+ - ***Metric (Question & Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_frquad.default.json)
137
 
138
+ | | Score | Type | Dataset |
139
+ |:--------------------------------|--------:|:--------|:-----------------------------------------------------------------|
140
+ | QAAlignedF1Score (BERTScore) | 79.16 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
141
+ | QAAlignedF1Score (MoverScore) | 53.9 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
142
+ | QAAlignedPrecision (BERTScore) | 76.69 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
143
+ | QAAlignedPrecision (MoverScore) | 52.57 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
144
+ | QAAlignedRecall (BERTScore) | 81.87 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
145
+ | QAAlignedRecall (MoverScore) | 55.36 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
146
 
147
 
148
+ - ***Metric (Answer Generation)***: [raw metric file](https://huggingface.co/lmqg/mt5-base-frquad-multitask/raw/main/eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_frquad.default.json)
149
+
150
+ | | Score | Type | Dataset |
151
+ |:-----------------|--------:|:--------|:-----------------------------------------------------------------|
152
+ | AnswerExactMatch | 43.01 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
153
+ | AnswerF1Score | 63.54 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
154
+ | BERTScore | 86.03 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
155
+ | Bleu_1 | 35.54 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
156
+ | Bleu_2 | 30.87 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
157
+ | Bleu_3 | 27.14 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
158
+ | Bleu_4 | 23.84 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
159
+ | METEOR | 35.22 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
160
+ | MoverScore | 73.94 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
161
+ | ROUGE_L | 40.94 | default | [lmqg/qg_frquad](https://huggingface.co/datasets/lmqg/qg_frquad) |
162
+
163
 
164
 
165
  ## Training hyperparameters
 
185
 
186
  ## Citation
187
  ```
 
188
  @inproceedings{ushio-etal-2022-generative,
189
  title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
190
  author = "Ushio, Asahi and
eval/metric.first.answer.paragraph.questions_answers.lmqg_qg_frquad.default.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"test": {"QAAlignedF1Score (BERTScore)": 0.79160612152844, "QAAlignedRecall (BERTScore)": 0.8186991022464795, "QAAlignedPrecision (BERTScore)": 0.7668940526599851, "QAAlignedF1Score (MoverScore)": 0.539014938601323, "QAAlignedRecall (MoverScore)": 0.5536363399382488, "QAAlignedPrecision (MoverScore)": 0.5257267862655489}, "validation": {"QAAlignedF1Score (BERTScore)": 0.7986373546767808, "QAAlignedRecall (BERTScore)": 0.8048523120691744, "QAAlignedPrecision (BERTScore)": 0.7930620749238121, "QAAlignedF1Score (MoverScore)": 0.546641645139384, "QAAlignedRecall (MoverScore)": 0.5476950591577164, "QAAlignedPrecision (MoverScore)": 0.5458437251245377}}
eval/metric.first.answer.paragraph_sentence.answer.lmqg_qg_frquad.default.json ADDED
@@ -0,0 +1 @@
 
 
1
+ {"validation": {"Bleu_1": 0.3389848084201618, "Bleu_2": 0.29631845129844847, "Bleu_3": 0.2612879154668503, "Bleu_4": 0.23072673123664336, "METEOR": 0.3050238804106899, "ROUGE_L": 0.38419611107387297, "BERTScore": 0.8325928277154938, "MoverScore": 0.6789646388324356, "AnswerF1Score": 55.73511388037695, "AnswerExactMatch": 28.795483061480553}, "test": {"Bleu_1": 0.35541806823640343, "Bleu_2": 0.30866009500645586, "Bleu_3": 0.27137987752621917, "Bleu_4": 0.23839735025584277, "METEOR": 0.35219704384061407, "ROUGE_L": 0.4094338894698102, "BERTScore": 0.8603306610506481, "MoverScore": 0.7394057763528321, "AnswerF1Score": 63.541076010064664, "AnswerExactMatch": 43.00501882057716}}
eval/samples.test.hyp.paragraph.questions_answers.lmqg_qg_frquad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.test.hyp.paragraph_sentence.answer.lmqg_qg_frquad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.validation.hyp.paragraph.questions_answers.lmqg_qg_frquad.default.txt ADDED
The diff for this file is too large to render. See raw diff
 
eval/samples.validation.hyp.paragraph_sentence.answer.lmqg_qg_frquad.default.txt ADDED
The diff for this file is too large to render. See raw diff