README.md

metadata

license: apache-2.0
base_model: google/mt5-small
tags:
  - summarization
  - generated_from_trainer
  - music
  - song-lyrics
metrics:
  - rouge
model-index:
  - name: mt5-small-finetuned-genius
    results: []
pipeline_tag: summarization
datasets:
  - miscjose/genius-music
widget:
  - text: >
      Thought I'd end up with Sean  But he wasn't a match  Wrote some songs
      about Ricky Now I listen and laugh Even almost got married And for Pete,
      I'm so thankful Wish I could say, "Thank you" to Malcolm 'Cause he was an
      angel One taught me love One taught me patience And one taught me pain
      Now, I'm so amazing Say I've loved and I've lost But that's not what I see
      So, look what I got Look what you taught me And for that, I say Thank you,
      next (Next) Thank you, next (Next) Thank you, next I'm so fuckin' grateful
      for my ex Thank you, next (Next) Thank you, next (Next) Thank you, next
      (Next) I'm so fuckin'— Spend more time with my friends I ain't worried
      'bout nothin' Plus, I met someone else We havin' better discussions I know
      they say I move on too fast But this one gon' last 'Cause her name is Ari
      And I'm so good with that (So good with that) She taught me love (Love)
      She taught me patience (Patience) How she handles pain (Pain) That shit's
      amazing (Yeah, she's amazing) I've loved and I've lost (Yeah, yeah) But
      that's not what I see (Yeah, yeah) 'Cause look what I've found (Yeah,
      yeah, I've found) Ain't no need for searching, and for that, I say Thank
      you, next (Thank you, next) Thank you, next (Thank you, next) Thank you,
      next (Thank you) I'm so fuckin' grateful for my ex Thank you, next (Thank
      you, next) Thank you, next (Said thank you, next) Thank you, next (Next)
      I'm so fuckin' grateful for my ex Thank you, next Thank you, next Thank
      you, next I'm so fuckin'— One day I'll walk down the aisle Holding hands
      with my mama I'll be thanking my dad 'Cause she grew from the drama Only
      wanna do it once, real bad Gon' make that shit last God forbid something
      happens Least this song is a smash (Song is a smash) I've got so much love
      (Love) Got so much patience (Patience) And I've learned from the pain
      (Pain) I turned out amazing (Turned out amazing) Say I've loved and I've
      lost (Yeah, yeah) But that's not what I see (Yeah, yeah) 'Cause look what
      I've found (Yeah, yeah) Ain't no need for searching And for that, I say
      Thank you, next (Thank you, next) Thank you, next (Thank you, next) Thank
      you, next I'm so fuckin' grateful for my ex Thank you, next (Thank you,
      next) Thank you, next (Said thank you, next) Thank you, next (Next) I'm so
      fuckin' grateful for my ex Thank you, next Thank you, next Thank you, next
      Yeah, yee Thank you, next Thank you, next Thank you, next Yeah, yee
  - text: >
      Who's this? Da-ddy Yan-kee! Zúmbale mambo pa' que mis gatas prendan los
      motore' Zúmbale mambo pa' que mis gatas prendan los motore' Zúmbale mambo
      pa' que mis gatas prendan los motore' Que se preparen que lo que viene es
      pa' que le den ¡Duro! Mamita, yo sé que tú no te me va' a quitar ¡Duro! Lo
      que me gusta es que tú te dejas llevar ¡Duro! Todos los weekend'es ella
      sale a vacilar ¡Duro! Mi gata no para 'e janguear, porque A ella le gusta
      la gasolina (Dame más gasolina) Cómo le encanta la gasolina (Dame más
      gasolina) A ella le gusta la gasolina (Dame más gasolina) Cómo le encanta
      la gasolina (Dame más gasolina) Ella prende las turbinas, no discrimina No
      se pierde ni un party de marquesina Se acicala hasta pa' la esquina Luce
      tan bien que hasta la sombra le combina Asesina, me domina Janguea en
      carros, motoras y limusinas Llena su tanque de adrenalina Cuando escucha
      reggaetón en las bocinas A ella le gusta la gasolina (Dame más gasolina)
      Cómo le encanta la gasolina (Dame más gasolina) A ella le gusta la
      gasolina (Dame más gasolina) Cómo le encanta la gasolina (Dame más
      gasolina) Aquí somos los mejores, no te me ajore' En la pista nos llaman
      "Los Matadore'" Tú hace' que cualquiera se enamore Cuando bailas al ritmo
      de los tambore' Esto va pa' las gatas de to's colore' Pa' las mayore', pa'
      las menore' Pa' las que son más zorras que los cazadore' Pa' las mujeres
      que no apagan sus motore' Tenemo' tú y yo algo pendiente Tú me debes algo
      y lo sabe' Conmigo ella se pierde No le rinde cuentas a nadie Tenemo' tú y
      yo algo pendiente Tú me debes algo y lo sabe' Conmigo ella se pierde No le
      rinde cuentas a nadie Zúmbale mambo pa' que mis gatas prendan los motore'
      Zúmbale mambo pa' que mis gatas prendan los motore' Zúmbale mambo pa' que
      mis gatas prendan los motore' Que se preparen que lo que viene es pa' que
      le den ¡Duro! Mamita, yo sé que tú no te me va' a quitar ¡Duro! Lo que me
      gusta es que tú te dejas llevar ¡Duro! Todos los weekend'es ella sale a
      vacilar ¡Duro! Mi gata no para 'e janguear, porque A ella le gusta la
      gasolina (Dame más gasolina) Cómo le encanta la gasolina (Dame más
      gasolina) A ella le gusta la gasolina (Dame más gasolina) Cómo le encanta
      la gasolina (Dame más gasolina)
  - text: >
      無敵の笑顔で荒らすメディア 知りたいその秘密ミステリアス 抜けてるとこさえ彼女のエリア 完璧で嘘つきな君は 天才的なアイドル様 今日何食べた？
      好きな本は？ 遊びに行くならどこに行くの？ 何も食べてない それは内緒 何を聞かれても のらりくらり そう淡々と だけど燦々と
      見えそうで見えない秘密は蜜の味 あれもないないない これもないないない 好きなタイプは？ 相手は？ さあ答えて
      「誰かを好きになることなんて私分からなくてさ」 嘘か本当か知り得ない そんな言葉にまた一人堕ちる また好きにさせる 誰もが目を奪われていく
      君は完璧で究極のアイドル 金輪際現れない 一番星の生まれ変わり その笑顔で愛してるで 誰も彼も虜にしていく その瞳がその言葉が
      嘘でもそれは完全なアイ はいはいあの子は特別です 我々はハナからおまけです お星様の引き立て役Bです 全てがあの子のお陰なわけない 洒落臭い
      妬み嫉妬なんてないわけがない これはネタじゃない からこそ許せない 完璧じゃない君じゃ許せない 自分を許せない 誰よりも強い君以外は認めない
      誰もが信じ崇めてる まさに最強で無敵のアイドル 弱点なんて見当たらない 一番星を宿している 弱いとこなんて見せちゃダメダメ
      知りたくないとこは見せずに 唯一無二じゃなくちゃイヤイヤ それこそ本物のアイ 得意の笑顔で沸かすメディア 隠しきるこの秘密だけは
      愛してるって嘘で積むキャリア これこそ私なりの愛だ 流れる汗も綺麗なアクア ルビーを隠したこの瞼 歌い踊り舞う私はマリア そう嘘はとびきりの愛だ
      誰かに愛されたことも 誰かのこと愛したこともない そんな私の嘘がいつか本当になること 信じてる いつかきっと全部手に入れる 私はそう欲張りなアイドル
      等身大でみんなのこと ちゃんと愛したいから 今日も嘘をつくの この言葉がいつか本当になる日を願って それでもまだ 君と君にだけは言えずにいたけど
      やっと言えた これは絶対嘘じゃない 愛してる

mt5-small-finetuned-genius

This model is a fine-tuned version of google/mt5-small on the Genius Music dataset found here. The song lyrics and song titles were preprocessed and used for fine-tuning.

You can view more examples of this model's inference on the following Space.

Model description

Please visit: google/mt5-small

Intended uses & limitations

• Intended Uses: Given song lyrics, generate a summary.
• Limitations: Due to the nature of music, the model can generate summaries containing hate speech.

Training and evaluation data

• 27.6K Training Samples
• 3.45 Validation Samples

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 4e-05
• train_batch_size: 32
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum
7.9304	1.0	863	3.5226	14.235	6.78	14.206	14.168
3.8394	2.0	1726	3.0382	22.97	13.166	22.981	22.944
3.3799	3.0	2589	2.9010	24.932	14.54	24.929	24.919
3.2204	4.0	3452	2.8441	26.678	15.587	26.624	26.665
3.1498	5.0	4315	2.8363	26.827	15.696	26.773	26.793

Framework versions

• Transformers 4.31.0
• Pytorch 2.0.1+cu117
• Datasets 2.14.1
• Tokenizers 0.13.3