README.md

---
license: apache-2.0
base_model: google/mt5-small
tags:
- summarization
- generated_from_trainer
- music
- song-lyrics
metrics:
- rouge
model-index:
- name: mt5-small-finetuned-genius
  results: []
pipeline_tag: summarization
datasets:
- miscjose/genius-music

widget:
- text: >
    Thought I'd end up with Sean 
    But he wasn't a match 
    Wrote some songs about Ricky
    Now I listen and laugh
    Even almost got married
    And for Pete, I'm so thankful
    Wish I could say, "Thank you" to Malcolm
    'Cause he was an angel
    One taught me love
    One taught me patience
    And one taught me pain
    Now, I'm so amazing
    Say I've loved and I've lost
    But that's not what I see
    So, look what I got
    Look what you taught me
    And for that, I say
    Thank you, next (Next)
    Thank you, next (Next)
    Thank you, next
    I'm so fuckin' grateful for my ex
    Thank you, next (Next)
    Thank you, next (Next)
    Thank you, next (Next)
    I'm so fuckin'—
    Spend more time with my friends
    I ain't worried 'bout nothin'
    Plus, I met someone else
    We havin' better discussions
    I know they say I move on too fast
    But this one gon' last
    'Cause her name is Ari
    And I'm so good with that (So good with that)
    She taught me love (Love)
    She taught me patience (Patience)
    How she handles pain (Pain)
    That shit's amazing (Yeah, she's amazing)
    I've loved and I've lost (Yeah, yeah)
    But that's not what I see (Yeah, yeah)
    'Cause look what I've found (Yeah, yeah, I've found)
    Ain't no need for searching, and for that, I say
    Thank you, next (Thank you, next)
    Thank you, next (Thank you, next)
    Thank you, next (Thank you)
    I'm so fuckin' grateful for my ex
    Thank you, next (Thank you, next)
    Thank you, next (Said thank you, next)
    Thank you, next (Next)
    I'm so fuckin' grateful for my ex
    Thank you, next
    Thank you, next
    Thank you, next
    I'm so fuckin'—
    One day I'll walk down the aisle
    Holding hands with my mama
    I'll be thanking my dad
    'Cause she grew from the drama
    Only wanna do it once, real bad
    Gon' make that shit last
    God forbid something happens
    Least this song is a smash (Song is a smash)
    I've got so much love (Love)
    Got so much patience (Patience)
    And I've learned from the pain (Pain)
    I turned out amazing (Turned out amazing)
    Say I've loved and I've lost (Yeah, yeah)
    But that's not what I see (Yeah, yeah)
    'Cause look what I've found (Yeah, yeah)
    Ain't no need for searching
    And for that, I say
    Thank you, next (Thank you, next)
    Thank you, next (Thank you, next)
    Thank you, next
    I'm so fuckin' grateful for my ex
    Thank you, next (Thank you, next)
    Thank you, next (Said thank you, next)
    Thank you, next (Next)
    I'm so fuckin' grateful for my ex
    Thank you, next
    Thank you, next
    Thank you, next
    Yeah, yee
    Thank you, next
    Thank you, next
    Thank you, next
    Yeah, yee

- text: >
    Who's this?
    Da-ddy Yan-kee!
    Zúmbale mambo pa' que mis gatas prendan los motore'
    Zúmbale mambo pa' que mis gatas prendan los motore'
    Zúmbale mambo pa' que mis gatas prendan los motore'
    Que se preparen que lo que viene es pa' que le den
    ¡Duro! Mamita, yo sé que tú no te me va' a quitar
    ¡Duro! Lo que me gusta es que tú te dejas llevar
    ¡Duro! Todos los weekend'es ella sale a vacilar
    ¡Duro! Mi gata no para 'e janguear, porque
    A ella le gusta la gasolina (Dame más gasolina)
    Cómo le encanta la gasolina (Dame más gasolina)
    A ella le gusta la gasolina (Dame más gasolina)
    Cómo le encanta la gasolina (Dame más gasolina)
    Ella prende las turbinas, no discrimina
    No se pierde ni un party de marquesina
    Se acicala hasta pa' la esquina
    Luce tan bien que hasta la sombra le combina
    Asesina, me domina
    Janguea en carros, motoras y limusinas
    Llena su tanque de adrenalina
    Cuando escucha reggaetón en las bocinas
    A ella le gusta la gasolina (Dame más gasolina)
    Cómo le encanta la gasolina (Dame más gasolina)
    A ella le gusta la gasolina (Dame más gasolina)
    Cómo le encanta la gasolina (Dame más gasolina)
    Aquí somos los mejores, no te me ajore'
    En la pista nos llaman "Los Matadore'"
    Tú hace' que cualquiera se enamore
    Cuando bailas al ritmo de los tambore'
    Esto va pa' las gatas de to's colore'
    Pa' las mayore', pa' las menore'
    Pa' las que son más zorras que los cazadore'
    Pa' las mujeres que no apagan sus motore'
    Tenemo' tú y yo algo pendiente
    Tú me debes algo y lo sabe'
    Conmigo ella se pierde
    No le rinde cuentas a nadie
    Tenemo' tú y yo algo pendiente
    Tú me debes algo y lo sabe'
    Conmigo ella se pierde
    No le rinde cuentas a nadie
    Zúmbale mambo pa' que mis gatas prendan los motore'
    Zúmbale mambo pa' que mis gatas prendan los motore'
    Zúmbale mambo pa' que mis gatas prendan los motore'
    Que se preparen que lo que viene es pa' que le den
    ¡Duro! Mamita, yo sé que tú no te me va' a quitar
    ¡Duro! Lo que me gusta es que tú te dejas llevar
    ¡Duro! Todos los weekend'es ella sale a vacilar
    ¡Duro! Mi gata no para 'e janguear, porque
    A ella le gusta la gasolina (Dame más gasolina)
    Cómo le encanta la gasolina (Dame más gasolina)
    A ella le gusta la gasolina (Dame más gasolina)
    Cómo le encanta la gasolina (Dame más gasolina)
- text: >
    無敵の笑顔で荒らすメディア
    知りたいその秘密ミステリアス
    抜けてるとこさえ彼女のエリア
    完璧で嘘つきな君は
    天才的なアイドル様
    今日何食べた？
    好きな本は？
    遊びに行くならどこに行くの？
    何も食べてない
    それは内緒
    何を聞かれても
    のらりくらり
    そう淡々と
    だけど燦々と
    見えそうで見えない秘密は蜜の味
    あれもないないない
    これもないないない
    好きなタイプは？
    相手は？
    さあ答えて
    「誰かを好きになることなんて私分からなくてさ」
    嘘か本当か知り得ない
    そんな言葉にまた一人堕ちる
    また好きにさせる
    誰もが目を奪われていく
    君は完璧で究極のアイドル
    金輪際現れない
    一番星の生まれ変わり
    その笑顔で愛してるで
    誰も彼も虜にしていく
    その瞳がその言葉が
    嘘でもそれは完全なアイ
    はいはいあの子は特別です
    我々はハナからおまけです
    お星様の引き立て役Bです
    全てがあの子のお陰なわけない
    洒落臭い
    妬み嫉妬なんてないわけがない
    これはネタじゃない
    からこそ許せない
    完璧じゃない君じゃ許せない
    自分を許せない
    誰よりも強い君以外は認めない
    誰もが信じ崇めてる
    まさに最強で無敵のアイドル
    弱点なんて見当たらない
    一番星を宿している
    弱いとこなんて見せちゃダメダメ
    知りたくないとこは見せずに
    唯一無二じゃなくちゃイヤイヤ
    それこそ本物のアイ
    得意の笑顔で沸かすメディア
    隠しきるこの秘密だけは
    愛してるって嘘で積むキャリア
    これこそ私なりの愛だ
    流れる汗も綺麗なアクア
    ルビーを隠したこの瞼
    歌い踊り舞う私はマリア
    そう嘘はとびきりの愛だ
    誰かに愛されたことも
    誰かのこと愛したこともない
    そんな私の嘘がいつか本当になること
    信じてる
    いつかきっと全部手に入れる
    私はそう欲張りなアイドル
    等身大でみんなのこと
    ちゃんと愛したいから
    今日も嘘をつくの
    この言葉がいつか本当になる日を願って
    それでもまだ
    君と君にだけは言えずにいたけど
    やっと言えた
    これは絶対嘘じゃない
    愛してる

---

# mt5-small-finetuned-genius

This model is a fine-tuned version of [google/mt5-small](https://huggingface.co/google/mt5-small) on the [Genius](https://genius.com/) Music dataset found [here](https://www.cs.cornell.edu/~arb/data/genius-expertise/). 
The song lyrics and song titles were preprocessed and used for fine-tuning. 

You can view more examples of this model's inference on the following [Space](https://huggingface.co/spaces/miscjose/song-title-generation).

## Model description

Please visit: [google/mt5-small](https://huggingface.co/google/mt5-small)

## Intended uses & limitations

- Intended Uses: Given song lyrics, generate a summary. 
- Limitations: Due to the nature of music, the model can generate summaries containing hate speech.

## Training and evaluation data

- 27.6K Training Samples
- 3.45 Validation Samples

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 4e-05
- train_batch_size: 32
- eval_batch_size: 32
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 5

### Training results

| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum |
|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|
| 7.9304        | 1.0   | 863  | 3.5226          | 14.235 | 6.78   | 14.206 | 14.168    |
| 3.8394        | 2.0   | 1726 | 3.0382          | 22.97  | 13.166 | 22.981 | 22.944    |
| 3.3799        | 3.0   | 2589 | 2.9010          | 24.932 | 14.54  | 24.929 | 24.919    |
| 3.2204        | 4.0   | 3452 | 2.8441          | 26.678 | 15.587 | 26.624 | 26.665    |
| 3.1498        | 5.0   | 4315 | 2.8363          | **26.827** | **15.696** | **26.773** | **26.793**    |


### Framework versions

- Transformers 4.31.0
- Pytorch 2.0.1+cu117
- Datasets 2.14.1
- Tokenizers 0.13.3