Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
@@ -1,5 +1,5 @@
|
|
1 |
# 必要なライブラリをインストールしておいてください
|
2 |
-
# pip install streamlit transformers torch huggingface_hub
|
3 |
|
4 |
import streamlit as st
|
5 |
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
|
@@ -30,10 +30,10 @@ if st.button("トレーニング開始"):
|
|
30 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
31 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
32 |
|
33 |
-
#
|
34 |
st.write("データセットのロード中...")
|
35 |
from datasets import load_dataset
|
36 |
-
dataset = load_dataset(dataset_name, split="
|
37 |
|
38 |
# トレーニング用のデータセットの準備
|
39 |
def tokenize_function(examples):
|
|
|
1 |
# 必要なライブラリをインストールしておいてください
|
2 |
+
# pip install streamlit transformers torch huggingface_hub datasets
|
3 |
|
4 |
import streamlit as st
|
5 |
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
|
|
|
30 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
31 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
32 |
|
33 |
+
# データセットの準備(スワヒリ語)
|
34 |
st.write("データセットのロード中...")
|
35 |
from datasets import load_dataset
|
36 |
+
dataset = load_dataset(dataset_name, 'swahili', split="train") # 言語を指定
|
37 |
|
38 |
# トレーニング用のデータセットの準備
|
39 |
def tokenize_function(examples):
|