Sakalti commited on
Commit
cfd58cc
1 Parent(s): 4012ee4

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -3
app.py CHANGED
@@ -1,5 +1,5 @@
1
  # 必要なライブラリをインストールしておいてください
2
- # pip install streamlit transformers torch huggingface_hub
3
 
4
  import streamlit as st
5
  from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
@@ -30,10 +30,10 @@ if st.button("トレーニング開始"):
30
  model = AutoModelForCausalLM.from_pretrained(model_name)
31
  tokenizer = AutoTokenizer.from_pretrained(model_name)
32
 
33
- # データセットの準備
34
  st.write("データセットのロード中...")
35
  from datasets import load_dataset
36
- dataset = load_dataset(dataset_name, split="swahili")
37
 
38
  # トレーニング用のデータセットの準備
39
  def tokenize_function(examples):
 
1
  # 必要なライブラリをインストールしておいてください
2
+ # pip install streamlit transformers torch huggingface_hub datasets
3
 
4
  import streamlit as st
5
  from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments
 
30
  model = AutoModelForCausalLM.from_pretrained(model_name)
31
  tokenizer = AutoTokenizer.from_pretrained(model_name)
32
 
33
+ # データセットの準備(スワヒリ語)
34
  st.write("データセットのロード中...")
35
  from datasets import load_dataset
36
+ dataset = load_dataset(dataset_name, 'swahili', split="train") # 言語を指定
37
 
38
  # トレーニング用のデータセットの準備
39
  def tokenize_function(examples):