Hugging Face's logo

Spaces:
alexkueck
/
TestInferenceAPI
Running

App Files Community
alexkueck commited on
Commit
670e2d1
•
1 Parent(s): b690c39

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +5 -3
app.py CHANGED
@@ -79,14 +79,16 @@ splittet = False
79
  ##############################################
80
  # tokenizer for generating prompt
81
  ##############################################
82
- print ("Tokenizer")
83
- tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-70b-chat-hf")
 
84
 
85
  ##############################################
86
  # inference client
87
  ##############################################
88
  print ("Inf.Client")
89
- client = InferenceClient("https://api-inference.huggingface.co/models/meta-llama/Llama-2-70b-chat-hf")
 
90
 
91
 
92
  #################################################
 
79
  ##############################################
80
  # tokenizer for generating prompt
81
  ##############################################
82
+ print ("Tokenizer")
83
+ #tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-70b-chat-hf")
84
+ tokenizer = AutoTokenizer.from_pretrained("TheBloke/Yi-34B-Chat-GGUF")
85
 
86
  ##############################################
87
  # inference client
88
  ##############################################
89
  print ("Inf.Client")
90
+ #client = InferenceClient("https://api-inference.huggingface.co/models/meta-llama/Llama-2-70b-chat-hf")
91
+ client = InferenceClient(model="TheBloke/Yi-34B-Chat-GGUF")
92
 
93
 
94
  #################################################