請問將來會有gguf格式嗎?
請問將來會有gguf格式嗎?
Hi,
Here is the 4-bit GGUF version available at the following link:
https://huggingface.co/taide/TAIDE-LX-7B-Chat-4bit
Best regards.
如果有需要使用 GGUF，這裡有。
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-Chat-GGUF
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-GGUF
這裡面GGUF好多 要下載哪個啊?
要用Ollama 本地執行的話該怎麼做呢?
謝謝
@NCGWRjason 您好，這個可以參考這裡的 Modefile 教學
亦或者參考 Modefile
感謝，Modefile 這個文件又是什麼?
要把GGUF轉成Ollama 的本地model不曉得是在哪個CMD下執行，或是要先裝什麼套件
目前有人分享使用4 bit的步驟
https://blog.miniasp.com/post/2024/04/17/Run-TAIDE-LX-7B-Chat-4bit-model-in-Ollama
@NCGWRjason
您好， Modefile 是 Ollama 設計的設定檔案，故想透過 Ollama 使用 TAIDE 的話，可能需要另外撰寫設定。
您所提供的教學也是一種 Modefile 的使用方法。
@NCGWRjason 您好， Modefile 是 Ollama 設計的設定檔案，故想透過 Ollama 使用 TAIDE 的話，可能需要另外撰寫設定。
您所提供的教學也是一種 Modefile 的使用方法。
謝謝 那請問有直接乎較model的方式嗎? 不過目前看別人的分享是用Ollama 反而速度快一點
我看到的TAIDE-LX-7B-Chat-4bit used in Ollama
似乎都需要GGUF檔，然後再透過Ollama 建立專有的 Modelfile 才能執行
另外創建的model name也什麼特殊規則嗎? 範例給的是 taide-lx-7b-chat-4bit:latest
ollama create taide-lx-7b-chat-4bit:latest -f Modelfile
ollama run taide-lx-7b-chat-4bit:latest
比較簡單的方式：Windows 版客製化 Kuwa 系統
https://kuwaai.org/zh-Hant/blog/kuwa-os-v0.2.0-taide?fbclid=IwZXh0bgNhZW0CMTAAAR0nM4QEKKDoSBkP8Pmka85S5-QZPqPUS_IvqKRae9w3TyNSHSoktiH92hU_aem_AdO08ayWwK2iyCqYuFqzayohh_su08lBh9B9o8bXW3st2HmXGoFZFAjjAQ86cSvpDf3rfscdVwHCUkjYG1XeNiAG參考 https://github.com/ollama/ollama 的說明，以 Linux 系統為例
(a) install ollama
指令: curl -fsSL https://ollama.com/install.sh | sh
(b) start ollama
指令: ollama serve
(c) download the TAIDE model from https://huggingface.co/taide/TAIDE-LX-7B-Chat-4bit
(d) create the Modelfile with the following line in the file. (remember to replace [your_path] to an existing path containing the TAIDE model)
檔案內容: FROM [you_path]/taide-7b-a.2-q4_k_m.gguf
(e) Create the model in Ollama
指令: ollama create taide-4bits -f Modelfile
(f) Run taide model
指令: ollama run taide-4bits
如果有需要使用 GGUF，這裡有。
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-Chat-GGUF
https://huggingface.co/ZoneTwelve/TAIDE-LX-7B-GGUF
您好 我用gpt4all 就可以下載源自您的 TAIDE GGUF
但是有這兩個 都是3.69 GB大小 請問是下載哪個好呢? 謝謝
TAIDE-LX-7B-GGUF
TAIDE-LX-7B-Chat-GGUF
TAIDE-LX-7B-Chat-GGUF