WSLでモデルの変換を行う2023/11/21に公開WSLLLMmlctechこれまでのあらすじmlc-llmという、色々な環境でLLM推論をさせることができるプロジェクトがある。https://llm.mlc.ai/docs/compilation/compile_models.html先日、このmlc-llmの中の「web-llm」という、ブラウザで推論させる技術での推論を試した。https://zenn.dev/saldra/articles/c5473bb01c9b15前回の記事では推論までは成功したが、モデルの変換をWindowsで行うことに失敗したので、今回はWSL上で環境構築を行い、mlcモデルへの変換を実施、mlc-llm上で推論させることを目標とする。print(tvm.__file__)"を実施、以下エラーが発生。--versionでnvccのpathが通っていることを確認し、再度挑戦。print(tvm.__file__)"/home/saldra/mlc-llm/.venv/lib/python3.10/site-packages/tvm/__init__.pyいけた。'nvcc'venvにactivateしたらnvccのパスが通らなくなっていることを確認。同様の人が解決策を置いてくれていた。PATH=/usr/local/cuda/bin:$PATHすれば良さそう。やってみたらnvcc読み込めた。一度コンパイルしたらエラー。'v'.issueを漁ったところ、git-lfsがないとそうなるらしい。q4f16_1全然反応がないように見えるが、根気よく待つ。params推論mlc_chatで試してみる。ra自分の欲求に素直なことに定評がありますバッジを贈って著者を応援しようバッジを受け取った著者にはZennから現金やAmazonギフトカードが還元されます。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。