iGPU)阿久津2024/10/31に公開IntelWebGPUSLMphi35igputech結論まあまあ使えそうな速度で動作する。tokens/sec)ただし、2GBぐらいのモデルをダウンロードする必要があるので初回起動時はそれなりの時間がかかる。環境確認ブラウザからGPUが見えてるか確認のため、開発者ツールのコンソールで以下を入力。同一PCでもFirefoxだとダメでした。Chromium系は対応が早いですね。ちなみに、CPUで動作させると推論速度が1/100ぐらいになったので厳しいかと。131.0.3追記:Advanced設定まわりを全てTrueにしてもダメでした。ビルドhttps://github.com/akutsu-kei/onnxrt-web-phi3.5-igpuこちらをdevcontainerで開いて、以下のコマンドで起動できます。devモデル情報はこの部分に記載。https://github.com/akutsu-kei/onnxrt-web-phi3.5-igpu/blob/main/main.js#L7こちらのモデルですね。https://huggingface.co/onnx-community/Phi-3.5-mini-instruct-onnx-web内容的には、以下の公式レポからphi-3.5に向けた変更を入れただけです。miniを実行するという手続きになっていました。描画ではなく完全な演算資源としてGPUが利用されるので気づかぬ間にマイニングさせられていたり。こんな通知があってもいいのかなー、と思いました。GPUの設定は一般レベルの権限設定にはなさそうです。https://support.google.com/chrome/answer/114662?hl=ja&co=GENIE.Platform%3DDesktop#zippy=%2C変更可能な権限の詳細を確認する最後にデプロイの手軽さを重視するなら、ブラウザで動かすのはアリかもです。iGPUを使う分だけ描画に割けるリソースが減るので画面のカクつきが起こりやすくなります。WebGPUからNPUへアクセスできるようになると、他リソースを消費せずに推論できるようになるので期待したいです。自称ブリコラージュエンジニア。Pro株式会社ヘッドウォータースのテックブログです。自称ブリコラージュエンジニア。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。