3.1のテキスト専用モデルの上に構築されており、最適化された変換器アーキテクチャを使用する自動回帰型言語モデルです。記載されているように、Llama-3.2-VisionはLlama-3.1をベースに作られているようです。そこで、以前拝見したこちらの記事を思い出しました。https://zenn.dev/toshi_456/articles/0166a6eaa81c7bLlama-3.2-VisionとLlama-3.1がLlavaとLlamaの関係性に近いのであれば、同様のことができるのではないかと考えました。attention層というものが導入されています。11Bモデルはvision_model側にself_attnが32層、cross_attnが8層の計40層で構成されています。8Bモデルは32層のモデルなので、おそらくはこのself_attnがLlama-3.1-8Bなのではないかと考えました。実際に2つのモデルで対応する層の重みを見てみるの、かなり近しい値になっているのが分かりました。マージ似たようなことを考えている人がいるだろうと同様の事例がないか探していると、次のモデルを見つけました。https://huggingface.co/grimulkan/Llama-3.2-90B-Vision-Hermes-3-lorablated-mergeこちらのモデルはLlama-3.2-90BにHermesの重みを加算することで得られたモデルのようで、作成に使ったコードを公開してくださっていました。今回はこちらのコードを少しだけ手を加えてマージを行いました。完成したのがこちらのモデルになります。https://huggingface.co/Kendamarron/Llama-3.2-11B-Vision-Instruct-Swallow-8B-Merge日本にまつわる画像でこのモデルの出力を確認してみます。作品名とシーンの説明をしてください。この作品は、漫画家の宮崎吾朗による日本の漫画作品です。この作品は、世界を荒廃させた巨大な生物を巡る戦いを描いた、SF漫画です。この作品のあらすじは以下の通りです。地球が荒廃した世界で、人間は生物の群れに追い詰められていました。生物たちは人間を食料として捕まえ、食べていました。人間は生物を追い詰めるために、生物の群れを倒すために戦いました。『千と千尋の神隠し』は、2001年に公開された宮崎駿監督によるアニメーション映画です。物語は、両親と一緒に引っ越した神隠しの町で、奇妙な体験をする少女千尋の姿を描いたものです。千尋は、町の神様に化け物が住む「油屋」という湯屋を経営する家に引き取られます。この画像は、日本の奈良県の奈良市にある大仏殿(だいぶつでん)であると推測されます。画像から大きな仏像が見えるため、仏教の施設であると推測されます。画像の背景には、奈良公園(ならこうえん)と奈良市内を走る国道308号が見えます。国道308号は、奈良市内を走る国道24号の支線で、奈良公園の南東に位置しています。これは奈良県奈良市にある東大寺の鐘楼です。鐘楼は鐘を吊るすために建てられた塔で、東大寺の鐘楼は高さ約50メートル、直径約5メートルあります。鐘楼の鐘は国の重要文化財に指定されています。鐘楼の鐘は、東大寺の僧侶が毎日打ち鳴らすことで、仏教の教えを広める役割を果たしています。Vectorを用いて日本語理解のできるLlama-3.2-Visionモデルを作ってみました。Proよくある質問LinksX(Twitter)GitHubメディアキットLegal利用規約プライバシーポリシ。