10:49山下裕毅(Seamless)2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless(シームレス)を運営し、執筆しています。API」のパブリックベータ版を発表しました。これにより、有料ユーザーがChatGPTの高度な音声モードと同様の、自然な音声対音声の会話をアプリケーションに実装できるようになります。Turbo」を公開しました。2B」の日本語版を公開しました。上回るパフォーマンスを発揮したといいます。Flash-8B」を発表しました。APIのベータ版の一般公開を発表しました。[pro]と比べて6倍高速な画像生成を実現し、画質や指示への忠実性、多様性も向上しています。Pro」を取り上げます。Metaが開発した動画生成AI「MovieGen」や、テキストや画像1枚から3Dコンテンツを生成する「Flex3D」をご紹介します。生成AIウィークリーの中でも特に興味深い技術や研究にスポットライトを当てる「生成AIクローズアップ」では、スマートグラスに映る他人の顔から名前や住所などの個人情報をリアルタイムで特定する技術を単体で掘り下げます。日本語LLMを真に評価できる日本語専用LLMベンチマーク「JMMMU」を東大などが開発。Pro」を発表Metaが動画生成AI「MovieGen」発表。テキストから16秒程度の音声付き動画を生成テキストや画像1枚から3Dモデルを生成するAI「Flex3D」をMetaが開発スマートグラスで個人情報を「透視」。Them」に注目します。日本語LLMを真に評価できる日本語専用LLMベンチマーク「JMMMU」を東大などが開発。東京大学とカーネギーメロン大学に所属する研究者らは、日本語に特化した新しいマルチモーダルベンチマーク「JMMMU」を開発しました。これは、LLMの日本語でのマルチモーダル性能を真に評価することができるベンチマークです。JMMMUの開発にあたり、研究チームはまず既存のMMMUベンチマークを慎重に分析し、その文化依存性を検討しました。文化に依存しない科目については、各分野の専門家である日本語ネイティブスピーカーを採用し、テキストと画像(グラフのタイトルなど)の両方を日本語に翻訳しました。文化依存性の高い科目については、日本文化に適した新しい科目に置き換えました。(日本の教科書に基づいた内容)が含まれます。その結果、JMMMUは720問の翻訳ベース(文化非依存)の問題と600問の全く新しい(文化依存)問題で構成され、合計1320問となりました。これにより、既存の文化を考慮した日本語ベンチマークのサイズを10倍以上に更新しています。JMMMUのリーダーボードでは、オープンソースモデルとクローズドソースモデルの性能が比較されています。2024-05-13)となっており、大きな改善の余地があることが示されています。Pro」を発表しました。面で大きな進歩を遂げています。Proの主な特徴は、225万画素の深度マップを0.3秒という短時間で生成できることです。これは、標準的なGPUを使用した場合の処理時間です。画像を理解するための新しい方法として、マルチスケールビジョントランスフォーマー(ViT)という技術を使っています。この技術は、画像全体の大まかな情報と細かい部分の情報を同時に処理できます。次に、モデルの学習方法を工夫しました。実際の写真と、コンピュータで作った合成画像の両方を使って学習させています。実際の写真からは現実世界の複雑さを学び、合成画像からは正確な情報を学びます。Proの性能は、複数のデータセットを用いた広範な実験によって評価されました。その結果、このモデルは従来の手法を複数の側面で上回る性能を示しました。物体の境界や細かい構造の再現性において顕著な改善が見られました。GitHubMetaが動画生成AI「MovieGen」発表。「MovieGen」は、Metaが開発した高品質な動画生成AIモデル群です。MovieGenは、テキストから動画の生成、動画の編集、キャラクターのパーソナライズ、テキストや動画から音声や音楽を生成したりと、様々な機能を持っています。この幅広い機能は、2つの基盤モデルによって実現されています。Videoで、テキストから画像とビデオを生成する統合モデルです。このモデルは、1秒あたり16フレーム、最大16秒間の高品質HDビデオをテキストプロンプトに従って生成します。カメラの動き、物理法則などについて理解しています。厳選された高品質の動画とテキストキャプションを用いて教師あり微調整を行い、生成品質を向上させています。Audioで、ビデオとテキストから音声を生成するモデルです。48kHzの高品質な映画風効果音や音楽を、入力ビデオと同期させながら生成できます。約100万時間の音声データで事前学習されており、視覚世界と音声世界の物理的および心理的な関連性を学習しています。このモデルは、動画の環境音や、視覚的な動きに同期した効果音、さらには場面の雰囲気や動きに合わせた音楽も生成できます。Videoモデルには、事後学習手順によってパーソナライゼーションと精密な編集機能が追加されています。パーソナライゼーション機能では、テキストと人物の画像を入力として、その人物が登場する動画を生成できます。編集機能では、テキスト指示を使って実際の動画や生成された動画に対して正確な編集を行うことができます。「Flex3D」は、テキストプロンプトや画像1枚から高品質の3Dコンテンツを生成します。候補となる多数の2D画像を生成し、その中から3D再構築に最適なものを選び出すという独自のアプローチを採用しています。これにより、3D再構築の精度を大幅に向上させることに成功しています。Model)と呼ばれる柔軟な再構築モデルです。FlexRMは、入力される画像の数や視点が変化しても対応できるよう設計されており、効率的に高品質な3D再構築を行うことができます。具体的には、FlexRMはトランスフォーマーアーキテクチャを基盤とし、3次元空間を表現するための「Triplane」表現を使用しています。Gaussianパラメータにデコードされ、詳細な3Dオブジェクトを高速に生成することが可能となりました。研究チームは、Flex3Dの性能をベンチマークで評価した結果、Flex3Dは最先端の手法を大きく上回る性能を示しました。この記事をみんなにシェアFacebookXLINEHatena山下裕毅(Seamless)2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless(シームレス)を運営し、執筆しています。アルファ』を開設しました。会員専用Discrodサーバ参加権やイベント招待、会員限定コンテンツなど特典多数です。アルファ」登録はこちら。1」と「Allegro」、数時間喋らせるローカル実行可能なリップシンク生成AI「Hallo2」など生成AI技術5つを解説(生成AIウィークリー)バーチャルシンガー作り放題・作曲しまくりの新時代到来。mini試用レビュー。Intelligence最安端末、旧Pencilは非対応(石野純也)GitHubで最も使われている言語、PythonがJavaScriptを抜き1位に。アルファ』第二期会員の募集を開始しますAI普及で人間の役割は「発想力」へ。2024イベントリポート24時間AIハッカソン優勝チームインタビュー。AI活用のポイントやハッカソン挑戦者へのアドバイスを訊きましたガジェット愛好家が知りたい最新情報を発信。アルファ」登録はこちら。プラス」にて、デジタルカメラLUMIXの特別保証サービスの提供を開始。