API構築の基礎を学んだ。QConは、開発者コミュニティにおける知識とイノベーションの普及を促進することで、ソフトウェア開発に力を与える。実務者主導のカンファレンスであるQConは、チーム内のイノベーションに影響を与える技術チームのリーダー、アーキテクト、エンジニアリングディレクター、プロジェクトマネージャー向けにデザインされている。Sheehy氏は、人工知能ハイプ時代における責任ある開発者としてのあり方について、洞察に富んだ開会基調講演をした。Grizzanti氏が、「スタッフ・プラス」への道と、それを「科学」というより「芸術」としてとらえ、芸術を創作することとソフトウェアを創作すること、そして組織のダイナミクスに対処することの類似性について語っている。Codeを採用する:確認するべき6つの適性LCNC(ローコード/ノーコード)プラットフォームは、プログラマーだけでなくプログラマーでなくても、最小限のコーディングとワンクリックのデプロイメントで、アプリケーションソフトウェアを開発できるよう設計されている。ドラッグ&ドロップ方式のインターフェースなどを利用することで、開発・デプロイメントプロセスを簡素化し、効率的なアプリケーション開発とデプロイメントを実現する。Koshimura原文リンク(2024-10-08)中国科学院大学(UCAS)の研究者が最近、音声データとテキストデータの両方で動作するLLM、LLaMA-Omniをオープンソース化した。LLaMA-OmniはMetaのLlama-3.1-8B-InstructLLMをベースにしており、類似のベースラインモデルを凌ぐ性能を持ちながら、少ない学習データと計算量で動作する。LLaMa-Omniのアーキテクチャは、入力に音声エンコーダ、出力に音声デコーダを含むことでLlama-3を拡張している。スタンドアロンの音声認識(SR)やテキスト音声合成(TTS)モジュールをLLMと直列に使用する他の方式に比べ、このアーキテクチャは入力音声プロンプトから出力音声生成までの待ち時間を短縮する。このモデルは、UCASチームが作成したカスタムデータセットInstructS2S-200Kで微調整された。これは、20万個の音声プロンプトと、それに対する予想される返答を収録している。研究者によれば次のように述べている。実験結果によると、[ベースライン]音声言語モデルと比較して、LLaMA-Omniは、応答遅延が226msと短く、内容とスタイルの両方で優れた応答を提供します。LLaMA-Omniのトレーニングは、4つのGPUで3日未満で済み、最新のLLMに基づく音声対話モデルの迅速な開発が可能です。将来的には、生成される音声応答の表現力を高め、リアルタイム対話能力を向上させることを探求する予定です。(S2SIF)の2つのタスクで評価し、Qwen2-Audioを含む他のベースラインモデルと比較した。評価データセットはAlpaca-Evalのサブセットであり、合計199のプロンプトが含まれる。チームはまた、音声ベースのプロンプトを生成するために、プロンプトをTTSシステムに入力した。研究チームは、GPT-4oを用いて各モデルの出力を自動的に採点し、内容(出力がユーザーの指示を達成しているか)とスタイル(出力が音声対話に適しているか)を判定した。S2TIFタスクでは、LLaMA-Omniはスタイルでベースラインを上回り、S2SIFタスクでは、コンテンツとスタイルの両方で上回った。Newsに掲載されたLLaMa-Omniに関するディスカッションで、あるユーザーは、音声とテキストのエンドツーエンドモデルと、スタンドアロンコンポーネントのカスケードシステムの利点を指摘している。基本的に、音声からテキストへのデータロスがあります。そのロスは重要でない場合もあるが、出力品質を向上させる意味のある場合もあります。応答の遅延の改善、話者の記録の改善、会話の間への反応の改善など、他にも潜在的な利点があります。Redditのユーザーも、このモデル、特に音声エンコーディングにOpenAIのWhisperモデルを使用していることについてコメントしている。この入力アプローチは、LLaVAがLlamaとCLIPのグルーレイヤーをトレーニングすることで画像理解を追加したのと似ています。LLaMA-Omniは、LLaVAがCLIPを使うように、ささやき声をエンコーダーとして使います。その埋め込みは、基礎となるLlamaモデルの特徴空間に投影されます。私は彼らの音声出力アーキテクチャをすぐには理解できなかったので、それについてはコメントできません。LLMへの音声入出力の統合は、増加傾向にある。omniのリリースを取り上げた。これは、音声データを扱うためにエンドツーエンドで学習されたGTP-4のバージョンである。InfoQはまた、AlibabaのオープンウェイトのQwen2-Audioも取り上げた。これは音声入力を扱えるが、出力はテキストのみである。LLaMa-OmniのモデルファイルはHuggingfaceで入手できる。毎週火曜日に前週のまとめコンテンツをお送りいたします。(日本語版は不定期リリース)25万人のシニアな開発者コミュニティーにぜひご参加ください。サンプルを見るあなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。毎週火曜日に前週のまとめコンテンツをお送りいたします。(日本語版は不定期リリース)25万人のシニアな開発者コミュニティーにぜひご参加ください。サンプルを見る様々なイノベーターとアーリーアダプターがお送りするテクノロジーの概要を見る。自分がまだ知らないことに気づいていないと知るあなたが興味のあるトピックスをいつでも最新な情報に。あなたのメールアドレスはこちら国を選んでください。プライバシーポリシーに従って私の個人情報を扱うことに同意します。Inc.プライバシーBT。