先日、Algomaticさんが後援されている生成AI新年会に参加してみました。生成AI新年会2024まとめ|SHOGO生成AI新年会に参加してきたので、個人の範囲で感じたことを共有します。Talk)での内容や、ネットワーキング(懇親会)でお話しした方々の内容をまとめると以下のような全体感でした。Modelがあるということを聞きました。生成AIサービスを提供する事業者としては、Quality、Cost、DeliveryのQCDに大きく影響する問題なので、調べてみました。SLMsが大規模言語モデル(LLMs)に比べてどのような利点を持ち、どのような需要があるかを見ていきます。↓忙しい人向けSLMsは、ランタイム費用を低減し、安全で管理可能な環境を提供しながら、LLMsと同等の性能を持っている。AIやMITの研究者たちの取り組みにより、SLMsの開発や効率性が向上している。SLMsの環境への優しいエネルギー消費に関する研究も行われている。小規模言語モデルとしては、下記のモデルがよく話題に上がっています。Orca-2–7bOrca-2–13bLlama-2–13bMixtralPhi-2小規模言語モデルは、1〜10億のパラメータを持つモデルがあると言われています。4は約1.76兆のパラメータを持ち、専門家アーキテクチャを混合して実行されると言われています。3.5は約1750億のパラメータを持ち、Nvidiaが提供する高性能プロセッサの広範なクラスターで実行されています。PhD氏によると、小規模言語モデルは、大規模言語モデル(LLMs)に比べて、様々な自然言語やプログラミング言語に匹敵する性能を持つことが述べられています。比較すると、LLMLLMsはサイズが大きく、SLMsと比較して広範囲なトレーニングを受けている。LLMsは複雑な自然言語処理能力を持ち、複雑なパターンを捉えることができる。SLMsSLMsは言語パターンへの限定的な露出しかないが、適切なユースケースでLLMsよりも有益。万という少ないパラメータを持つモデルでも基本的な言語能力を獲得できるらしい。表にして比較するとこんな感じです。Modelsへの需要がすでにあるそうです。SLMの利点としては、企業での独自利用、産業ユースケースへの適用がしやすいことが挙げられているようです。ハードウェアの観点から見ると、実行コストが安く、オンプレミスやデバイスへの展開に適している。使用の観点から見ると、特定のドメインやタスク向けにトレーニングまたはファインチューニングされたモデルであり、知的財産を保護できる。医療診断から法的な専門用語まで、さまざまな分野で応用されている。フレームワークで作成することができるようです。小規模言語モデルの具体例MicrosoftのPhi-2冒頭のMicrosoftさんがスライドでも紹介していたPhi-2について、昨年の12月に以下のように発表されています。billionパラメータ未満のベース言語モデルの中で最先端のパフォーマンスを示し、25倍大きなモデルに匹敵するかそれを上回るパフォーマンスを発揮します。トレーニングデータの品質がモデルのパフォーマンスに重要な役割を果たし、Phi-2は、教育的価値とコンテンツの品質に基づいてフィルタリングされたウェブデータを慎重に選択して、トレーニングコーパスを拡張します。Phi-2は、25倍大きなLlama-2-70Bモデルに比べて、複数段階の推論タスクでより良いパフォーマンスを達成します。2を上回るパフォーマンスを発揮します。トレーニングデータの品質がモデルのパフォーマンスに重要な役割を果たし、Phi-2は、教育的価値とコンテンツの品質に基づいてフィルタリングされたウェブデータを慎重に選択して、トレーニングコーパスを拡張します。GPUsで14日間かかりました。Phi-2は、人間のフィードバックによる強化学習を通じたアライメントを経ていないベースモデルであり、また指示による微調整も行っていません。それにもかかわらず、我々は、既存のオープンソースモデルと比較して、Phi-2が毒性や偏見に関してより良い振る舞いを示すことを観察しました。TinyLlamaは、約1兆トークンを約3エポックで事前学習したコンパクトな1.1B言語モデルです。オープンソースコミュニティによって提供されたさまざまな進歩を活用し、より優れた計算効率を実現しています。比較的小さなサイズにもかかわらず、TinyLlamaはさまざまな下流タスクで優れたパフォーマンスを発揮し、同等のサイズの既存のオープンソース言語モデルを大幅に上回っています。当社のモデルのチェックポイントとコードは、GitHubのhttps://github.com/jzhang38/TinyLlamaで公開されています。7Bをリリースしています。AIは、アンドリーセンにリードされたラウンドで4億8700万ドルを調達し、OpenAIに強力な競合相手となることを目指しています。AIの評価額は約20億ドルになると予想されています。AIの3人の共同創業者は、それぞれ100万ユーロ以上の株式を売却することに同意しています。現在22人の従業員を擁し、2023年4月にMetaやGoogleで働いていた研究者によって設立されているそうです。文句なしの小規模ユニコーン企業です。AIではできないユースケースで活用しています。AIができない戦略を取る、期待できるスタートアップです。ちなみに2024年2月現在のAPI料金は下記の通りです。tokens」なので、ちょっと高いかな?って感じはします。tokensまぁGPT3.5よりも性能がいいらしいのでこんなものかもしれないです。Deskrex.aiでも試してみようと思っています。Techとのディストリビューションを取りに行く戦略をしっかり真似ています。(翻訳して一部抜粋)2023年5月ミストラルはアルトゥール・メンシュ、ギョーム・ランプル、ティモシー・ラクロワによって設立されました。採用は継続し、今後の成長も期待いまのLLMは、ウェブ上のデータから学んだ汎用的な知能をもったAIですが、AGIを各社が目指す中で、企業や人に特化したモデルが確実に流行るでしょう。モデルが軽量で高速であるので、ラップトップやスマホで動く未来です。Models(小規模言語モデル)は、ある意味人間的な個性(あるいは企業及び組織的な個性)を生み出す意味で、役に立ちそうだと直感的に思いました。そのときはおそらくファウンデーションモデルという概念は弱まり、アプリケーションの時代がスマホのように来るんでしょうね。参考文献この記事はDeskrexでリサーチした結果を参考に書いています。Model小規模言語モデルスポンサーリンクスポンサーリンクこのフィールドは空白のままにしてくださいブログを購読するブログの更新をメールでお知らせします。ご確認のメールを送信しました。受信ボックスか、迷惑メールフォルダを確認して購読手続きを完了してください。コピーItaruTomita9779をフォローする0スポンサーリンクItaruTomita9779関連記事ソーシャル【ソーシャルビジネス】PeaceTechとは?平和のXtechを解説!いわゆるXtech(クロステック)、テクノロジー✕〇〇においては、様々な領域がありますが、実は平和✕テクノロジーの「PeaceTech」という領域も存在します。わかりやすく言うと、ソーシャルビジネス✕テクノロジーなわけですが、今回はPeaceTechとは何か、事例を交えてご紹介します。ビジネス【書評】「チャレンジャー・セールス・モデル」で、トップセールスマンの特徴を学ぼう。今回は、トップセールスマン・売れる営業マンが活用する「最新の営業スキル」に関する本の書評をしていきます。経済不況の中でも、売れる営業マンが何故かいる、そんなことに着目して、「彼らがなぜ売れるのか?」、ということを調査した本になります。ビジネス【書評・感想】「ビジネス書図鑑」が多忙なあなたを幸せに導く本を教えてくれる。皆さんは普段、いわゆる「ビジネス書」を読みますでしょうか。ビジネス書は、自分の仕事のやり方に対して、プロからのアドバイスや思考フレームをいただける有効な投資であると私は考えています。「そんな有効な投資とわかっていても、本を読む手が進まない。」、このような悩みを解決し、ビジネス書の読書をはかどらせてくれるのが、「見るだけでわかる!ビジネス書図鑑」です。今回は、「見るだけでわかる!ビジネス書図鑑」を読んだ感想と書評をさせていただきます。仕事をしていると、こんな「空気」を感じることはありませんか?「上司に意見が言いづらい、相談しづらい」「ミスをしたが、怒られるから嘘をついてしまった」「経営者や部長のことが信頼できない」こういう「空気」を感じてしまうと、信頼して仕事ができず、思ったように成果を発揮できないですよね。こんな話、意外と友人から聞きますし、いわゆる「あるある」ネタじゃないでしょうか?今回は、そんな日常生活はもちろん、職場で感じる「空気」が、普段のパフォーマンスに影響することを書いた本をご紹介します。職場の「空気」が結果を決める】という本です。売れる営業マンになるための、営業の基本から応用スキルまで学習したい方向けのロードマップを公開しました。当記事では、多くの人が経験する営業という仕事のスキルや姿勢について、基礎から応用までまとめました。営業ロードマップ入門編:営業とは何か?を知る。営業ロードマップ初級編:営業の売れない時期を乗り越える基礎を築く。営業ロードマップ中級編:営業により顧客を成功に導く。営業のロードマップ上級編:どんな不況でも、顧客を自由にコントロールする。私が外資系のメーカーで学んだ営業を、限りなく網羅的にまとめましたので、これから営業職に転職する・就職する人や、若手の新卒営業マンの人は是非ご覧ください。ビジネス全てを納得させる「ゴールデンサークル」で転職や営業を成功させよう。今回は、TEDの動画で有名な「ゴールデンサークル」について、ご紹介します。「ゴールデンサークル」を使うと、相手に対して、説得力をもたせて、人を動かすことが出来るのです。それは、営業活動や、転職活動などのプレゼンをしなければいけないシーンでも大活躍するテクニックなのです。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。冨田到(書いてる人)こんにちは、UpDraftsを運営している、冨田到(@ItaruTomita9779)です。大手外資系からベンチャーまで経験してきたビジネスのあれこれを共有しています。現在は、生成AI×デスクリサーチのサービスを開発しています。起業や新規事業、コンサルやリサーチャーの市場調査にお役立てください。@ItaruTomita9779スポンサーリンクこのフィールドは空白のままにしてくださいブログを購読するブログの更新をメールでお知らせします。ご確認のメールを送信しました。受信ボックスか、迷惑メールフォルダを確認して購読手続きを完了してください。特定商取引法に基づく表示ホーム検索トップサイドバータイトルとURLをコピーしました。