Meta の最近の Llama-3 リリースに応じて、Microsoft は軽量 AI モデルの最新反復に関する調査結果を発表しました。技術レポートによると、Phi-3-mini は、サイズが数分の一であるにもかかわらず、GPT-3.5 などの LLM よりも優れたパフォーマンスを示しています。
Microsoft は今週初め、HuggingFace、Ollama、Azure AI カタログで Phi-3 を開始しました。Windows Copilotの一般的な知識スキルには完全に一致しませんが、オープンソース AI テクノロジは、速度、効率、パフォーマンスの点で主流の LLM に匹敵するレドモンドの小規模言語モデルの第 4 世代を表します 。
Phi-3 はパラメータ数が 38 億で、前世代よりもわずかに大きくなっていますが、わずか 1.8 GB のモバイル ストレージで実行できる十分な小ささを維持しています。比較のために、Llama や GPT-3.5 などの典型的な複雑な LLM は、入力を理解するために数千億のパラメーターを利用するため、ネイティブに保存するのは非現実的です。今年の夏に発売されるGPT-5 は、数兆個のパラメータのサイズになると予想されています。従来のスケーリングの法則によれば、パラメータが多いほど、よりインテリジェントな結果が得られます。しかし、Microsoft によれば、必ずしもそうではない可能性がありますMicrosoft はその技術レポートでいくつかの大胆な主張を行っています。その中で最も重要なのは、同社自身が認めているように、純粋に学術的なパフォーマンス ベンチマークです。 19 ベンチマーク テスト中 12 テストで、Phi-3-mini は、2 倍以上のパラメータで実行しているにもかかわらず、Llama-3-instruct よりも優れたパフォーマンスを示しているようです。 7B ファイ-3-小型と 14B ファイ-3-中型では、結果はさらに驚異的でした。
エンジニアは、これらの効率の向上は、 「教科書品質の」Web コンテンツと、言語、一般知識、常識推論を厳選した 3,000 語のリストで教えるために設計された AI 生成データ の 2 つのソースから得られた、慎重に精選されたトレーニング データセットのおかげであると考えています。ビルディングブロックとして。 Microsoft の研究者らは、この種のデータ レシピにより、昨年の Phi-2 が Meta のかなり大型 (70 B) Llama-2 モデルのパフォーマンスに匹敵するようになったと主張しています。Azure AI のコーポレート VP である Eric Boyd 氏は、 The Vergeを通じて 、Phi-3 は「より小型のフォーム ファクター」であるにもかかわらず、GPT-3.5 と同等の機能があると自慢しています。しかし、ファイ 3 はその規模が限られているため、依然として事実に関する知識の不足に悩まされています。おそらくこれは、AI がクラウド コンピューティング経由ではなくネイティブで実行するために必要なトレードオフなのでしょうか?
柔軟性とコスト効率が企業にとっていかに重要な問題であるかを考えると、企業がすでに SLM の機能を活用し始めていることは驚くべきことではありません。ただし、Phi-3 には激しい競争があります。 Meta のLlama-3、Anthropic のClaude-3 スイート、Google Gemini およびGemma にはすべて、モバイルでのエッジ コンピューティングをサポートできる軽量バージョンがあります。そして、Phi-3 が有利に競合しているように見えますが、Gemini Nano はすでにGoogle Pixel 8 Pro や Samsung Galaxy S24 シリーズ ( Amazon で $784 )などのデバイスに採用されています。
AI モデルの Phi-3 ファミリは、Microsoft が取り組んでいる唯一の SLM ではありません。先月、同社はミストラルを応用してOrca-Mathを作成しました。これは、小学校の算数において Llama、GPT-3.5、Gemini Pro よりもかなり正確であることが示された特殊なモデルです。最近のプロジェクトであるAutoDev は、AutoGen と Auto-GPT を利用して、ユーザー定義の目標に基づいてプログラミング タスクを自律的に計画および実行します。 AI戦争はまだ終わっていないが、少なくとも下位の規模では有力な競争相手がいる。
バッテリー・ACアダプターなどがお買得価格で購入できるDenchis.comは通販サイトです。購入できる安心の正規販売店です。高性能、高品質、しかも低価格！30日間返金保証，安心の1年保証！