ただし、競合他社よりも安いです。

Deepseekの新しいチャットボットは、この魅力的な説明で私に紹介されました。

こんにちは、私はあなたが何でも尋ねて、あなたを驚かせるかもしれない答えを得ることができるように作成されました。

今日、DeepSeekによって開発された人工知能は、市場で手ごわい競合他社として浮上しており、特にNvidiaの最大の株価下落の1つに貢献しています。

画像：Ensigame.com

このモデルを際立たせるのは、革新的なアーキテクチャとトレーニング方法です。いくつかの最先端のテクノロジーを採用しています。

マルチトークン予測（MTP）：一度に1つの単語を予測する代わりに、モデルは文のさまざまな部分を分析することにより、複数の単語を同時に予測します。このアプローチは、モデルの精度と効率の両方を大幅に向上させます。

専門家の混合（MOE）：このアーキテクチャは、さまざまなニューラルネットワークを利用して入力データを処理します。このテクノロジーは、AIトレーニングを加速し、パフォーマンスを向上させます。 DeepSeek V3では、256のニューラルネットワークが利用され、トークン処理タスクごとに8つがアクティブ化されています。

マルチヘッド潜在的注意（MLA）：このメカニズムは、文の最も重要な部分に焦点を合わせるのに役立ちます。 MLAは、テキストフラグメントから重要な詳細を一度だけでなく繰り返し抽出し、重要な情報が欠落している可能性を減らします。これのおかげで、AIは入力データの重要なニュアンスをキャプチャする可能性が高くなります。

著名な中国のスタートアップDeepseekは、最小限のコストで競争力のあるAIモデルを作成したと主張し、強力なニューラルネットワークDeepSeek V3のトレーニングにわずか600万ドルを費やし、2048グラフィックプロセッサを使用したと述べています。

画像：Ensigame.com

しかし、Semianalysisのアナリストは、DeepSeekが約50,000のNVIDIA Hopper GPUで構成される大規模な計算インフラストラクチャを運営していることを発見しました。これには、10,000 H800ユニット、10,000個の高度なH100、およびH20 GPUの追加バッチが含まれます。これらのリソースは、いくつかのデータセンターに配布されており、AIトレーニング、研究、財務モデリングに利用されています。

同社のサーバーへの総投資は約16億ドルに達し、運用費用は9億4,400万ドルと推定されています。

Deepseekは、中国のヘッジファンドの高級家の子会社であり、2023年にAIテクノロジーに焦点を当てた別の部門としてスタートアップを紡ぎました。クラウドプロバイダーからコンピューティングパワーをレンタルするほとんどのスタートアップとは異なり、DeepSeekはAIモデルの最適化を完全に制御し、イノベーションの高速化を可能にします。同社は自己資金のままであり、柔軟性と意思決定速度にプラスの影響を与えます。

画像：Ensigame.com

さらに、Deepseekの一部の研究者は、年間130万ドル以上を稼ぎ、中国の主要な大学から最高の才能を引き付けます（同社は外国人の専門家を雇いません）。

これを考慮しても、わずか600万ドルで最新のモデルをトレーニングするというDeepseekの最近の主張は非現実的に思えます。この数字は、トレーニング前のGPU使用のコストのみを指し、研究費用、モデルの洗練、データ処理、または全体的なインフラストラクチャコストを考慮していません。

Deepseekは設立以来、AI開発に5億ドル以上を投資してきました。ただし、官僚機構に悩まされる大企業とは異なり、Deepseekのコンパクト構造により、AIイノベーションを積極的かつ効果的に実装することができます。

画像：Ensigame.com

Deepseekの例は、資金提供された独立したAI会社が業界のリーダーと競争できることを示しています。それにもかかわらず、専門家は、同社の成功は主に投資、技術的なブレークスルー、強力なチームの数十億のためであることを強調していますが、AIモデルの開発のための「革新的な予算」についての主張はやや誇張されています。

それでも、競合他社のコストは依然として大幅に高くなっています。たとえば、モデルトレーニングのコストを比較してください：DeepseekはR1に500万ドルを費やしましたが、ChatGpt4oは1億ドルかかります。