AIの10億ドル規模のボトルネック：問題はモデルではなく高品質なデータ｜Opinion

AIは次の1兆ドル規模の産業になるかもしれませんが、静かに大きなボトルネックに近づいています。誰もがより大きく、より強力なモデルの構築を競い合う中、差し迫った問題がほとんど対処されていません。それは、数年以内に利用可能なトレーニングデータが枯渇する可能性があるということです。

EPOCH AIによると、大規模言語モデルのトレーニングデータセットの規模は2010年以降、年間約3.7倍のペースで増加しています。このペースが続けば、2026年から2032年の間に世界の高品質な公開トレーニングデータが枯渇する可能性があります。

その壁に到達する前から、ラベル付きデータの取得とキュレーションのコストはすでに急騰しています。データ収集およびラベリング市場は2024年に37.7億ドルと評価されており、2030年には171億ドルに膨れ上がると予測されています。

このような爆発的な成長は明確なチャンスを示唆していますが、同時に明確なボトルネックも示しています。AIモデルは、トレーニングに使用されるデータの質に依存しています。新鮮で多様かつ偏りのないデータセットのスケーラブルなパイプラインがなければ、これらのモデルの性能は頭打ちになり、その有用性も低下し始めます。

したがって、本当の問題は次の偉大なAIモデルを誰が構築するかではありません。誰がデータを所有し、それがどこから来るのか、ということです。

AIのデータ問題は想像以上に深刻

過去10年間、AIのイノベーションはWikipedia、Common Crawl、Reddit、オープンソースのコードリポジトリなど、公開されているデータセットに大きく依存してきました。しかし、その資源は急速に枯渇しつつあります。企業が自社データへのアクセスを厳しく制限し、著作権問題が山積する中、AI企業はアプローチの見直しを迫られています。政府もデータスクレイピングを制限する規制を導入しており、パブリックな意識も、無償のユーザー生成コンテンツで数十億ドル規模のモデルをトレーニングすることに否定的に傾きつつあります。

合成データは提案されている解決策の一つですが、リスクの高い代替手段です。モデルがモデル生成データでトレーニングされると、フィードバックループや幻覚、時間の経過による性能低下を引き起こす可能性があります。また、品質の問題もあります。合成データは実世界の入力にある雑多さや微妙なニュアンスに欠けており、これはAIシステムが実用的なシナリオで優れたパフォーマンスを発揮するために必要な要素です。

そのため、実世界の人間が生成したデータがゴールドスタンダードとなりますが、それを入手するのはますます困難になっています。Meta、Google、X（旧Twitter）など、人間データを収集する大手プラットフォームの多くは壁に囲まれたガーデンです。アクセスは制限され、収益化され、あるいは禁止されています。さらに悪いことに、これらのデータセットは特定の地域、言語、人口統計に偏りがちであり、多様な実世界のユースケースで失敗するバイアスのあるモデルを生み出します。

要するに、AI業界は長らく無視してきた現実に直面しようとしています。巨大なLLMを構築することは戦いの半分に過ぎません。それにデータを供給することがもう半分なのです。

なぜこれは本当に重要なのか

AIのバリューチェーンには、モデルの作成とデータの取得という2つの部分があります。過去5年間、ほぼすべての資本と注目はモデルの作成に注がれてきました。しかし、モデルサイズの限界に近づくにつれ、ついに方程式のもう半分に注目が集まり始めています。

モデルがコモディティ化し、オープンソースの代替や小型化、ハードウェア効率の高い設計が進むなら、本当の差別化要因はデータになります。ユニークで高品質なデータセットこそが、どのモデルが優れているかを決定づける燃料となります。

また、データは新たな価値創造の形ももたらします。データ提供者はステークホルダーとなり、開発者はより新鮮でダイナミックなデータにアクセスできます。そして企業は、ターゲットオーディエンスにより適合したモデルをトレーニングできるようになります。

AIの未来はデータ提供者の手に

私たちはAIの新時代に突入しています。そこでは、データを支配する者が真の力を持つことになります。より優れた、より賢いモデルをトレーニングする競争が激化する中で、最大の制約は計算能力ではありません。本物で有用、かつ合法的に使用できるデータを調達することが最大の課題となります。

今問われているのは、AIがスケールするかどうかではなく、そのスケールを誰が支えるのかということです。それはデータサイエンティストだけではありません。データスチュワード、アグリゲーター、貢献者、そしてそれらを結びつけるプラットフォームが担うのです。そこに次のフロンティアがあります。

ですから、次に人工知能の新たなフロンティアについて耳にしたときは、誰がモデルを構築したかではなく、誰がそれをトレーニングし、データがどこから来たのかを尋ねてください。結局のところ、AIの未来はアーキテクチャだけでなく、入力データにかかっているのです。