このサイトを作った理由

AIモデルの状況は週単位で変化します。新しいモデルが登場し、料金体系が変わり、スループットが更新され、ベンチマークのランキングが入れ替わる。本番環境でモデルを選定する際には、ユーザー体験・運用コスト・開発スケジュールに直結する判断が求められます。そのためには、信頼性が高く、最新の比較データが不可欠です。

現時点で最も高速なモデルはどれか。実際の総コストはいくらか。コーディング・推論・クリエイティブといった用途別に、能力はどう異なるのか。

いずれも基本的な問いですが、正確に答えることは容易ではありません。性能データはベンダーごとに散在し、価格の表記方法は統一されておらず、公開された比較情報の多くは数週間で陳腐化してしまいます。

さらに、モデルの能力がどのように伝えられるかという構造的な偏りがあります。新しいモデルが発表される際、強調されるベンチマークはそのモデルが優位性を持つ領域に集中します。各社が強みを前面に出すことは自然なことです。しかしその結果、実務者が目にするのは各モデルの「勝っている部分」だけを集めた景色になります。不得意な領域やトレードオフは、多くの場合、導入を決めた後に初めて明らかになります。

このプロジェクトは、CyberAgentのAIドリブン推進室から生まれました。CyberAgentグループはインターネット広告、メディア、エンターテインメントをはじめとする多様な事業を展開しており、数多くの子会社・事業部がそれぞれのユースケースでAI活用を推進しています。モデルプロバイダーを評価するための信頼性の高いリファレンスが必要になったとき、グループ内のすべてのチームに確実に届ける最もシンプルな方法は、公開することでした。

社内用のスプレッドシートがダッシュボードになり、やがてオープンソースプロジェクトへと発展しました。公開したことで、グループ内のどのチームも常に最新のデータにアクセスできると同時に、社外の開発者コミュニティにも同じリソースを提供できるようになりました。スタートアップの創業者でも、個人開発者でも、エンタープライズアーキテクトでも、私たちが自社グループのために構築したリファレンスを同じように活用いただけます。

データだけでなく、その算出方法についても透明であることを目指しています。以下に現在の方法論と、その限界を記載します。

方法論は段階的に改善していく計画です。まず、競争的評価プラットフォームによるELOベースのランキングを取り入れること。静的なベンチマークよりも、モデル間の相対的な実力を正確に捉えることができます。次に、独立した研究者による評価の比重を高めること。ラボ公式の数値よりも、実務的な性能をより正確に反映する傾向があります。そして、スコアを手動ではなく体系的に更新できる、再現可能な評価パイプラインの構築です。なお、改善にあたっては意図的に慎重なアプローチを取ります。ラボには人気のあるベンチマークに最適化するインセンティブがあり、ベンチマークへの過度な最適化は実際の性能と乖離したスコアを生み出す可能性があるためです。方法論に変更を加えた際は、その内容を公開して記録します。