何が起きたか
Artificial Analysisが「Search Index」を公開しました。AIエージェントが使う検索APIプロバイダーを、品質・コスト・速度の3軸で評価する指標です。初回の対象はParallel、Exa、Firecrawl、You.com、Tavily、Keenable、Braveの7社。
評価方法は単純明快です。同じモデル(GPT-5.6 Luna)を同じエージェント構成で動かし、検索プロバイダーだけを入れ替える。エージェントの実行基盤にはArtificial Analysisのオープンソースフレームワーク「Stirrup」を使い、1タスクあたり25回の実行機会の中で検索とWebページ取得を行わせます。
スコアは3つのベンチマークを等分に合成したものです。複数回の検索が必要な調査系設問900問の「DeepSearchQA」、多段階のブラウジングを要する見つけにくい事実200問の「BrowseComp」サブセット、6つの知識領域にまたがる600問の「AA-Omniscience」。比較の基準点として、ツールを一切使わずモデル単体で答える構成も測定されています。
なぜ重要か
注目すべきは、ツールなしのベースラインが33点だったのに対し、検索を与えると65〜75点まで跳ね上がる点です。エージェントの回答品質を決めているのは、モデルの賢さだけではなく「どの検索APIをつないだか」だという事実が、数字で可視化されました。
これまでAIエージェントの性能議論は、ほぼモデル選定の話でした。しかしRAGやディープリサーチ型の用途では、検索レイヤーが同等かそれ以上の変数になる。Search Indexはその変数を初めて標準化された条件で測ったもので、エージェント開発の意思決定に新しい軸を持ち込みます。
「安い検索」「速い検索」が総額では損になる
このベンチマークで最も実務的に効くのは、コストと速度に関する2つの逆説です。
1つ目はコスト。 Parallel Searchのadvanced版はBasic版に比べ、モデルのトークン消費が40%以上減りました。検索1回あたりの単価は上がるのに、タスク全体では0.084ドル対0.11ドルで安く済んでいます。良い検索結果が最初に返ってくれば、エージェントは何度も検索し直す必要がなく、無駄なトークンを吐かないからです。検索APIの単価だけを見て選ぶと、LLM側の請求書で取り返されるという構図です。
2つ目は速度。 Parallel Search(turbo)は1クエリあたりの応答が0.51秒と最速で、Basicの1.03秒の半分以下です。ところが品質は67点と、Basicの73点に劣る。結果としてエージェントは追加の探索を繰り返すことになり、タスク全体の所要時間はほぼ変わりませんでした。「クエリ単位のレイテンシ」というベンダーが訴求しやすい指標が、ユーザー体験としての速さと一致しないことを示しています。
Artificial Analysisは、コストと性能のバランスが最も良い選択肢としてParallel、Firecrawl、Parallel(turbo)を挙げています。
評価の前提を読む
このランキングをそのまま自社に当てはめる前に、前提を確認する価値はあります。モデルはGPT-5.6 Luna1種類に固定されており、別のモデルでも同じ序列になるかは示されていません。設問も英語圏の一般的な調査タスクが中心で、日本語の情報探索や業界特化のクエリでの挙動は別の話です。
ただし方法論は全面公開されており、他のプロバイダーも参加を申請できます。Stirrupがオープンソースである以上、自社のタスクセットに差し替えて同じ枠組みで測り直すことは技術的に可能です。ベンダー提供のベンチマークではなく、第三者が同一条件で測っているという点自体が、この指標の価値の核心にあります。
💼 事業会社視点:これは自社にどう効くか
AIエージェントを組み込む事業会社にとって、この結果は調達の考え方を変える材料です。
まず、検索API選定を「インフラの細部」から役員案件に格上げすべきです。 検索なし33点、検索ありで最大75点という差は、機能の巧拙ではなくプロダクトが成立するかどうかの差です。自社のAI機能の品質が伸び悩んでいるなら、モデルの乗り換えより先に検索レイヤーを疑う価値があります。
次に、コスト評価の単位を「検索単価」から「タスク総額」に切り替えてください。 advanced版が単価は高いのに総額0.084ドルとBasicの0.11ドルより安いという事実は、調達部門が単価表で比較する慣行と真正面から衝突します。SaaS事業者やEC事業者がAI検索機能を持つなら、KPIは検索API費用ではなく「1問い合わせあたりのLLM費用込み総原価」であるべきです。
受託開発・SIerには提案の武器になります。 「1クエリ0.51秒」といった速度スペックが総所要時間の短縮に結びつかない事例が公開データとして存在する以上、顧客のスペック比較を実測ベースの議論に引き戻せます。Stirrupはオープンソースなので、顧客の実データ・日本語クエリで再現テストを行い、その結果を成果物として納める提案は差別化になります。今回の���象7社はいずれも英語圏中心のプロバイダーであり、日本語での序列は誰も測っていない——そこが国内プレイヤーの空白地帯です。