blog

OpenAI BioBasicsBenchベンチマーク:Ligoと共同開発した湿式実験データ解釈能力の評価基準

OpenAI BioBasicsBenchベンチマーク:Ligoと共同開発した湿式実験データ解釈能力の評価基準

OpenAI BioBasicsBenchとは何か——100タスク・5領域で測る「実ラボ能力」

2026年11月、OpenAIはバイオテク企業Ligo(酵素設計専門)と共同で、AIエージェントの湿式実験(wet-lab)データ解釈能力を測るベンチマーク「BioBasicsBench」を公開した(blockchain.news、alphasignal.ai)。これは既存の数学・コーディング系ベンチマークとは性格が根本的に異なる。入力するのは方程式でも構造化データでもなく、ゲル画像、コロニープレート写真、顕微鏡データ、機器出力ファイルといった生の実験証拠だ。

ベンチマークは以下の5領域、計100タスクで構成される(blockchain.news、alphasignal.ai)。

  • タンパク質手法
  • イメージング・サイトメトリー
  • 定量・アッセイ
  • 核酸手法
  • 分子クローニング

タスクの審査は、Ligo社内科学者・外部のPhD湿式実験研究者・内部レビュアーによる3段階で行われており、設問の質を担保する仕組みが設けられている(blockchain.news)。ただし、ピペット操作やロボット実行といった物理的な実験作業は評価対象外であり、あくまでデータ読み取り・解釈能力の測定に特化している(alphasignal.ai)。

BioBasicsBench — 評価対象と評価対象外の区分評価対象(データ解釈)ゲル画像の読み取り・解釈顕微鏡・サイトメトリーデータ解析定量アッセイの数値判断核酸・クローニング手法の解釈⟷BioBasicsBench評価対象外(物理作業)ピペット操作・試薬調製ロボット実行・自動化プロセスサンプル前処理・培養操作実験設備の操作全般
図1:BioBasicsBenchが評価する「データ解釈能力」と、評価対象外の「物理的実験作業」の区分。AIが担える範囲と人間・ロボットが担う範囲の境界線を示す。

関連記事OpenAIのバイオセキュリティ対策と報奨金とは? / Google AIエージェントのDNA設計とは?

OpenAI BioBasicsBenchのスコアが示すモデル別の実力差

今回公開された評価結果(xhigh設定、タスクあたり5試行・計18,500結果)では、7モデル・37設定が評価されている(blockchain.news、alphasignal.ai)。スコアは部分点込みの平均ルーブリック報酬であり、単純な正答率とは異なる点に留意が必要だ(kingy.ai、alphasignal.ai)。

モデル スコア(xhigh) 95%信頼区間 備考
GPT-6 Astra 66.7% 60.3–73.1% 最高スコア・出力4,704トークン
GPT-6.1 Sol 62.0% 55.6–68.4% —
GPT-5.6 Sol 43.8% 37.6–50.0% —
GPT-6 Luna 38.3% 32.3–44.5% —
GPT-5.5 35.4% 29.7–41.0% —
GPT-5.4 33.2% 28.3–38.4% —
GPT-5.2 31.2% 26.2–36.3% —

最高スコアのGPT-6 Astraでも66.7%であり、3タスクに1タスク程度は誤りが生じる水準だ。スコアはOpenAIの自己報告値であり、第三者による再現確認はなされていない(kingy.ai)。信頼区間の幅も相当あることから、現時点では「ラボAIの絶対的な性能保証」として解釈するのではなく、モデル間の相対的な能力差を示す参考値として扱うのが妥当だ。

AIが誤りやすい典型パターンとして、コロニー数の約12%過大計測と、z-stackの焦点変化を生物学的変化と誤認する事例が報告されている(alphasignal.ai)。いずれも「自信を持って誤る」性質のエラーであり、専門家によるチェックなしに自動化パイプラインへ組み込んだ場合のリスクを端的に示している。

次に読む:GeneBench-Proを日本企業はどう活用?

AI創薬ベンチマーク「GeneBench-Pro」——日本企業の活用と実務判断

OpenAI BioBasicsBenchが日本の製薬・バイオ企業に問いかけること

このベンチマーク公開が日本の製薬・バイオ業界にとって意味を持つのは、AI導入議論の「何を測るか」という問いを鋭く提起する点にある。

国内製薬企業・CRO・研究機関では、AI活用の議論が画像診断・創薬インフォマティクス・臨床データ解析など上流・下流の工程に集中する一方で、湿式実験の日常的なデータ解釈——ゲルバンドの評価、コロニー数のカウント、フローサイトメトリーの解釈——は依然として研究員個人の判断に委ねられているケースが多い。BioBasicsBenchはまさにこの「実験室の日常的認知作業」をスコア化した初めての公開ベンチマークと言える。

導入検討の場面でこのベンチマークが実務的に機能するのは、ベンダー比較時の基準線として活用できる点だ。「当社のモデルはBioBasicsBenchで何点か」という問いを加えることで、湿式実験データ解釈への特化度を横断的に比較できる可能性がある。ただし、ベンチマークの5領域が自社研究フローと一致するかは個別に検証が必要であり、スコアを「現場への適合度」に直結させるのは性急だ。

BioBasicsBenchで評価されるゲル画像・顕微鏡データへの対応は、マルチモーダル処理能力の一形態に直接位置づけられる。

BioBasicsBenchの限界と日本企業が導入判断で押さえるべきリスク・実務対応

このベンチマークを導入判断の根拠とする前に、いくつかの構造的な限界を把握しておく必要がある。

自己報告という根本的な制約。スコアはOpenAI自身が測定・公表した値であり、独立した第三者機関による再現確認はなされていない(kingy.ai)。科学的なベンチマークとして成熟するには外部研究者によるクロス検証が不可欠だが、2026年11月時点ではそのプロセスはまだ走っていない。

66.7%は「限定的」と読む。最高スコアのGPT-6 Astraでも約34タスクに1タスクは誤りうる。コロニー計測の12%過大評価のように誤りが定量値として出力される場合、下流の実験設計に連鎖的な影響を与えるリスクがある(alphasignal.ai)。「AIが出したから正確なはず」という前提で結果を受け取る運用設計は危険だ。

物理的実験作業は評価外。BioBasicsBenchはデータ解釈能力のみを測定するものであり、ラボオートメーション(液体処理ロボット・自動培養装置等)との統合能力は別途評価が必要だ(alphasignal.ai)。「ラボ全体のAI化」の進捗指標としては過大評価になる。

英語圏のラボ慣行前提の可能性。タスク設計に関与したのはLigo科学者と外部PhD研究者(blockchain.news)であり、日本国内のラボプロトコルや試薬環境との差異は現時点で検証されていない。国内での適用可能性は独自の評価が必要と考えられる。

規制・バリデーション面の課題。製薬承認プロセス(GLP/GMP環境)においてAIによるデータ解釈を採用するには、PMDAとの事前相談を含む別途のバリデーション対応が必要だ。BioBasicsBenchのスコアは規制上の証拠能力を持たない。

こうした限界を踏まえた上で、日本の製薬・バイオ企業がいま取りうる実務的な次の一手は次のとおりだ。

自社の実験データ型との照合。ベンチマークの5領域が自社研究で頻度の高いデータ型と合致するかを確認する。タンパク質電気泳動やフローサイトメトリーを多用する部門には直接的な参考値になりうるが、NMRや質量分析が主体の場合は適合度が下がる可能性がある。

PoCスコープをデータ解釈作業に絞る。ラボAIの全面導入ではなく、「特定のルーティン判断タスク」をAIに試させる概念実証(PoC)設計が低リスクだ。PoCの評価指標にはスコアだけでなくエラー類型の確認を含めるべきだ。

ベンダー選定時にBioBasicsBenchスコアを要求項目に加える。今後、競合LLMプロバイダーが追随評価を公開すれば、ベンダー比較の共通言語として機能する可能性がある。RFP(提案依頼書)にこの基準を組み込んでおくことは中長期的な調達整備として有意義だ。

GLP/GMP対応の要否を事前に切り分ける。AIによる解釈結果を承認申請データの一部として使用する場合は、PMDAへの事前相談と社内バリデーション計画が必要になる。研究段階と規制申請段階では、AIの使い方と証拠性の要件が根本的に異なることを意思決定ラインが共通認識として持つ必要がある。

第三者再現結果の公開を待つ。当面は、OpenAIの自己報告値に基づく意思決定に慎重な態度を保ち、学術論文や独立研究機関による検証結果が出てきた段階で投資判断を本格化させる選択肢が安全側にある。2027年にかけてこのベンチマークを用いた独立評価が出てくると考えられる。


参考文献

AIニュースのまとめをメールで

毎週月曜、海外AIニュースの日次ダイジェストを1週間分まとめてお届けします。無料・いつでも配信を停止できます。

監修

河合 継(クリスタルメソッド株式会社 代表取締役)

AI・ディープラーニングに関する特許16件の発明者。過去、国立がん研究センターとの共同研究や、テレビ番組でのAI解説実績を持つAI研究者として、AIの研究開発を主導している。
運営会社について | 編集方針

Read next

あわせて読みたい

  • OpenAIが生物研究向けAI評価基盤「GeneBench-Pro」を公開——日本の創薬・バイオ企業が今すぐ注目すべき理由

    AI創薬ベンチマーク「GeneBench-Pro」——日本企業の活用と実務判断

    AI創薬ベンチマーク「GeneBench-Pro」の要点——何が発表されたか OpenAIは2026年6月30日、計算生物学を対象とするリサーチレベルのAI評価...

  • OpenAIのバイオセキュリティ脆弱性対策と最大5万ドルの報奨金から学ぶAIガバナンス

    OpenAIのバイオセキュリティ脆弱性対策と最大5万ドルの報奨金から学ぶAIガバナンス

    OpenAIがバイオセキュリティ領域の脆弱性対策を強化、最大5万ドルの報奨金制度から日本企業が学ぶべき「AIセキュリティ」 人工知能(AI)の急速な進化に伴い、...

  • Google AIエージェントがDNA設計に参入――バイオ×AI融合の研究活用と日本企業への示唆

    Google AIエージェントがDNA設計に参入――バイオ×AI融合の研究活用と日本企業への示唆

    Google AIエージェントがDNA設計に踏み込んだ――何が起きたか 2026年10月16日、Google ResearchはDNAアプタマーを実験室で設計・...

View more