OpenAIが発表したGeneBench-Proの特徴を解説
OpenAIは、計算生物学におけるAIエージェントの判断力を測る新ベンチマーク「GeneBench-Pro」を発表しました。曖昧な研究データを前に、AIが分析方針を選び、結果をどう判断できるかを評価する取り組みです。
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
GeneBench-Proは、AIの「研究判断力」を測るためのベンチマーク
OpenAIが発表した「GeneBench-Pro」は、計算生物学の研究でAIエージェントがどこまで判断できるかを測るためのベンチマークです。ベンチマークとは、AIの性能を一定の基準で評価するためのテストを指します。GeneBench-Proでは、AIが知識を答えられるかだけでなく、複雑な研究データを前にして、どの分析方法を選び、どの結果を信じるべきかまで評価します。
生命科学の研究データは、最初からきれいに整理されているわけではありません。見つかったパターンが本当に生物学的な意味を持つのか、それとも測定のばらつきやノイズなのかを見極める必要があります。また、手元のデータだけで目的の問いに答えられるのか、途中で分析方針を変えるべきなのかも判断しなければなりません。
GeneBench-Proが重視しているのは、研究中に必要になる判断の積み重ねです。OpenAIはこれを「research taste」と表現しています。直訳すると「研究のセンス」に近い言葉ですが、ここではデータを見ながら問いを整理し、分析方法を選び、必要に応じて方針を見直す力を指しています。単に手順通りに計算するだけではなく、研究者のように状況を読みながら進められるかを見ているのです。
GeneBench-Proは129問で構成され、ゲノミクス、定量生物学、トランスレーショナル医療など、計算生物学の幅広い領域を扱います。ゲノミクスは遺伝情報をまとめて解析する分野であり、トランスレーショナル医療は、研究で得られた知見を治療や医療応用につなげる考え方です。
特徴的なのは、問題が合成データをもとに作られている点です。合成データとは、実際の研究に近い構造を持たせながら、作成者がデータの原因関係を把握できるように作ったデータです。実際の研究データだけでは、分析者によって妥当な判断が分かれることもありますが、合成データを使うことで、正しい分析経路を選べているかを評価しやすくしています。
さらに、129問のうち82問は外部の専門家によるレビューを受けています。大学院生、ポスドク、企業研究者、教授などが、問題の現実性や答えを特定できるか、使われる手法が妥当かを確認しました。
GeneBench-Proは、AIが「答えを知っているか」を見るテストではありません。曖昧なデータを前にして、何を確認し、どの分析を選び、どの段階で結論を出せるのかを測るための仕組みです。次のセクションでは、最新モデルがGeneBench-Proでどの程度の結果を出しているのか、そこから見える可能性と課題を見ていきます。
最新モデルでも正答率は3割前後、AI研究支援の可能性と課題
GeneBench-Proの評価では、OpenAIの最も強いモデルであるGPT-5.6 Solが、最高推論レベルで28.7%の合格率を達成しました。Pro modeを有効にした場合は31.5%です。OpenAIによると、初期のGeneBenchを作り始めた時点では、当時の最前線モデルであるGPT-5でも5%未満だったため、難しい科学的な推論でも性能が伸びていることが分かります。
一方で、最も高い結果でも解けたのは3割前後にとどまっています。つまり、現在のAIエージェントは、生命科学の研究分析を最初から最後まで安心して任せられる段階ではありません。データの異常に気づいたり、分析方法を途中で見直したり、複数の結果をつなげて最終判断に落とし込んだりする部分には、まだ課題があります。
OpenAIは、AIが途中まで正しい観察をしても、最後まで結論をまとめきれないことがあると説明しています。これは、経験のある研究者と初心者の違いにも近いものです。経験のある研究者は、データの違和感に気づいたときに分析方針を変えたり、結果を広い文脈の中で判断したりできます。一方で、AIは一部のパターンを見つけられても、それを研究全体の判断へつなげることがまだ苦手な場合があります。
ただし、AIが研究に役立たないという意味ではありません。GeneBench-Proのレビュアーは、典型的な問題を人間の専門家が解くには20〜40時間ほどかかると見積もっています。一方で、AIの推論コストは1問あたり数ドル程度とされています。すべてを任せることは難しくても、分析方針の候補を出したり、データ探索を手伝ったりするだけでも、研究者の作業を支える可能性があります。
OpenAIは、代表的な10問をHugging Faceで公開し、今後は50問のサブセットをArtificial Analysisに提供して、第三者による評価にもつなげる予定です。GeneBench-Proは、AIが何を理解でき、どこで判断を誤りやすいのかを見える形にするための取り組みです。
データを集めるコストが下がり、分析や判断が研究の大きな課題になりつつある中で、AIが研究者をどう支援できるのかを考える材料になる発表だといえます。AIが科学研究に関わる範囲は広がっていますが、今回の結果を見ると、人間の専門家による確認や判断が引き続き重要であることも分かります。
まとめ
いかがだったでしょうか？
GeneBench-Proの発表を見て、AIの評価は知識量や作業スピードだけでなく、曖昧なデータをどう判断するかまで広がっているのだと感じました。
最新モデルでも正答率が3割前後にとどまっている点を見ると、科学研究の判断をAIにすべて任せるのはまだ難しそうですが、分析の方向性を出したり、データの確認を手伝ったりする役割は期待でき、AIは研究者の代わりではなく、考える時間を支える存在になっていくのではないかと思います。