Google Deep Reviewを実験系の論文で試した|AIの指摘を計算と図で検証した結果

AIのロボットが論文を読んでいるイラスト(Google Deep Reviewを実験系の論文で試した)

2026年10月14日に公開されたGoogleの「Deep Review」をオープンアクセスの燃料電池の実験論文で試しました。結論は数値の整合の確認には強い一方、図の読み取りと補足資料がないと判断できない点には注意が必要というものです。AIが出したレポートの指摘を論文本文と補足資料(Supporting Information、以下SI)の数値や図に照らして一つずつ確認しました。その結果、計算で裏付けられた指摘、図を読み違えたと思われる指摘、補足資料を渡していなかったために生じた指摘が見つかりました。論文の説明を補うと分かりやすくなるもっともな指摘もありました。

この記事ではその検証結果をまとめます。目的はAIの指摘の正誤を確認することで論文や著者を評価するものではありません。Deep Reviewの指摘には「Major」「Minor」「Suggestion」の区分があります。今回のレポートには19件の指摘があり、内訳はMajorが5件、Minorが10件、Suggestionが4件でした。このうち今回は「Major」と判断された指摘を中心に確認しました。「Minor」には誤字脱字のほか、配合量や触媒の組み合わせなど条件の書き方に関する指摘もあり、その一部も確認しました。「Minor」の残りと「Suggestion」は軽微な内容が多いようだったため、少し目を通しただけです。すべての指摘を確認したわけではなく、どの区分にも筆者の見落としがあるかもしれません。

目次

Deep Reviewとは

Deep ReviewはGoogle Researchが2026年10月14日に一般公開した論文などの技術文書を点検するAIです。数式の誤りや論理の飛躍、根拠の足りない主張を見つけることを目的としていて、結果が返るまでに10〜20分ほどかかるとされています。もともとはコンピュータサイエンスの論文向けに作られ、その後ほかの分野の文書にも対象が広がっています。

公式ブログによると全てのユーザーが週2回まで無料でレビューを受けられます。入力形式はPDFとプレーンテキストで、複数ファイルへの対応は近日予定とされています。なお、2026年10月23日時点のポータルのFAQにはGoogleドキュメントとスライドにも対応していると書かれています。アップロードした文書は許可なくモデルの学習には使われず、表示のために最長1年間保存されると説明されています。ポータルのFAQにはDeep Reviewの改善のためにデータを使うことを任意で許可(オプトイン)できるとも書かれています。これらは変わることがあるため、利用前に公式の案内で確認してください。筆者は無料枠で試しました。

試した論文と条件

試した論文

  • 論文名: Liquid Water Visualization in the Pt-Loading Cathode Catalyst Layers of Polymer Electrolyte Fuel Cells Using Operando Synchrotron X-ray Radiography
  • 著者: Wataru Yoshimune, Akihiko Kato, Tetsuichiro Hayakawa, Satoshi Yamaguchi, Satoru Kato
  • 掲載誌: Advanced Energy and Sustainability Research, 2024, 5, 2400126
  • DOI: 10.1002/aesr.202400126
  • ライセンス: CC BY 4.0

白金(Pt)を含む燃料電池の触媒層はX線を強く吸収するため、作動中の水の様子を観察するのが難しいとされてきました。この論文はX線の通る距離を2 mmに短くし、触媒層を厚さ約30 µmで作製することで放射光X線ラジオグラフィーによる観察を可能にしています。そのうえで、温度・湿度・電圧が触媒層内の液水に与える影響と発電開始直後の水の溜まり方を調べています。なお、6 mmのセルでも測定されていますが、画像は2 mmのセルより不鮮明だったと書かれています。以降の解析は2 mmのセルのデータです。

アップロードした内容と所要時間

アップロードしたのは論文本文のみで補足資料(SI)は含めていません。結果が出るまでの時間は計測しておらず、10分ほどだったと記憶していますが確かではありません。

使い方の流れ

  1. Deep Reviewのページを開きGoogleアカウントでログインします。
  2. トップ画面の「Upload document」でPDFを選びます。「Paste text」を選ぶと本文のテキストを貼り付けることもできます。
  3. 「Add custom context」は任意の入力欄です。画面には重点的に見てほしい節や投稿先の学会・ジャーナルなどを書けると案内されています。筆者は今回この欄を使っていません。
  4. 「Upload Document for Review」を押すと下の「Your documents」に文書が並びます。ステータスが「Completed」になったら「View Review」で結果を開きます。

画面には無料枠を超えて使いたい場合はGemini APIキーを登録して追加のレビューを受けられるという案内もありました。筆者は無料枠のみで試しています。

Deep Reviewのトップ画面。アップロード欄とレビュー完了済みの文書一覧
Deep Reviewのトップ画面(2026年10月18日に筆者が撮影)。文書一覧にレビュー完了の表示が出ている

レポートの構成

レポートは要約、強み、弱み、そして本文を節ごとに分けた「指摘と提案」で構成されていました。各指摘には該当するページや図が書かれていました。

Deep Reviewの結果画面。右側にSummaryとStrengthsが表示される(左の論文本文はモザイク処理済み)
結果画面の例。右側にSummaryとStrengthsが表示される(左の論文本文はモザイク処理済み)

AIの主な指摘を一つずつ検証した

本文に出てくる主な用語です。CL=触媒層、MPL=マイクロポーラス層、SI=補足資料、PEM=固体高分子膜、CCM=触媒層付き電解質膜、RH=相対湿度、I/C=アイオノマー(電解質ポリマー)と炭素の質量比、リブ=セパレーターの流路の仕切り部分、チャネル=ガスが流れる溝、デカル転写=別の基材の上で作った触媒層を膜へ転写する方法、MEA=膜電極接合体。

確認の方法は計算と図の目視で、図1、図5b、図S2dはImageJで値を読み取りました。計算の一部は生成AIを用いて行いました。図から読み取った値は概算です。表の「確認」は、AIの指摘が論文と合っていたことを表します。補足資料(SI)はAIに渡していませんが確認の際には参照しました。筆者もDeep Reviewの結果をなるべく早く確認するために論文を急いで読んだため、筆者側にも読み違いや見落としがある可能性があります。

NoAIの指摘(要約)確認方法結果
1配合量の988 mg・767 mgは、乾燥ポリマーではなく分散液の質量である配合から計算確認
2視野(665.6 µm)、活性面積(0.08 cm²)、飽和度(約0.29)の数値は整合している計算確認
3図1の透過率が表1と本文の値と合わない表1の値で計算、図1をImageJで読み取り表1の丸めにより再計算が合わないように見える点は理解できる。ただしAIの図1の読み取りは誤り(φsolid=0.40の推定は根拠不十分)
4図4・図5bで、MPL/CL界面の水がCLより多い(特定のセル電圧、発電初期0〜15秒)図4と図S12の目視、図5bはImageJで読み取り誤り(図の読み違いと思われる)。層の順序づけは図から妥当に見えるが、基準の記載は見つけられず
580% RHと100% RHの水の厚みの説明が分かりにくい図S12aと表S2確認(説明があるとより分かりやすい点は指摘どおり。筆者の読み取りでは、図S12aの向きは本文と逆に見える)
6図S10bの引用が重複し、温度の傾向は図S12bのはず本文とSI確認(引用の対応が分かるとより読みやすい)
7図5aの縦軸ラベルが値の意味と合わない図5a確認(軸ラベルの補足があると分かりやすい)
8図5aの軸ラベルの綴り(form)図5a確認(軽微な表記の指摘)
9結論の「reduced CL thickness」は紛らわしい本文確認(表現の補足があると分かりやすい。意図は読み取れる)
10位置ずれと膨潤の扱いが不明SI(S7、S8)一部SIで補足(測定方法と値、位置合わせの必要性)。具体的な補正方法は筆者は見つけられず、指摘はもっともだと思う
11触媒の組み合わせ(2 mm/6 mm)が不明本文2.1・SI(S6c)一部SIで補足(図S6cで2 mmセルは30 wt%と読める)。6 mmセルは、本文2.1節の設計計算では10 wt%と組み合わされているが、実測セルの明記は見つけられず
12気孔率0.7・厚さ30 µmは一般的な触媒層と違う論文・SI指摘はもっともだと思う。スプレーCCMの一般化には注意が必要
13基板/MPLの侵入領域の区分(Substrate/MPL Intrusion Zone Division)本文2.3.1・SI(S6)一部補足あり(本文2.3.1とSIの図S6に区分方法の説明)。midpointの理由や感度解析は、あるとより理解しやすい
14ビン幅とエラーバーの定義が確認できない(Unspecified Bin Widths and Error Bar Definitions)論文・SI指摘はもっともだと思う。ビン幅の数値は見つけられず、エラーバーの定義も図4などでは見つけられず(SIのS9は表S2のみ)
150.4 Vのプラトー・10秒付近の変曲点・チャネル下の枯渇の物理的な説明をさらに求める(Physical Mechanism of the 0.4 V Plateau, 10 s Inflection Point, and Under-Channel Depletion)論文指摘はもっともだと思う。0.4 Vの飽和、10秒の変曲、チャネル下に水がない理由は、議論があるとより理解しやすい

確認できた指摘

No.1は配合から計算すると、I/C=0.75にするための乾燥ポリマー量は10 wt%の触媒では約203 mg、30 wt%の触媒では約159 mgです。988 mgと767 mgは約20.6%の分散液の質量と考えると辻褄が合います。

No.3は図1の透過率が表1や本文の値と合わないという指摘です。まず表1の値で計算すると30 wt%・2 mmの透過率の差が約1.1%で、本文の記述と一致しました。次に図1の曲線をImageJで読み取りました。この検証はSIを参照せず、Deep Reviewと同じ本文のみの条件で行いました。

曲線Dry(Deep Review)Dry(ImageJ)Wet(Deep Review)Wet(ImageJ)
10 wt% Pt/C(黒線、6 mm)0.0520.0570.0370.007
30 wt% Pt/C(赤線、2 mm)0.0630.0470.0520.022
図1の透過率の比較(ImageJの値は筆者が図から読み取った概算)

画像から読み取った値なので多少のズレはありますが、DryとWetの差は二つの曲線のどちらでもAIが読み取った値より大きくなりました。AIが図1から読み取った値には誤りがあったと思われます。ただし、表1の数値が丸められているため、表1から再計算した値と図1が一致しないように見えるという指摘は理解できます。図1の計算条件の補足があると分かりやすいという内容だと考えます。一方、Deep Reviewは図1がφsolid=0.40で計算されたと推定していましたが、この推定を支える根拠は現時点では十分ではないと思います。なお、図1の曲線から読み取った差は30 wt%・2 mmで約2.5%、10 wt%・6 mmで約5.0%で本文の約1.1%、約1.5%より大きく見えます。

10 wt%・6 mmについては、表1のPtの体積分率(0.2 vol%)で計算すると差は約2.2%で、本文の約1.5%とは異なる値になりました(レポートにも同じ計算結果が書かれています)。ただ、表1のPtは小数第1位までの丸めた値で、この条件では結果が大きく変わります。Ptが0.15〜0.25 vol%の範囲で差は約3.6%から約1.4%まで動きます。そのため、この差が実際の食い違いかどうかは今回の確認では判断できませんでした。

参考として触媒インクの配合から体積分率を試算しました(10 wt% Pt/C、I/C=0.75、空隙は表1と同じ0.60)。論文には炭素とアイオノマーの密度が書かれていません。表1の炭素22.7 vol%、アイオノマー17.1 vol%は、両者の密度が同じなら再現できるため、どちらも同じ2.1 g/cm³と仮定しました(Ptは21.45 g/cm³)。この密度の値は生成AIを用いて算出したため、誤りを含む可能性があります。密度の値によってPtの体積分率と透過率の差は変わります(1.9 g/cm³で約1.9%、2.2 g/cm³で約1.4%)。透過率はT=exp(−μ×l)で、l=0.6 cmです。

  • 触媒1 gあたりの体積: Pt 0.097÷21.45=0.00452 cm³、炭素 0.903÷2.1=0.430 cm³、アイオノマー 0.75×0.903÷2.1=0.3225 cm³(合計0.757 cm³)
  • 固体の体積分率は1−0.60=0.40なので、Pt=0.40×0.00452÷0.757=0.00239(0.24 vol%)、炭素=0.227、アイオノマー=0.170
  • μ_dry=0.00239×1613.52+0.227×2.57+0.170×11.38=6.374 cm⁻¹、μ_wet=6.374+0.60×3.44=8.438 cm⁻¹
  • T_dry=exp(−6.374×0.6)=2.18%、T_wet=exp(−8.438×0.6)=0.63%、差=約1.55%

密度を炭素1.8 g/cm³、アイオノマー2.0 g/cm³と分けて仮定すると、炭素とアイオノマーの体積分率が表1と合わず6 mmの差は約2.1%でした。結果は密度の仮定に左右されるため、表1と本文の値が合っているかどうかはこの方法では断定できません。

なお、レポートは丸めないPtの体積分率として0.148 vol%(10 wt%)と0.701 vol%(30 wt%)を挙げていますが、10 wt%の上の試算(0.24 vol%)とは合いませんでした。また、レポートの推定条件(φsolid=0.40、Ptは丸めない値)で筆者が計算しても、レポートに書かれた値(1.53%、1.14%)は再現できませんでした。

No.5は80% RHと100% RHの水の厚みの説明が分かりにくいという指摘です。AIは80% RHの方が水の厚みが小さいことと100% RHの発電量が低いことを結びつける本文の説明が分かりにくいとしていました。本文2.3.2節の説明はAIの指摘のとおり、筆者にも読み取りにくい部分がありました。なお、筆者がSIの図S12aを見たところCLのリブ下の水の厚みは80% RHの方が厚く見えました(80% RHで約0.36 mm、100% RHで約0.24 mm、図からの読み取り)。本文の記述とは向きが逆に見えますが、筆者の読み違いの可能性もあります。表S2では100% RHの発電量が少ないため、図の向きのほうが発電量とは合うように見えます。この点は説明があるとより分かりやすいと思います。

No.14はビン幅(Bin Width)とエラーバーの定義が書かれていないという指摘です。ビン幅は本文に「Binning was performed」という記載があり、幅の数値は本文とSIで見つけられませんでした。エラーバーは図4や図S12に付いていますが定義は本文で見つけられず、SIのS9に「エラーバーは標準偏差」とあるのは表S2(電流密度)のところです。記載があると図をより読みやすくなると思うのでAIの指摘はもっともだと思います。

No.15はなぜ0.4 Vで飽和するのか、なぜ10秒で変曲するのか、なぜチャネル下に水が存在しないのか、という点の議論が十分でないという指摘です。この指摘のように議論の補足があるとより理解しやすいと感じました。AIが挙げた、毛管ブレークスルー、液相の連続経路の形成、チャネル下での蒸気輸送などの議論もあると良いと感じました。

AIが図を読み違えたと思われる指摘

No.4はAIが特定のセル電圧ではMPL/CLの水の厚みがCLより大きいと指摘していた点です。本文の図4ではどのセル電圧でもCLの方がMPL/CLより大きく、図S12でも同じように見えました。本文2.3.2節にもMPL/CL界面の水はCLより少ないと書かれています。図5bもAIは発電初期(0〜15秒)にMPL/CLがCLより大きいとしていましたが、筆者には発電開始後およそ5〜6秒まではMPL/CLとCLがほぼ重なり、その後挙動が分かれてCLの方が大きくなるように見えました。どちらもAIの図の読み違いと思われ、MPL/CL界面とCLの水の多さの比較にもこの読み違いが影響していると考えられます。なお、CL → MPL/CL → 基板という層ごとの順序づけについては、図では立ち上がり直後はCLとMPL/CLがほぼ同じで数秒後からCLの方が大きくなるため、論文の考察は妥当に見えます。ただし、順序づけの基準(立ち上がりの傾きか、飽和までの時間か)とMPL層の位置づけについては、筆者が読んだ範囲では記載を見つけられず、AIの指摘のとおり補足があると分かりやすいと感じました。

補足資料で一部補えた指摘

No.10は本文の2.2節に位置ずれ±1 µmと膜(PEM)の膨潤約0.3 µmが書かれており、AIはこの数値を知っていました。SIには位置ずれの測定方法と温度別の値(0.36〜0.91 µm、表S1)、膨潤の計算の根拠(S8、図S9)が書かれています。SIのS8には乾燥時と湿潤時の画像の位置合わせが必要だと書かれています。ただ、境界での具体的な補正方法については、筆者は本文とSIで記載を見つけられませんでした。補正方法の説明があるとより分かりやすいというAIの指摘はもっともだと思います。

No.11はSIの図S6cに「CL(30 wt% Pt/C)」の曲線があり、2 mmセルは30 wt%と読めます。ただし、本文だけをアップロードしたため、AIはこの図を見ていません。AIは「同じPt厚みなので2 mmが30 wt%、6 mmが10 wt%だろう」と推測したうえで、明記がない点を指摘していました。6 mmセルについては本文2.1節の設計計算で10 wt% Pt/Cと組み合わされていますが、実際に測定した6 mmセルの触媒は本文とSIで明記を見つけられませんでした。

No.12は気孔率0.7・厚さ30 µmが一般的な触媒層と違うという指摘です。本文2.3.1にはスプレー塗布した触媒層の気孔率が約0.7(一般的な触媒層は0.6)と書かれています。SIの図S2dではスプレー塗布のCCMがデカル転写より酸素輸送抵抗が大きく見えます(約1.7〜1.9倍、ImageJで図から読み取り)。また、30 µmのスプレーCCMを一般的なMEAへ一般化できるかについては、スプレーCCMとデカルCCMは同一ではないと論文の著者もコメントしている通り、注意が必要だと思います。

No.13は基板/MPLの侵入領域(Intrusion Zone)の区分についての指摘です。本文2.3.1には侵入領域は研究の範囲外として定義せず、基板とMPLの輝度の中間点(midpoint)で分けたと書かれていて、区分の元になった輝度の分布はSIの図S6a・bにあります。一方、midpointを選んだ理由や、その選び方による結果の違い(感度解析)は筆者が読んだ範囲では見つけられず、あるとより理解しやすいと感じました。

得意だったことと苦手だったこと

得意だったこと

  • 配合量や換算など数値の整合の確認
  • 図番号の参照や軸ラベルなど、表記の対応関係の指摘
  • ビン幅やエラーバーの定義、メカニズムの説明など補足があると分かりやすい点の指摘(No.14、15)

苦手だったこと

  • 図の読み取り(No.3:図1、No.4:図4・図5b)
  • 補足資料がないと判断できない点(No.11、No.10の一部)
  • 計算条件の推定に十分な根拠がない場合がある(No.3)

今回は1本の論文での1回の試行です。ほかの論文でも同じ結果になるとは限りません。また、筆者の確認も急いで行ったため、読み違いや見落としがある可能性があります。

使うときの注意

  • 未公開の原稿や会社の文書はアップロードしないでください。公式の案内では許可なくモデルの学習には使われないと説明されていますが、データの扱いと保存期間は最新の内容を公式ページで確認してください。
  • 補足資料は別ファイルのことが多いですが、公式ブログでは複数ファイルへの対応は近日予定とされています。補足資料も含めて点検したい場合は最新の案内を確認してください。
  • AIの指摘は論文と照合してから使ってください。
  • 英語以外の文書への対応は公式の案内に記載を確認できませんでした。筆者が試したのは英語の論文でレポートも英語で出力されました。英語の論文を読む人には問題になりにくいと思いますが日本語の文書で使う場合は事前に確認してください。

点検の下調べには使えるが読む代わりにはならない

記憶では10分ほどで数値の整合や表記の揺れ、説明を補うと良い点を洗い出せました。一方で、図の読み取りや補足資料との照合には人の目が必要でした。

まとめ:数値の整合チェックは頼れるが図の読み取りと補足資料の欠落には注意

Deep Reviewは実験系の論文でも数値の整合や表記の揺れ、説明を補うと良い点を指摘できました。一方で、図の読み取りを誤ったり補足資料がないと判断できなかったりしました。指摘はそのまま信じず論文と照合してから使うのが良いと思います。

※ 本記事は筆者個人の見解であり所属する組織とは無関係です。また、Googleの公式な内容ではありません。

参考文献

あわせて読みたい

AIのロボットが論文を読んでいるイラスト(Google Deep Reviewを実験系の論文で試した)

この記事が気に入ったら
フォローしてね!

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

【プロフィール】
✓ 化学系の課程博士です
✓ 企業R&Dで研究開発業務に従事しています
✓ 何か発信できればと思いブログを始めました
✓ 最近はAI関係にも興味があります
プロフィール詳細はこちら

コメント

コメントする

目次