研究過程與各模型結果

從日常提問開始：37 份 AI 回答的比較

正式報告不是一開始的做法。同一題先交給 13 個網頁聊天機器人（chatbot）與兩輪 agent（能自己查資料庫、讀文獻、寫報告的 AI 程式）各答一次，模擬平常直接問 AI 的用法；再逐筆查證引用、由模型評審盲評，最後以審稿人的立場讀原始文獻，建立標準答案。

每個模型的回答：時間、模型、正確性

同一道題，不同模型、不同介面，作答時間從 1 分鐘到 2 小時，正確性也各不相同。決策正確率是對照標準答案、只扣會改變臨床決策的錯；評審分數為兩位模型評審的中位數。

網頁聊天機器人（13 份）
模型與模式介面作答時間（分）決策正確率正確性（1–6）第一題／第二題完整性（1–3）第一題／第二題引用實質錯誤／引用數
Grok 4.7 專家（只答第一題）Grok 網頁8100.0%3.5／-1／-0／2
GPT-6ChatGPT 網頁2991.7%5.5／5.52.5／30／16
GPT-5.6 SolChatGPT 網頁4090.9%5／53／32／22
Grok 快速Grok 網頁288.5%5／41.5／20／8
Sonnet 5.5Claude.ai 網頁986.7%4.5／52／2.51／31
Gemini ArgonGemini 網頁785.3%3.5／2.52／27／29
MuseMuse 網頁-84.6%5／4.52.5／20／36
Fable 5.1Claude.ai 網頁1384.2%4.5／4.52.5／2.50／31
Gemini ProGemini 網頁381.2%4／2.51／22／7
Grok 自動Grok 網頁281.0%3.5／4.51／20／10
Gemini Flash-LiteGemini 網頁180.0%2.5／3.51／1.51／5
Opus 5.5Claude.ai 網頁1279.5%4.5／4.52／2.51／46
Haiku 5.5Claude.ai 網頁275.0%4／41／20／22
agent 第二輪：流程修正後（10 份）
模型與模式介面作答時間（分）決策正確率正確性（1–6）第一題／第二題完整性（1–3）第一題／第二題引用實質錯誤／引用數
Grok 4.7 build-fastGrok CLI1695.7%4.5／5.51.5／2.50／14
Haiku 5.5Claude Code6792.0%4.5／4.52／20／21
GPT-5.6 SolCodex CLI2588.9%5／5.52／31／21
GPT-5.6 TerraCodex CLI1688.5%5／5.52.5／2.50／13
Opus 5.5Claude Code8487.5%4.5／52.5／30／51
Sonnet 5.5Claude Code12687.5%5／52.5／30／63
GPT-6 AstraCodex CLI6586.8%5／5.53／30／20
Gemini 3.8 Flash（離群值，不計入中位數）Antigravity1586.2%2.5／2.51.5／1.516／33
Grok 4.7Grok CLI2883.9%5／52.5／30／19
GPT-5.6 LunaCodex CLI1482.6%5／52.5／2.51／20
第一輪 agent（開工提示漏了教科書與臨床資料庫，結果僅供參考）
agent 第一輪（14 份；OpenCode 為沙盒組）
模型與模式介面作答時間（分）決策正確率正確性（1–6）第一題／第二題完整性（1–3）第一題／第二題引用實質錯誤／引用數
Codex AstraCodex CLI3391.4%5／5.52.5／30／19
Muse Spark 1.3OpenCode591.4%4.5／4.52／20／30
Grok 4.7Grok CLI2090.9%5／5.52／2.50／10
MiniMax M3OpenCode2688.1%4.5／42／31／44
Codex SolCodex CLI2687.5%5.5／53／30／18
GLM 5.3OpenCode2387.5%4.5／3.52.5／2.50／37
DeepSeek V4 ProOpenCode1487.2%4.5／4.52／2.50／28
Claude Sonnet 5.5Claude Code9686.3%5／53／30／68
Grok 4.7 build-fastGrok CLI1684.6%5／52／20／12
Claude Opus 5.5Claude Code5984.3%5／53／30／56
Codex LunaCodex CLI1282.9%5／52／31／20
Claude Haiku 5.5Claude Code4681.8%4.5／42／2.50／36
Gemini 4 Argon (High)Antigravity8280.5%4／2.53／36／72
Codex TerraCodex CLI2878.9%4.5／52／2.50／9

結果：流程到位的 agent，比 chatbot 好一點

第二輪 agent 照完整流程作答：先查教科書，再查臨床資料庫，需要時讀全文。和網頁 chatbot 相比，正確性、完整性與決策正確率都小幅領先，引用錯誤較少；代價是約 3.5 倍時間。單題問答時，前沿模型的 chatbot 已經很高分。

第二輪 agent 9 份（Gemini 3.8 Flash 為離群值，另列）、chatbot 13 份；中位數或合計
項目agentchatbot判讀
決策正確率對照標準答案，只扣會改變臨床決策的錯87.5%84.6%agent 略高
字面正確率主張逐條對照原文判「對」的比例64.6%56.7%agent 略高
正確性兩位模型評審中位數，1–6 分；第一題／第二題5／54.5／4.5agent 略高
完整性1–3 分；第一題／第二題2.5／32／2agent 較完整
判錯的主張對照標準答案05agent 較少
引用有實質書目錯誤0.8%2／2425.3%14／265agent 較少
作業時間中位數28 分鐘8 分鐘chatbot 快約 3.5 倍

各模型對照：chatbot 高低差大，agent 拉近差距

各模型決策正確率：chatbot 13 份對第二輪 agent 9 份；點大小為完整性 75% 80% 85% 90% 95% 100% chatbot（13） 中位數 84.6% agent 第二輪（9） 中位數 87.5% Grok 4.7 專家：決策正確率 100.0%，完整性 1，核對主張 8 項（只答第一題） （只答第一題）Grok 4.7 專家 100.0 GPT-6：決策正確率 91.7%，完整性 2.75，核對主張 36 項 GPT-6 91.7 GPT-5.6 Sol：決策正確率 90.9%，完整性 3，核對主張 33 項 GPT-5.6 Sol 90.9 Grok 快速：決策正確率 88.5%，完整性 1.75，核對主張 26 項 Grok 快速 88.5 Sonnet 5.5：決策正確率 86.7%，完整性 2.25，核對主張 30 項 Sonnet 5.5 86.7 Gemini Argon：決策正確率 85.3%，完整性 2，核對主張 34 項 Gemini Argon 85.3 Muse：決策正確率 84.6%，完整性 2.25，核對主張 39 項 Muse 84.6 Fable 5.1：決策正確率 84.2%，完整性 2.5，核對主張 38 項 Fable 5.1 84.2 Gemini Pro：決策正確率 81.2%，完整性 1.5，核對主張 16 項 Gemini Pro 81.2 Grok 自動：決策正確率 81.0%，完整性 1.5，核對主張 21 項 Grok 自動 81.0 Gemini Flash-Lite：決策正確率 80.0%，完整性 1.25，核對主張 10 項 Gemini Flash-Lite 80.0 Opus 5.5：決策正確率 79.5%，完整性 2.25，核對主張 44 項 Opus 5.5 79.5 Haiku 5.5：決策正確率 75.0%，完整性 1.5，核對主張 20 項 Haiku 5.5 75.0 Grok 4.7 build-fast：決策正確率 95.7%，完整性 2，核對主張 23 項 95.7 Grok 4.7 build-fast Haiku 5.5：決策正確率 92.0%，完整性 2，核對主張 25 項 92.0 Haiku 5.5 GPT-5.6 Sol：決策正確率 88.9%，完整性 2.5，核對主張 36 項 88.9 GPT-5.6 Sol GPT-5.6 Terra：決策正確率 88.5%，完整性 2.5，核對主張 26 項 88.5 GPT-5.6 Terra Opus 5.5：決策正確率 87.5%，完整性 2.75，核對主張 48 項 87.5 Opus 5.5 Sonnet 5.5：決策正確率 87.5%，完整性 2.75，核對主張 48 項 87.5 Sonnet 5.5 GPT-6 Astra：決策正確率 86.8%，完整性 3，核對主張 38 項 86.8 GPT-6 Astra Gemini 3.8 Flash：決策正確率 86.2%，完整性 1.5，核對主張 29 項（離群，不計） 86.2 Gemini 3.8 Flash（離群，不計） Grok 4.7：決策正確率 83.9%，完整性 2.75，核對主張 31 項 83.9 Grok 4.7 GPT-5.6 Luna：決策正確率 82.6%，完整性 2.5，核對主張 23 項 82.6 GPT-5.6 Luna

縱軸是決策正確率（標準答案）。點越大代表評審給的完整性越高（1–3 分）；連線是同一個模型；虛線空心圈是離群值，不計入中位數。答得少的報告分母小、容易高分，要和完整性一起看。

同一個模型改成 agent：Claude Haiku 5.5 從 75% 升到 92%，Claude Opus 5.5 從 79.5% 升到 87.5%；原本最強的 GPT-6 反而小降（91.7% 到 86.8%）。最低分也從 chatbot 的 75% 拉到 agent 的 82.6%。

怎麼評的

Gemini 這次表現最弱

agent 有沒有真的讀全文

第一輪 14 組 agent 引用的付費文獻 79 篇次，有讀過內文證據的 34 篇次（43%）；經圖書館讀全文的只有 4 組。自稱「已讀全文」大致誠實，但常是只讀了幾節。UpToDate 登入後每頁都有原廠條款，禁止把內容交給 AI 處理，第一輪沒有一組 agent 讀它。

限制

這個研究本身，也是 agent 做的

  1. 收到兩題，寫研究計畫，交另一家模型審查。
  2. 同時派出 agent 與網頁 chatbot，逐份收據記錄時間與狀態。
  3. 關閉收案，製作盲評副本，查證引用、抽查主張。
  4. 模型評審評分；以查閱引用建立標準答案、錯誤分級、五輪查核。
  5. 修正流程後，agent 第二輪重跑並評分。
  6. 依標準答案寫成兩份實證醫學解答，另一家模型查核；產生這個網站（2026-11-01 12:34）。

撰寫：Claude Opus 5.5（AI）｜查核：GPT-6 Astra（AI）｜發佈：王介立醫師（2026-11-01）。標準解答依本研究讀過的文獻寫成，逐句附出處；歡迎實證醫學專家指正。