研究設計
同一道題，交給 27 個 AI 配置
第一輪（流程有缺陷）
答對的程度：差不多
agentchatbot
正確性（1–6，中位數）第一題55
正確性　第二題54.5
同一個模型換成 agent 用：12 題次中 10 次一樣、高 1 分 1 次、低 1 分 1 次
第一輪（流程有缺陷）
差在：完整、嚴謹
agentchatbot
完整性（1–3，中位數）第一題／第二題2.5／32／2
同模型配對：完整性較好12 題次中 7 次 agent 高一級，沒有一次較差
引用有實質書目錯誤2%5%
帶出處主張：誇大、數字錯或不支持9%17%
確認編造的文獻00（但有一段捏造的指引「原文」）
agent 有沒有真的讀全文
付費全文，只讀到 43%
共識答案
27 份的多數答案：沒有經驗證的答案
標準答案：查閱引用（審稿人立場）
流程到位後：agent 好一點
agentchatbot
字面正確率（主張與原文逐條核對）64.6%56.7%
決策正確率（只算會改變決策的錯）87.5%84.6%
判錯的主張05
重度錯誤（照做會改變決策）00
第二輪 agent 9 份（Gemini 3.8 Flash 為離群值另列）；78 項主張逐條對原文判定（納入 123 篇，讀到 117 篇，其中全文 115 篇），錯誤分 0–3 級；Opus 主研究、Astra 五輪查核。
各模型對照：決策正確率（標準答案）
chatbot 高低差大；agent 拉近差距
各模型決策正確率：chatbot 13 份對第二輪 agent 9 份；點大小為完整性 75% 80% 85% 90% 95% 100% chatbot（13） 中位數 84.6% agent 第二輪（9） 中位數 87.5% Grok 4.7 專家：決策正確率 100.0%，完整性 1，核對主張 8 項（只答第一題） （只答第一題）Grok 4.7 專家 100.0 GPT-6：決策正確率 91.7%，完整性 2.75，核對主張 36 項 GPT-6 91.7 GPT-5.6 Sol：決策正確率 90.9%，完整性 3，核對主張 33 項 GPT-5.6 Sol 90.9 Grok 快速：決策正確率 88.5%，完整性 1.75，核對主張 26 項 Grok 快速 88.5 Sonnet 5.5：決策正確率 86.7%，完整性 2.25，核對主張 30 項 Sonnet 5.5 86.7 Gemini Argon：決策正確率 85.3%，完整性 2，核對主張 34 項 Gemini Argon 85.3 Muse：決策正確率 84.6%，完整性 2.25，核對主張 39 項 Muse 84.6 Fable 5.1：決策正確率 84.2%，完整性 2.5，核對主張 38 項 Fable 5.1 84.2 Gemini Pro：決策正確率 81.2%，完整性 1.5，核對主張 16 項 Gemini Pro 81.2 Grok 自動：決策正確率 81.0%，完整性 1.5，核對主張 21 項 Grok 自動 81.0 Gemini Flash-Lite：決策正確率 80.0%，完整性 1.25，核對主張 10 項 Gemini Flash-Lite 80.0 Opus 5.5：決策正確率 79.5%，完整性 2.25，核對主張 44 項 Opus 5.5 79.5 Haiku 5.5：決策正確率 75.0%，完整性 1.5，核對主張 20 項 Haiku 5.5 75.0 Grok 4.7 build-fast：決策正確率 95.7%，完整性 2，核對主張 23 項 95.7 Grok 4.7 build-fast Haiku 5.5：決策正確率 92.0%，完整性 2，核對主張 25 項 92.0 Haiku 5.5 GPT-5.6 Sol：決策正確率 88.9%，完整性 2.5，核對主張 36 項 88.9 GPT-5.6 Sol GPT-5.6 Terra：決策正確率 88.5%，完整性 2.5，核對主張 26 項 88.5 GPT-5.6 Terra Opus 5.5：決策正確率 87.5%，完整性 2.75，核對主張 48 項 87.5 Opus 5.5 Sonnet 5.5：決策正確率 87.5%，完整性 2.75，核對主張 48 項 87.5 Sonnet 5.5 GPT-6 Astra：決策正確率 86.8%，完整性 3，核對主張 38 項 86.8 GPT-6 Astra Gemini 3.8 Flash：決策正確率 86.2%，完整性 1.5，核對主張 29 項（離群，不計） 86.2 Gemini 3.8 Flash（離群，不計） Grok 4.7：決策正確率 83.9%，完整性 2.75，核對主張 31 項 83.9 Grok 4.7 GPT-5.6 Luna：決策正確率 82.6%，完整性 2.5，核對主張 23 項 82.6 GPT-5.6 Luna
點越大＝越完整（評審 1–3 分）同一個模型離群，不計
最低：chatbot 75%（Haiku 5.5），agent 82.6%（GPT-5.6 Luna）。答得少的報告分母小、容易高分，要和完整性一起看。第二輪沒有 Gemini 4 Argon agent（額度用完）；每個配置只跑一次。
特別說明
Gemini 這次表現最弱
代價
時間與指令邊界
Science 2026-10-22：Sequential diagnosis with language models（Nori 等）
同一個模型，組織起來就更好
NEJM 病例討論會案例診斷準確率每例檢查費用
GPT-5 直接問78.9%US$8,409
GPT-5 ＋ 模擬醫師團隊的工作流程（DxO）83.2%US$5,431
GPT-5.5 直接問 → ＋DxO72.0% → 86.8%US$4,514 → 4,254
一般科醫師36.1%
從有限資訊逐步問診、開檢查、修正鑑別診斷；模擬環境中的結果，非真實病人。數字依主文與補充資料。
帶走的重點
單題問答，chatbot 已很高分；agent 的價值在整個流程
限制：每個配置只跑一次；沙盒組 4 份；分數為三位模型評審中位數（加權 κ 0.64–0.72），第一輪 agent 沒查教科書與臨床資料庫，結果僅供參考；標準答案為查閱引用。
我的心得
有了 LLM，要讀的不會變少
← → / 空白鍵切換 · F 全螢幕