摘要
「這份 AI 草稿看起來可以用。」同事甲這樣說，同事乙卻指出一個尚未確認的日期。兩人未必有人粗心；也可能是團隊從未說清楚：什麼錯誤可以修改，什麼資訊必須補問，什麼情況不能繼續使用草稿。
如果已經從工作例外整理出可匿名重做的案例卡，下一步是讓兩位熟悉業務的同事，先各自看同一批草稿，再討論不同判斷從何而來。這篇文章只處理部門日常、低風險的草稿品質；對外承諾、付款、人事或其他高影響決定，仍須走原有授權流程。
先選一項工作和少量案例
以「每週供應商交期摘要」為示意情境：AI 只協助整理供採購同事核對的文字，不修改訂單，也不向客戶發送訊息。主管可先取三張已確認可使用的案例卡：一張資訊完整、一張缺少確切日期、一張不同來源相互衝突。每張卡保留任務、可用輸入、判斷依據和預期處理。
兩位評分者應看到同一版本的案例、來源摘要、AI 草稿和評分說明。先確認資料已按組織規則去識別，且兩人都有權查看；若敏感條件不能安全分享，就留在受控環境，由獲授權者檢查，不要為了評分複製原始郵件或客戶資料。
案例太少，無法推論整個系統的準確率；這次練習的目的，是找到團隊標準中尚未說清楚的地方。
用三個問題評同一份草稿
讓兩位同事先獨立記錄判斷，不先交換答案。可以不用複雜分數，只用「可作核對草稿、修改後再看、暫停並交回人處理」三種狀態，並寫一句可核對的理由。
| 檢查面向 | 兩人都要回答 | 需要暫停的示意情況 |
|---|---|---|
| 事實與來源 | 草稿的日期、數量與狀態能否在核准來源找到？ | 把「下週到貨」自行寫成確定日期 |
| 未知資訊 | 缺少條件或來源衝突時，有沒有明白標示待確認？ | 兩份來源日期不同，草稿卻只選一個當作定論 |
| 動作界線 | 草稿是否只做獲准的摘要，留下由誰核對與下一步？ | 直接承諾交期、更新訂單或寄給客戶 |
「可作核對草稿」不等於可對外發送。若一份草稿在任何面向越過授權界線，即使措辭漂亮，也應暫停，交給有權限的人處理。若只是句子不清楚，可修改後再核對；不要把所有錯誤都合併成一個平均分數。
對照兩人的理由，而不是先求一致
將兩份獨立判斷並排，看同一張案例在哪個面向分開。以下數字與處理均是教學示意，並非實測結果。
| 案例卡 | 同事甲 | 同事乙 | 主管要問的問題 |
|---|---|---|---|
| 資訊完整 | 可作核對草稿 | 修改後再看 | 是文句可讀性不同，還是漏了必要來源？ |
| 日期不明 | 修改後再看 | 暫停並交回人處理 | 草稿是否把未知日期寫成已確認？誰能補問？ |
| 來源衝突 | 暫停並交回人處理 | 暫停並交回人處理 | 兩人是否依同一份有效來源及同一版本判斷？ |
若兩人分歧，先回頭看三件事：案例卡是否缺條件、正式依據是否有歧義、評分說明是否把可修改與必須暫停混在一起。必要時請負責該業務規則的人確認，不以主管職級、票數多寡或 AI 自己的說法代替來源。確認不了，就保留「未決」，讓人工流程接手。
接著修訂一條清楚規則，例如：「交期只有相對時間、沒有可核對日期時，摘要須標示待確認；不得自行換算日期，也不得對外承諾。」用同一張反例再讓兩人各評一次，看分歧是否真的減少。保留原判斷、修訂日期與決定人，方便日後新同事理解規則為何改變。
把校準結果放回日常工作
這種雙人檢查不必對每一份低風險草稿永久加倍人力。先針對新任務、規則模糊或近期反覆出錯的案例做短輪校準；規則穩定後，由負責人決定適合的抽查頻率。若來源、任務或工具版本改變，重新取樣評估，別把舊結果當成新流程的保證。
主管至少應留下：案例卡版本、草稿版本、兩人的獨立判斷與理由、分歧的處理、修訂後規則及負責人。這些紀錄是為了讓同事能重做判斷，不是拿來排名個人或宣稱 AI 已達到某個未量測的準確率。下一步可把確認過的規則寫進部門 AI 助理的低風險原型，或整理成團隊可接手的工作說明。
NIST AI RMF Core強調依實際情境選擇衡量方式，記錄測試條件與結果，並納入相關領域專家及人的監督；NIST 的 Measure Playbook也建議記錄指標選擇與人員覆核。Google People + AI Guidebook討論標註者的分歧、模糊指示與範例。這些資料提供方法參考；本文的三面向表與判斷狀態是 FlyPig AI 的示意做法，不是官方規定的評分標準。
常見問題
兩位同事評分不同，是否代表其中一人不夠專業？
不一定。分歧可能來自案例資訊不足、來源版本不同或工作規則本身不清楚。先請兩人各自指出依據，再由有權限的人確認規則；不要先把分歧當成人員績效問題。
兩人都判斷可以用，就能把 AI 草稿直接寄出去嗎？
不能這樣推論。這裡的「可以用」只表示可進入既有的人工核對步驟。對外發送、正式系統寫入或影響權益的決定，仍要依組織原有審核與授權；詳見試點上線前的人審與停損檢查。
需要把所有草稿都打成百分制嗎？
不需要。先把事實、未知資訊和動作界線分開，留下判斷理由。若團隊日後需要量化，應先說清楚樣本、標準與錯誤嚴重程度，避免漂亮的平均分掩蓋一個必須暫停的錯誤。
如果部門只有一位熟悉業務的人怎麼辦？
不要假裝有雙人共識。可先由該負責人寫下來源與判斷理由，再找具備適當授權的相鄰職務同事檢查說明是否可理解；沒有合適覆核者時，維持人工處理與明確的「未確認」標記。
參考來源與資料時間
以下第一方資料於 2026-10-21 查核；交期摘要與評分範例為示意情境，不是實際客戶成果。
- NIST AI RMF Core：衡量、文件紀錄、領域專家與人的監督。
- NIST AI RMF Measure Playbook：依情境選擇指標與記錄覆核方式。
- Google People + AI Guidebook：Data Collection + Evaluation：標註指示、範例與分歧處理的設計參考。
下一步
選一項低風險工作，找出一份兩位同事曾有不同看法的 AI 草稿。讓兩人依相同案例卡各自寫下判斷和來源，再開短會只討論分歧，修訂一條可重做的規則。想依序整理自己的工作經驗，可回到職場角色升級主題導覽。