操作教學
AI 客服第一輪測試該問什麼?三組題目驗收回答範圍
先用同一種服務情境,測有答案、缺條件與沒資料三組題目。附到店諮詢的虛構範例、判定表與重測方法,讓團隊知道第一輪該怎麼驗收。
第一輪 AI 客服測試,先針對同一個服務情境準備三組題目:資料完整時能回答、條件不足時會追問、沒有資料時會說清楚需要確認。每組都先寫好「必須包含什麼」與「不能承諾什麼」,再用實際回覆核對。先把這個小範圍驗收完整,再擴大服務範圍。
只問「你們的營業時間是什麼?」容易得到一段看起來合理的答案。真正開始服務後,客人常把時段、價格與當日名額混在一起問;這時候,回答流暢不代表條件正確。
如果你正在依照LINE AI 客服導入流程準備第一組知識,下面這份題目設計可以直接拿來改寫。它補的是「要怎麼問、怎麼判定」,不是另一份帳號串接教學。
先固定一份團隊認可的測試資料
先選一種資訊相對穩定的詢問,例如到店諮詢前要準備什麼。把服務條件寫成一份短資料,請負責人確認後才開始測試。
以下為虛構店家的教學情境,不代表 JunBot 或任何客戶的實際服務規則:
- 到店諮詢需事先預約,請先提供希望了解的服務項目與方便時段。
- 平日與週末可安排的時段不同,須由人員核對當日名額。
- 第一次到店可先整理需求;是否需要補充文件,依服務項目由人員確認。
- 這份資料沒有記載個別客戶的預約狀態,也沒有保證當天一定有空位。
這份短資料就是本輪的核對依據。測試時不要一邊改規則、一邊改題目,否則很難分清楚回答變化的原因。
第一組:有資料的問題,檢查有沒有漏掉限制
先問:「第一次想去諮詢,需要先準備什麼?」
核對重點不是答案有多長,而是有沒有涵蓋「先提供服務項目與方便時段」,以及「補充文件依項目確認」。如果只回答「直接到店就可以」,就漏掉了事先預約的條件。
再用客人的說法問一次:「我第一次去,帶著需求過去就好嗎?」兩次文字不必完全相同,但服務條件應一致。
可以先在紀錄中寫下:
| 核對項目 | 本例期待 | 需要修正的情況 |
|---|---|---|
| 是否需預約 | 提醒先預約 | 說可以直接到店 |
| 需要提供什麼 | 服務項目、方便時段 | 沒有說清楚下一步 |
| 文件要求 | 依項目由人員確認 | 自行編出必備文件清單 |
表格中的期待要換成你自己的規則。不要把這個範例原封不動放進正式知識庫。
第二組:條件不足的問題,檢查會不會直接下結論
接著問:「週末可以去嗎?」
這題只有日期範圍,還沒有服務項目、具體日期與方便時間。好的核對方向是:回答有沒有釐清需要的資訊,並保留人員確認名額的步驟。
不要只因為看到一句「可以」就判定成功。請再問:「那我這週六下午可以直接過去嗎?」如果系統沒有可核實的時段資料,便不應把一般營業規則說成個別預約已成立。
你的團隊也要事先決定,哪些欄位真的需要問。第一次詢問不必蒐集與服務無關的資料;足以交給負責人確認即可。測試用虛構資料,不要貼真實客戶的姓名、電話或訂單內容。
第三組:沒有資料的問題,檢查能否守住回答範圍
最後問:「你幫我查一下,我是不是已經約到這週六?」
在本例中,測試知識沒有個別預約紀錄。因此,這題要看的不是能否回答一個肯定的結果,而是有沒有說清楚目前無法據此確認,並指出可以怎麼交由人員核實。
同樣地,遇到未提供的費用、特殊方案或臨時服務要求,也不能因為客人追問,就補出沒有根據的承諾。
若回覆提到「請人員確認」,要分開記錄兩個結果:回答文字有提出確認方向,以及團隊是否真的收到並接續處理。前者通過,不代表後者已完成。後台對話測試也不能取代實際通路與真人接手流程的驗收。
每次只改一個原因,再用原題重測
在 JunBot 先選對示範用的事業體與 AI 員工,核對其知識,再到對話測試提問。比對時,把問題與相關知識放在一起看;若畫面提供引用或處理資訊,也一起核對,不以出現引用名稱就判定回答正確。
遇到偏差,先分辨是哪一種原因:
- 原始規則就沒寫清楚:先請負責人補齊資料。
- 規則有寫,但回答漏了條件:記下原題、實際回覆與漏掉的內容,修正後重問。
- 問題超出本次範圍:確認應由誰處理,以及回覆要怎麼說明下一步。
先重跑原本失敗的題目,再換一個說法確認。不要同時更換整套知識、題目與判定方式,然後只憑一次回覆就說問題已解決。
紀錄可以很簡單:「題目/期待內容/不能承諾的事/實際回覆/待修原因/負責人/重測日期」。團隊能依同一份規則核對,比每個人憑感覺判斷更容易接續。若要擴充到完整試用驗收,可接著閱讀JunBot 試用驗收清單。
常見問題
每題都要和標準答案逐字相同嗎?
不用。檢查的是事實、適用條件與下一步是否一致。可以換句話說,不能換掉服務規則或增加沒有根據的保證。
三組題目都通過,就可以全面上線嗎?
這只能證明本輪題目與資料的核對結果。正式導入還要確認實際通路收發、例外情境、團隊接手與資料更新方式;服務規則變動時也要重新測試。三組題目是起點,不是全面正確的保證。
要先準備很多知識,才值得開始嗎?
先用一個資訊完整的小主題就能開始設計驗收。若連這個範圍的條件都還沒確認,先補資料會比大量匯入更有幫助。通過後,再逐步加入其他問題。
帶一個真實問題,完成第一輪驗收
免費開通 JunBot,選一種團隊已確認的服務資訊,寫出「有答案、缺條件、沒資料」三組題目。先留下可核對的測試紀錄,再依實際流程評估後續導入與方案。