操作教學

AI 客服第一輪測試該問什麼?三組題目驗收回答範圍

先用同一種服務情境,測有答案、缺條件與沒資料三組題目。附到店諮詢的虛構範例、判定表與重測方法,讓團隊知道第一輪該怎麼驗收。

JunBot 產品團隊 ·

第一輪 AI 客服測試,先針對同一個服務情境準備三組題目:資料完整時能回答、條件不足時會追問、沒有資料時會說清楚需要確認。每組都先寫好「必須包含什麼」與「不能承諾什麼」,再用實際回覆核對。先把這個小範圍驗收完整,再擴大服務範圍。

只問「你們的營業時間是什麼?」容易得到一段看起來合理的答案。真正開始服務後,客人常把時段、價格與當日名額混在一起問;這時候,回答流暢不代表條件正確。

如果你正在依照LINE AI 客服導入流程準備第一組知識,下面這份題目設計可以直接拿來改寫。它補的是「要怎麼問、怎麼判定」,不是另一份帳號串接教學。

先固定一份團隊認可的測試資料

先選一種資訊相對穩定的詢問,例如到店諮詢前要準備什麼。把服務條件寫成一份短資料,請負責人確認後才開始測試。

以下為虛構店家的教學情境,不代表 JunBot 或任何客戶的實際服務規則:

  • 到店諮詢需事先預約,請先提供希望了解的服務項目與方便時段。
  • 平日與週末可安排的時段不同,須由人員核對當日名額。
  • 第一次到店可先整理需求;是否需要補充文件,依服務項目由人員確認。
  • 這份資料沒有記載個別客戶的預約狀態,也沒有保證當天一定有空位。

這份短資料就是本輪的核對依據。測試時不要一邊改規則、一邊改題目,否則很難分清楚回答變化的原因。

第一組:有資料的問題,檢查有沒有漏掉限制

先問:「第一次想去諮詢,需要先準備什麼?」

核對重點不是答案有多長,而是有沒有涵蓋「先提供服務項目與方便時段」,以及「補充文件依項目確認」。如果只回答「直接到店就可以」,就漏掉了事先預約的條件。

再用客人的說法問一次:「我第一次去,帶著需求過去就好嗎?」兩次文字不必完全相同,但服務條件應一致。

可以先在紀錄中寫下:

核對項目 本例期待 需要修正的情況
是否需預約 提醒先預約 說可以直接到店
需要提供什麼 服務項目、方便時段 沒有說清楚下一步
文件要求 依項目由人員確認 自行編出必備文件清單

表格中的期待要換成你自己的規則。不要把這個範例原封不動放進正式知識庫。

第二組:條件不足的問題,檢查會不會直接下結論

接著問:「週末可以去嗎?」

這題只有日期範圍,還沒有服務項目、具體日期與方便時間。好的核對方向是:回答有沒有釐清需要的資訊,並保留人員確認名額的步驟。

不要只因為看到一句「可以」就判定成功。請再問:「那我這週六下午可以直接過去嗎?」如果系統沒有可核實的時段資料,便不應把一般營業規則說成個別預約已成立。

你的團隊也要事先決定,哪些欄位真的需要問。第一次詢問不必蒐集與服務無關的資料;足以交給負責人確認即可。測試用虛構資料,不要貼真實客戶的姓名、電話或訂單內容。

第三組:沒有資料的問題,檢查能否守住回答範圍

最後問:「你幫我查一下,我是不是已經約到這週六?」

在本例中,測試知識沒有個別預約紀錄。因此,這題要看的不是能否回答一個肯定的結果,而是有沒有說清楚目前無法據此確認,並指出可以怎麼交由人員核實。

同樣地,遇到未提供的費用、特殊方案或臨時服務要求,也不能因為客人追問,就補出沒有根據的承諾。

若回覆提到「請人員確認」,要分開記錄兩個結果:回答文字有提出確認方向,以及團隊是否真的收到並接續處理。前者通過,不代表後者已完成。後台對話測試也不能取代實際通路與真人接手流程的驗收。

每次只改一個原因,再用原題重測

在 JunBot 先選對示範用的事業體與 AI 員工,核對其知識,再到對話測試提問。比對時,把問題與相關知識放在一起看;若畫面提供引用或處理資訊,也一起核對,不以出現引用名稱就判定回答正確。

遇到偏差,先分辨是哪一種原因:

  1. 原始規則就沒寫清楚:先請負責人補齊資料。
  2. 規則有寫,但回答漏了條件:記下原題、實際回覆與漏掉的內容,修正後重問。
  3. 問題超出本次範圍:確認應由誰處理,以及回覆要怎麼說明下一步。

先重跑原本失敗的題目,再換一個說法確認。不要同時更換整套知識、題目與判定方式,然後只憑一次回覆就說問題已解決。

紀錄可以很簡單:「題目/期待內容/不能承諾的事/實際回覆/待修原因/負責人/重測日期」。團隊能依同一份規則核對,比每個人憑感覺判斷更容易接續。若要擴充到完整試用驗收,可接著閱讀JunBot 試用驗收清單。

常見問題

每題都要和標準答案逐字相同嗎?

不用。檢查的是事實、適用條件與下一步是否一致。可以換句話說,不能換掉服務規則或增加沒有根據的保證。

三組題目都通過,就可以全面上線嗎?

這只能證明本輪題目與資料的核對結果。正式導入還要確認實際通路收發、例外情境、團隊接手與資料更新方式;服務規則變動時也要重新測試。三組題目是起點,不是全面正確的保證。

要先準備很多知識,才值得開始嗎?

先用一個資訊完整的小主題就能開始設計驗收。若連這個範圍的條件都還沒確認,先補資料會比大量匯入更有幫助。通過後,再逐步加入其他問題。

帶一個真實問題,完成第一輪驗收

免費開通 JunBot,選一種團隊已確認的服務資訊,寫出「有答案、缺條件、沒資料」三組題目。先留下可核對的測試紀錄,再依實際流程評估後續導入與方案。