← 回 江湖貨郎首頁
研究筆記 · FIELD NOTES

AI 客服到底怎麼運作?拆開給你看——沒有魔法

2026-07-02 發佈・2026-07-02 更新

徐子凌(Austin) 江湖貨郎。做過英菲克的業務輔助 bot、交付過機車行「小青」LINE 客服——這篇把整台機器拆開放桌上、用你看得懂的方式講清楚 AI 客服到底怎麼運作。
先給結論(想用 AI 快速了解?複製這段就夠) AI 客服拆開就三個零件:①一顆租來的腦(大型語言模型、現成的、會講話)②一張你家資料畫成的地圖(把資料切段、變成座標存起來)③一個圖書館員(在地圖上量距離、找出最相關的幾段)。客人一問、圖書館員先找、租來的腦再把找到的講成人話。沒有一個零件是魔法——真正的工夫、是把那張地圖畫好。
(技術上:租來的腦= LLM;畫地圖=把文字向量化(vectorization)建索引;圖書館員=向量資料庫做語意檢索;整套流程= RAG 檢索增強生成。)
你以為 AI 讀懂了你的心?
它只是量出:你問的話、離哪段資料最近。
一眼看懂:AI 客服不是黑魔法、是三個看得懂的零件湊起來的。

跟你說一個我幫店家做 AI 客服最常看到的表情:老闆聽到「AI」兩個字、眼神就飄了——覺得那是什麼黑魔法、很燒錢、自己一輩子搞不懂。

我今天把整台機器拆開放在桌上給你看。看完你會發現:每個零件你都看得懂、沒有一個是魔法。

零件一:那顆會講話的腦——是租來的

第一個零件、大型語言模型(LLM)、就是你平常聽到的 ChatGPT 那類東西。重點來了:這顆腦是現成的、租來的、開源的閉源的都有。它出廠就會講話、會應對、中文英文都通。

做 AI 客服不需要自己造腦——就像開手搖店不用自己種茶樹。所以「AI 好高科技我做不來」這個怕、第一關就可以放下:最難的那個零件、人家做好了。

問題來了:它會講話、但不知道你家的事

這顆租來的腦、聰明歸聰明、可是它不知道你家一次服務多少錢、不知道你週日有沒有開、不知道你的退換規則怎麼寫。

第一直覺:把你整理的資料——價目、規定、常見問答——全部塞給它、每次回答前叫它整份讀一遍。

行不通。你想像一個員工、客人每問一句、他就要把整疊資料從第一張翻到最後一張:翻到後面、前面講什麼忘了;每一張都要看過才敢回答、又慢;而且 AI 是按「讀多少字」算錢的、每問一句就重讀整份、錢包也受不了。

那用關鍵字搜尋(像 Ctrl+F)不就好了?也不行。你的規定寫的是「非瑕疵商品恕不退換」、客人問的是「用了不喜歡可以退嗎」——字完全對不上、關鍵字搜尋直接空手而回。客人從來不會照你的用詞問問題。

零件二:把你家的資料、畫成一張「地圖」

這就是我們真正動手做的部分、行話叫 RAG(檢索增強生成)。聽起來很唬人、拆開就兩步:

  1. 把你家的資料切成一段一段——一條規則一張、一個問答一張、一個價目一張。
  2. 把每一段變成「座標」、放上一張地圖。

「文字變座標」是關鍵那一下:意思相近的話、座標就靠近。「非瑕疵商品恕不退換」跟「用了不喜歡可以退嗎」、用字完全不同、但在這張地圖上、它們是鄰居。

所以客人隨便怎麼問、不用猜關鍵字——把他的問題也變成座標、看離哪幾段資料最近、就找到了。

但老實說一句、省得你之後覺得被騙:「量距離」只是第一步、不是全部。資料怎麼切段、哪幾段該排前面、座標畫得準不準——沒做好、地圖就畫歪了。畫地圖這件事、才是真正吃工夫、也是外行跟老手差最多的地方。

零件三:圖書館員負責找、員工負責講

最後一個零件、也是最多人搞混的地方。回答客人一句話、其實是兩個角色分工

客人問一句話、機器其實跑三步
🙋
客人發問
「用了不喜歡可以退嗎?」
📚
圖書館員量距離
在地圖上找出最近的幾段資料
💬
員工講成人話
把找到的那幾段講給客人聽
兩個角色分工:圖書館員只找、不講話;租來的腦只講、不用背資料。

圖書館員(向量資料庫)拿著客人問題的座標、在地圖上量距離、把最近的三五段資料抽出來放桌上。它不會講話、它只會量距離。

會講話的員工(LLM、租來的那顆腦)拿起桌上這幾段、講成一句自然的人話回給客人。它不用背你家的資料、它只負責把找到的講清楚。

找的不講話、講話的不找。你聽過「AI 讀懂了你的心」——其實沒有。AI 沒有讀懂你、它只是量出:你問的話、跟哪段資料距離最近。

✕ 你以為的 AI 客服

  • 一台會讀心的黑魔法
  • 很燒錢、很高科技、我搞不懂
  • 要自己養一個超強的大腦
  • 資料丟進去就自動變聰明

✓ 拆開後的真相

  • 三個看得懂的零件湊起來
  • 腦是租來的、大家都租得到
  • 它只是量距離、不是讀心
  • 準不準、看那張地圖畫得好不好

所以你該擔心的、根本不是 AI

拆完你會發現:這台機器裡沒有一個零件是魔法——腦是租的、圖書館員是量距離的、地圖是你家資料畫的。

但「不是魔法」不等於「隨便做做就會準」。真正決定你的 AI 客服好不好用的、是那張地圖畫得好不好:資料有沒有切乾淨、座標放得準不準、翻出來的是不是對的那幾段。這不是魔法、是工藝——跟做木工、配鑰匙一樣、同樣的料、老手跟外行做出來差很多。

所以你不是在挑「哪家的 AI 比較聰明」(那顆腦大家都租得到)、你是在挑誰能把你家的資料、畫成一張好地圖


想看你家的常見問答、價目表變成「AI 翻得到的地圖」長什麼樣?丟一份給我、我畫一小塊給你看。先看再聊、不用先付錢。

加 LINE 跟我說你的狀況 →
延伸閱讀

地圖畫爛了會發生什麼事?→ 為什麼有的 AI 客服會亂講話

那規則要怎麼下才不會越調越笨?→ 為什麼規則寫越多,AI 客服反而越笨

這些零件去哪裡買?→ 自己建 AI 客服 vs 用現成開源工具

常見問題
AI 客服到底是怎麼運作的?
拆開就三個零件:①租來的大型語言模型(LLM、現成的、會講話)②你家的資料切成小段、變成向量座標、存進向量資料庫(=畫成一張地圖)③客人發問時、向量資料庫先量距離找出最相關的幾段、LLM 再把這幾段講成自然的人話。沒有魔法、每個零件都看得懂。
為什麼不直接把整份資料塞給 AI?
三個原因:太長它會忘(上下文一長、中段內容容易被忽略)、太慢(每次回答都要重讀整份)、太貴(AI 按讀取的字量計費、每問一句重讀一次整份)。正解是先切段建索引、每次只把最相關的幾段給它——這就是 RAG 檢索增強生成在做的事。
「向量化」「向量資料庫」是什麼?講白話。
向量化=把一段文字變成一組座標、放上一張語意地圖——意思相近的內容、座標就靠近。向量資料庫就是存這張地圖、並且能快速量距離的工具。因為比的是意思不是用字、客人問「用了不喜歡可以退嗎」、也能找到你寫著「非瑕疵商品恕不退換」的那段。要補一句:量距離只是最基本的一步、實務上資料怎麼切段、要不要加重排序(rerank)調準命中、才是準不準的關鍵、不是丟進去就自動精準。
關鍵字搜尋(Ctrl+F)跟語意搜尋差在哪?
關鍵字搜尋要「字對得上」才找得到——客人用詞跟你的資料不同就空手而回。語意搜尋比的是「意思距離」:問法再怎麼變、只要意思相近、座標就近、就找得到。客人從來不會照店家的用詞問問題、所以客服場景一定要語意搜尋。

🐾 bubunini = 我家兩隻貓 咘咘 & 呢呢 | 徐子凌(Austin)· 江湖貨郎

← 回首頁看更多