最近參加了 HackerRank Orchestrate(2026 年 10 月),一場 24 小時的挑戰賽。這是我第一次參加,事前只知道可以用 Agent coding 輔助,覺得挺新鮮的。題目叫 Ghost Data Still Exists(題目 repo)。情境是一個電商平台:使用者要求刪除帳號,刪除流程回報「完成」,但他的資料其實還散在資料庫的副本、log、客服附件、搜尋索引、分析平台和備份裡。更麻煩的是,有些同步程式和備份還原會把刪掉的資料再寫回來。
要做的事是寫一個稽核 agent:對每一筆刪除請求,判斷它到底刪乾淨了沒(COMPLETE、INCOMPLETE,或根本不是刪除請求的 NOT_APPLICABLE),然後列出還殘留的紀錄、修復步驟和事後要怎麼驗證。總共 518 筆請求,另外給了 32 筆附答案的 sample。
這篇想記錄的是我怎麼做出這套東西。但我覺得最有意思的,其實是做到一半開始從資料反推這套平台怎麼運作,然後一個一個找出它的設計缺陷。這部分放在後半段。
我不會寫 Python
這要先講清楚。我平常寫 Go,Python 只看得懂。這次整套 pipeline 都是 Claude Code 寫的,我做的事是:決定方向、定規則、看它的結果對不對,覺得不對就跟它吵。
比賽規定要交完整的 chat transcript,所以每一輪對話、每個決策都留在 log 裡。回頭看那份 log,我覺得最有價值的不是程式碼,而是那些「我說不行」的時刻。
做法:只相信證據
題目最核心的一句話是:workflow 回報的狀態只是宣稱,不是證據。 一筆請求就算寫著 COMPLETE,也要自己去證據裡找出它在稽核時間點的真實狀態。
整個 pipeline 分成這幾步:
1dataset ─► 把證據拆成小單元 ─► 串到本人 ─► 用時間歸屬 ─► 爭議案例 ─► 套刪除政策 ─► output.csv
2 (SQL、JSON、log、 (目前和歷史的 (沒有識別資料 (規則優先,
3 PDF、截圖) email、電話) 的紀錄) LLM 最後)
- 先判斷是不是真的要刪除。 有些請求寫著「把我從行銷名單移除,帳號留著」,這不是刪除請求。
- 把所有紀錄串到本人。 從請求的 email 開始,加上使用者改過的舊 email、舊電話,一路往外擴:識別資料找到紀錄,紀錄裡的 resource id 再找到 log 和活動。不用姓名比對,因為同名的人很多。
- 找證據決定狀態。 只看實際觀察到的東西:回讀 log、資料庫快照、後台截圖。而且只用稽核時間點以前擷取的證據,比請求還早的也不算,那只代表刪除前的狀態。
- 套刪除政策。 有的要刪、有的要遮蔽、有的要匿名化,安全稽核紀錄則必須保留。帳號 tombstone 要留下 user_id,但姓名、email、電話都得拿掉。
最難的部分:刪掉之後,就認不出是誰了
這是整題最有趣的地方。帳號一刪、分析資料一匿名化,紀錄上就沒有任何識別資料了。這時候它到底是誰的?
正常的系統可以靠 log 串回來,但這裡的 log 也不齊全:刪除作業的紀錄只有 resource id,沒有使用者;trace_id 只在單一服務裡有效,沒辦法跨服務追;刪除流程本身更是一行 log 都沒有。資料之間缺了能串起來的那條線,同一個請求被拆成十幾個步驟之後,就沒有任何欄位能把它們拼回同一個人。(後面反推系統的段落會再細講。)
唯一的線索是刪除作業的時間。我用已經能確定身分的紀錄,學出刪除作業每個階段相對於「回報時間」大概什麼時候跑。如果某筆紀錄的處理時間只落在一個請求的時間窗裡,就歸給那個請求。
但很多請求是同一批處理的,時間窗會重疊。這時候再加兩條規則:
- 結果要一致。 刪主帳號這一步的回報結果,跟請求的狀態幾乎一一對應(約 97%):請求是
COMPLETE,這一步就是SUCCESS。對不上的候選就排除。 - 節奏要對得上。 同一個請求的作業事件,彼此間隔的秒數很規律,會落在幾個很窄的範圍裡。對不上節奏的候選也排除。
這兩條規則都只從能確定身分的資料學出來,沒有看 sample 的答案。剩下真的分不出來的,才交給 LLM。
為什麼 LLM 只用在最後一步
面試時被問到這題。我當時的回答是:log 本身就不夠,LLM 也判斷不出來;用 script 更有效率。
事後回頭看數字,確實是這樣。規則解決了 273 筆歸屬,最後送給 LLM 的只剩 56 個爭議 case。這些 case 的時間、結果、狀態全都一樣,資訊本身就不夠,LLM 對其中 54 個選擇不回答,最後只採用了 1 個。
還有一個我當時沒講到的理由:刪除稽核的每一個結論都要能解釋。規則可以說清楚「為什麼這筆屬於這個請求」,LLM 說不清楚。而且猜錯一次會造成兩個錯誤:一個請求多了不屬於它的步驟,另一個請求少了它該有的。所以我把 LLM 設成預設不回答,寧可空著也不要亂猜。
不寫死答案
比賽中我讓 Claude 從已經能證明的資料出發,找出對應的時間範圍來擴大搜尋,再用 sample 驗證結果,但禁止寫死答案。
它把剩下的失敗一個一個追回資料源頭,修好了大部分,最後 sample 停在 32 筆裡 29 筆完全一致、precision 100%。剩下 3 個步驟用到的 resource id,在所有參賽者看得到的檔案裡都不存在,包括 PDF 和截圖。要拿到這 3 分,只能直接把答案寫進程式碼。
所以就停在那裡。我覺得這是整個過程裡最重要的一個決定。
比賽結束後,正式評分裡 output.csv 拿到 28.5 / 30。沒有寫死任何答案,看來這套稽核方法還是有效果的。
證據有強弱
做到後來我發現,答案本身不夠,還要知道每個答案靠不靠得住。於是把結果分成三級:
| 等級 | 意思 | 需要什麼 |
|---|---|---|
| 確定 | 用識別資料串到本人,而且狀態有被觀察到 | 不需要,看證據就能驗證 |
| 推論 | 靠時間或規則歸屬,或狀態沒被直接看到 | 可以補 log,讓它變成可驗證 |
| 無法判斷 | 處理過的資源釘不到是哪個請求 | 必須補 log |
用 sample 檢查,確定的 160 步、推論的 30 步全部正確。518 筆正式資料裡,有 55 個 case 是無法判斷的,報告裡逐一寫了要補哪幾筆作業紀錄。
output.csv 的格式是固定的,放不進這些資訊,所以另外產出一份證據報告。
從資料裡反推出來的系統
這是整個比賽裡我覺得最好玩的部分。題目給了一份 4,000 多筆的系統活動紀錄、各種服務 log 和資料庫快照,但沒有任何架構圖。我請 Claude 只用能確定身分的紀錄去反推這套平台怎麼運作,不看推論出來的歸屬,也不看 sample 答案。
平常的資料流
把活動紀錄裡的「來源 → 動作 → 目標」全部統計一遍,平台的資料流長這樣(括號是筆數):
1profile_service ──UPDATE(440)──► account_service ─┬─INDEX(400)────► search_service
2 (主資料庫) ├─SYNC(360)─────► analytics_platform
3 ├─REFRESH(284)──► cache_service
4 ├─SYNC(56)──────► 複寫叢集 / failover replica
5 └─ export_service ─EXPORT(155)─► object_store
6support_platform ─UPDATE(232)─► search_service
7notification_service ─SEND_EMAIL(368)─► email_delivery_service
8security_service ─RETAIN(196)─► archive_service(稽核紀錄長期保留)
9integration_service(connector)─SYNC(31)─► search_service ← 會把資料寫回來
10backup_service ─RESTORE(1)─► search_service ← 也會把資料寫回來
一份帳號資料會被複製到搜尋、分析、快取、副本、匯出好幾個地方,客服單也會進搜尋索引。搜尋服務只收不送,是一個純粹的衍生資料。問題出在最下面那兩條:connector 和備份還原會繞過主資料庫,直接寫進搜尋索引。
刪除流程
接著把刪除作業每一步的時間,跟請求的「回報時間」對齊,算出每個階段大概什麼時候跑:
| 階段 | 相對回報時間(中位數) |
|---|---|
| 刪除主帳號 | −59 分 |
| 處理 tombstone、legal hold | −28 分 |
| 遮蔽客服紀錄 | −21 分 |
| 關閉 connector | −15 分 |
| 擋住備份還原 | −7 分 |
| 回報狀態 | 0 |
| 檢查 connector、檢查能不能還原(只檢查,不處理) | +49 ~ +54 分 |
| 刪搜尋、匯出、客服,匿名化分析資料 | +47 ~ +94 分 |
看得出來刪除作業有兩種跑法,而且跑法幾乎決定了結果:
| 跑法 | 判為完成 | 判為不完整 |
|---|---|---|
| 先處理完才回報:關 connector、擋備份,最後才回報 | 41 | 1 |
| 先回報再處理:刪完主帳號就回報,下游之後才刪,connector 和備份只檢查不關 | 0 | 350 |
先回報再處理的 350 個 case 裡,有 160 個回報的是「完成」。作業自己回報的結果也不可信:有一種 connector 檢查,訊息寫著「確認 connector 仍然開著」,結果欄卻是 SUCCESS。整套流程裡,只有「刪主帳號」這一步的結果跟請求狀態對得上。
缺陷一:同步跳過主資料庫
正常的設計是主資料庫當唯一的資料來源,搜尋、分析、快取都只能從它衍生。這樣主資料庫刪掉,同步一次,所有副本就跟著消失。
但這個平台的搜尋索引有三個寫入來源:
| 寫入搜尋索引的路徑 | 次數 | 結果 |
|---|---|---|
| 主資料庫建索引 | 400 | 正常 |
| connector 直接寫回 | 31 | 之後的刪除全部失敗 |
| 備份直接還原進索引 | 1 | 帳號已刪除,搜尋文件卻回來了 |
寫入來源不只一個,刪除就得對每個來源各處理一次,只要漏掉一個,資料就會被補回來。32 次寫回之後的刪除,31 次 FAILED、1 次 PARTIAL,沒有一次成功。
那唯一一次備份還原特別有意思。Claude 一開始說這可能是災難復原造成的,我覺得不對:如果要還原,應該先還原主資料庫的帳號,標記成「刪除還沒做」,再讓同步器去更新搜尋,怎麼會直接把備份寫進搜尋索引?我們回頭查證:
| 時間 | 主資料庫 | 搜尋索引 | 備份 |
|---|---|---|---|
| 4 月 26 日 | 備份裡有這位使用者的資料 | ||
| 4 月 27 日 | 使用者要求刪除 | 仍然可以還原 | |
| 7 月 26 日 | 保留期限到期 | ||
| 8 月 22 日 | 帳號被刪除,沒有任何還原 | 備份直接寫回搜尋文件 | 被還原 |
| 9 月 15 日 | 查詢回傳 404 | 搜尋文件還在 | 仍可還原,沒有刪除封鎖 |
結果是一筆沒有來源的孤兒資料:主資料庫裡帳號已經不存在,搜尋索引裡卻還找得到。而且整段期間只有這一次還原、只影響一筆資料,也沒有任何 failover 的跡象,比較像是針對性的還原或重建索引,而不是災難復原。
缺陷二:沒有統一的使用者操作紀錄
一個人的資料被複製到哪裡、刪了沒,散在各處,格式也都不一樣:
- 系統活動紀錄只有 resource id,沒有使用者。
- 服務 log 裡,56% 帶 email、14% 帶 user_id,30% 什麼識別資料都沒有。
- trace_id 不跨服務,421 個 trace 裡沒有一個橫跨兩個服務。
- 刪除流程本身沒有任何 log,只有活動紀錄裡那一行結果。
如果有一份以 user_id 為 key 的操作紀錄,記下每一次建立、複製、同步、刪除,刪除就只是照著紀錄逐筆處理,驗證就是確認每一筆都刪掉了。這整題根本不需要時間推論,也不需要 LLM。我的 pipeline 做的事,其實就是在事後把這份紀錄拼回來,拼不回來的那 55 個 case,就是少了這份紀錄的代價。
AI 能做什麼、不能做什麼
這次最大的體會是:AI 在這題裡能做的,其實就是幫忙猜。 系統本身的紀錄不完整,資料缺了一塊,再強的模型也補不回來。刪除稽核偏偏是最不能靠猜的事。
所以我的結論不是「AI 很強」或「AI 不行」,而是要把它放在對的位置:
- 規則和程式負責判斷:可重現、可解釋、零成本。
- AI 負責寫程式和調查:這次 Claude Code 幫我讀完所有格式的證據、寫完整套 pipeline,這部分我自己做不來。
- 資料不夠的地方,就老實說不知道:然後列出要補什麼。
如果重來一次
比賽結束後我一直在想,比較貼近真實場景的做法應該是一個循環:
1 pipeline 判斷 ──► 證據報告(哪些無法判斷、要補什麼)
2 ▲ │
3 │ ▼
4 新證據放回去 ◄──── agent 依清單去查 log、回讀資料庫
找證據這一步直接交給 agent,就形成一個 harness loop。分工的重點是:agent 負責找證據,判斷還是交給確定性的規則。 agent 只能讀、不能刪;帶回來的每份資料都要記錄來源;每跑一輪,無法判斷的 case 就要變少,沒有進展就停下來交給人。
這樣 AI 就不用猜了,它是去把缺的資料找回來。這跟我上一篇寫 agent 的 tool_call 是同一個想法:AI 可以參與,但判斷和不可逆的那一步,要有規則或人把關。
小碎念
官方說這是真實世界遇到過的問題。但拜託,寫微服務架構一定要有 trace log 啊!少了 log,要證明什麼都很難。
以前聽過一件有趣的事:其他 team 的同事把 log 套件寫壞了,導致生產環境的 log 全部消失,最後大家只能靠通靈找 bug,哈哈哈。
你也遇過類似的事情嗎?以前靠工人智慧通靈、現在可以找人工智慧幫忙通靈了⋯⋯真棒。
後記
最終評審出來了:4,094 人參賽,我排在第 674 名,大約前 16%。

第一次參賽,還有努力的空間,下次繼續努力~