🌐 本篇亦提供: English →

刪了,但還在:HackerRank Orchestrate 參賽心得

參加 HackerRank Orchestrate,題目是稽核「已經刪除」的個資到底刪乾淨沒。我不太會寫 Python,靠 Claude Code 做完整套系統。這篇記錄我怎麼做、從資料裡看到了什麼,以及 AI 在這種題目裡能做什麼、不能做什麼。

最近參加了 HackerRank Orchestrate(2026 年 10 月),一場 24 小時的挑戰賽。這是我第一次參加,事前只知道可以用 Agent coding 輔助,覺得挺新鮮的。題目叫 Ghost Data Still Exists(題目 repo)。情境是一個電商平台:使用者要求刪除帳號,刪除流程回報「完成」,但他的資料其實還散在資料庫的副本、log、客服附件、搜尋索引、分析平台和備份裡。更麻煩的是,有些同步程式和備份還原會把刪掉的資料再寫回來。

要做的事是寫一個稽核 agent:對每一筆刪除請求,判斷它到底刪乾淨了沒(COMPLETE、INCOMPLETE,或根本不是刪除請求的 NOT_APPLICABLE),然後列出還殘留的紀錄、修復步驟和事後要怎麼驗證。總共 518 筆請求,另外給了 32 筆附答案的 sample。

這篇想記錄的是我怎麼做出這套東西。但我覺得最有意思的,其實是做到一半開始從資料反推這套平台怎麼運作,然後一個一個找出它的設計缺陷。這部分放在後半段。

我不會寫 Python

這要先講清楚。我平常寫 Go,Python 只看得懂。這次整套 pipeline 都是 Claude Code 寫的,我做的事是:決定方向、定規則、看它的結果對不對,覺得不對就跟它吵。

比賽規定要交完整的 chat transcript,所以每一輪對話、每個決策都留在 log 裡。回頭看那份 log,我覺得最有價值的不是程式碼,而是那些「我說不行」的時刻。

做法:只相信證據

題目最核心的一句話是:workflow 回報的狀態只是宣稱,不是證據。 一筆請求就算寫著 COMPLETE,也要自己去證據裡找出它在稽核時間點的真實狀態。

整個 pipeline 分成這幾步:

1dataset ─► 把證據拆成小單元 ─► 串到本人 ─► 用時間歸屬 ─► 爭議案例 ─► 套刪除政策 ─► output.csv
2          (SQL、JSON、log、     (目前和歷史的    (沒有識別資料   (規則優先,
3           PDF、截圖)            email、電話)     的紀錄)        LLM 最後)
  1. 先判斷是不是真的要刪除。 有些請求寫著「把我從行銷名單移除,帳號留著」,這不是刪除請求。
  2. 把所有紀錄串到本人。 從請求的 email 開始,加上使用者改過的舊 email、舊電話,一路往外擴:識別資料找到紀錄,紀錄裡的 resource id 再找到 log 和活動。不用姓名比對,因為同名的人很多。
  3. 找證據決定狀態。 只看實際觀察到的東西:回讀 log、資料庫快照、後台截圖。而且只用稽核時間點以前擷取的證據,比請求還早的也不算,那只代表刪除前的狀態。
  4. 套刪除政策。 有的要刪、有的要遮蔽、有的要匿名化,安全稽核紀錄則必須保留。帳號 tombstone 要留下 user_id,但姓名、email、電話都得拿掉。

最難的部分:刪掉之後,就認不出是誰了

這是整題最有趣的地方。帳號一刪、分析資料一匿名化,紀錄上就沒有任何識別資料了。這時候它到底是誰的?

正常的系統可以靠 log 串回來,但這裡的 log 也不齊全:刪除作業的紀錄只有 resource id,沒有使用者;trace_id 只在單一服務裡有效,沒辦法跨服務追;刪除流程本身更是一行 log 都沒有。資料之間缺了能串起來的那條線,同一個請求被拆成十幾個步驟之後,就沒有任何欄位能把它們拼回同一個人。(後面反推系統的段落會再細講。)

唯一的線索是刪除作業的時間。我用已經能確定身分的紀錄,學出刪除作業每個階段相對於「回報時間」大概什麼時候跑。如果某筆紀錄的處理時間只落在一個請求的時間窗裡,就歸給那個請求。

但很多請求是同一批處理的,時間窗會重疊。這時候再加兩條規則:

  • 結果要一致。 刪主帳號這一步的回報結果,跟請求的狀態幾乎一一對應(約 97%):請求是 COMPLETE,這一步就是 SUCCESS。對不上的候選就排除。
  • 節奏要對得上。 同一個請求的作業事件,彼此間隔的秒數很規律,會落在幾個很窄的範圍裡。對不上節奏的候選也排除。

這兩條規則都只從能確定身分的資料學出來,沒有看 sample 的答案。剩下真的分不出來的,才交給 LLM。

為什麼 LLM 只用在最後一步

面試時被問到這題。我當時的回答是:log 本身就不夠,LLM 也判斷不出來;用 script 更有效率。

事後回頭看數字,確實是這樣。規則解決了 273 筆歸屬,最後送給 LLM 的只剩 56 個爭議 case。這些 case 的時間、結果、狀態全都一樣,資訊本身就不夠,LLM 對其中 54 個選擇不回答,最後只採用了 1 個。

還有一個我當時沒講到的理由:刪除稽核的每一個結論都要能解釋。規則可以說清楚「為什麼這筆屬於這個請求」,LLM 說不清楚。而且猜錯一次會造成兩個錯誤:一個請求多了不屬於它的步驟,另一個請求少了它該有的。所以我把 LLM 設成預設不回答,寧可空著也不要亂猜。

不寫死答案

比賽中我讓 Claude 從已經能證明的資料出發,找出對應的時間範圍來擴大搜尋,再用 sample 驗證結果,但禁止寫死答案。

它把剩下的失敗一個一個追回資料源頭,修好了大部分,最後 sample 停在 32 筆裡 29 筆完全一致、precision 100%。剩下 3 個步驟用到的 resource id,在所有參賽者看得到的檔案裡都不存在,包括 PDF 和截圖。要拿到這 3 分,只能直接把答案寫進程式碼。

所以就停在那裡。我覺得這是整個過程裡最重要的一個決定。

比賽結束後,正式評分裡 output.csv 拿到 28.5 / 30。沒有寫死任何答案,看來這套稽核方法還是有效果的。

證據有強弱

做到後來我發現,答案本身不夠,還要知道每個答案靠不靠得住。於是把結果分成三級:

等級意思需要什麼
確定用識別資料串到本人,而且狀態有被觀察到不需要,看證據就能驗證
推論靠時間或規則歸屬,或狀態沒被直接看到可以補 log,讓它變成可驗證
無法判斷處理過的資源釘不到是哪個請求必須補 log

用 sample 檢查,確定的 160 步、推論的 30 步全部正確。518 筆正式資料裡,有 55 個 case 是無法判斷的,報告裡逐一寫了要補哪幾筆作業紀錄。

output.csv 的格式是固定的,放不進這些資訊,所以另外產出一份證據報告。

從資料裡反推出來的系統

這是整個比賽裡我覺得最好玩的部分。題目給了一份 4,000 多筆的系統活動紀錄、各種服務 log 和資料庫快照,但沒有任何架構圖。我請 Claude 只用能確定身分的紀錄去反推這套平台怎麼運作,不看推論出來的歸屬,也不看 sample 答案。

平常的資料流

把活動紀錄裡的「來源 → 動作 → 目標」全部統計一遍,平台的資料流長這樣(括號是筆數):

 1profile_service ──UPDATE(440)──► account_service ─┬─INDEX(400)────► search_service
 2                                 (主資料庫)       ├─SYNC(360)─────► analytics_platform
 3                                                   ├─REFRESH(284)──► cache_service
 4                                                   ├─SYNC(56)──────► 複寫叢集 / failover replica
 5                                                   └─ export_service ─EXPORT(155)─► object_store
 6support_platform ─UPDATE(232)─► search_service
 7notification_service ─SEND_EMAIL(368)─► email_delivery_service
 8security_service ─RETAIN(196)─► archive_service(稽核紀錄長期保留)
 9integration_service(connector)─SYNC(31)─► search_service   ← 會把資料寫回來
10backup_service ─RESTORE(1)─► search_service                  ← 也會把資料寫回來

一份帳號資料會被複製到搜尋、分析、快取、副本、匯出好幾個地方,客服單也會進搜尋索引。搜尋服務只收不送,是一個純粹的衍生資料。問題出在最下面那兩條:connector 和備份還原會繞過主資料庫,直接寫進搜尋索引。

刪除流程

接著把刪除作業每一步的時間,跟請求的「回報時間」對齊,算出每個階段大概什麼時候跑:

階段相對回報時間(中位數)
刪除主帳號−59 分
處理 tombstone、legal hold−28 分
遮蔽客服紀錄−21 分
關閉 connector−15 分
擋住備份還原−7 分
回報狀態0
檢查 connector、檢查能不能還原(只檢查,不處理)+49 ~ +54 分
刪搜尋、匯出、客服,匿名化分析資料+47 ~ +94 分

看得出來刪除作業有兩種跑法,而且跑法幾乎決定了結果:

跑法判為完成判為不完整
先處理完才回報:關 connector、擋備份,最後才回報411
先回報再處理:刪完主帳號就回報,下游之後才刪,connector 和備份只檢查不關0350

先回報再處理的 350 個 case 裡,有 160 個回報的是「完成」。作業自己回報的結果也不可信:有一種 connector 檢查,訊息寫著「確認 connector 仍然開著」,結果欄卻是 SUCCESS。整套流程裡,只有「刪主帳號」這一步的結果跟請求狀態對得上。

缺陷一:同步跳過主資料庫

正常的設計是主資料庫當唯一的資料來源,搜尋、分析、快取都只能從它衍生。這樣主資料庫刪掉,同步一次,所有副本就跟著消失。

但這個平台的搜尋索引有三個寫入來源:

寫入搜尋索引的路徑次數結果
主資料庫建索引400正常
connector 直接寫回31之後的刪除全部失敗
備份直接還原進索引1帳號已刪除,搜尋文件卻回來了

寫入來源不只一個,刪除就得對每個來源各處理一次,只要漏掉一個,資料就會被補回來。32 次寫回之後的刪除,31 次 FAILED、1 次 PARTIAL,沒有一次成功。

那唯一一次備份還原特別有意思。Claude 一開始說這可能是災難復原造成的,我覺得不對:如果要還原,應該先還原主資料庫的帳號,標記成「刪除還沒做」,再讓同步器去更新搜尋,怎麼會直接把備份寫進搜尋索引?我們回頭查證:

時間主資料庫搜尋索引備份
4 月 26 日備份裡有這位使用者的資料
4 月 27 日使用者要求刪除仍然可以還原
7 月 26 日保留期限到期
8 月 22 日帳號被刪除,沒有任何還原備份直接寫回搜尋文件被還原
9 月 15 日查詢回傳 404搜尋文件還在仍可還原,沒有刪除封鎖

結果是一筆沒有來源的孤兒資料:主資料庫裡帳號已經不存在,搜尋索引裡卻還找得到。而且整段期間只有這一次還原、只影響一筆資料,也沒有任何 failover 的跡象,比較像是針對性的還原或重建索引,而不是災難復原。

缺陷二:沒有統一的使用者操作紀錄

一個人的資料被複製到哪裡、刪了沒,散在各處,格式也都不一樣:

  • 系統活動紀錄只有 resource id,沒有使用者。
  • 服務 log 裡,56% 帶 email、14% 帶 user_id,30% 什麼識別資料都沒有。
  • trace_id 不跨服務,421 個 trace 裡沒有一個橫跨兩個服務。
  • 刪除流程本身沒有任何 log,只有活動紀錄裡那一行結果。

如果有一份以 user_id 為 key 的操作紀錄,記下每一次建立、複製、同步、刪除,刪除就只是照著紀錄逐筆處理,驗證就是確認每一筆都刪掉了。這整題根本不需要時間推論,也不需要 LLM。我的 pipeline 做的事,其實就是在事後把這份紀錄拼回來,拼不回來的那 55 個 case,就是少了這份紀錄的代價。

AI 能做什麼、不能做什麼

這次最大的體會是:AI 在這題裡能做的,其實就是幫忙猜。 系統本身的紀錄不完整,資料缺了一塊,再強的模型也補不回來。刪除稽核偏偏是最不能靠猜的事。

所以我的結論不是「AI 很強」或「AI 不行」,而是要把它放在對的位置:

  • 規則和程式負責判斷:可重現、可解釋、零成本。
  • AI 負責寫程式和調查:這次 Claude Code 幫我讀完所有格式的證據、寫完整套 pipeline,這部分我自己做不來。
  • 資料不夠的地方,就老實說不知道:然後列出要補什麼。

如果重來一次

比賽結束後我一直在想,比較貼近真實場景的做法應該是一個循環:

1 pipeline 判斷 ──► 證據報告(哪些無法判斷、要補什麼)
2       ▲                         │
3       │                         ▼
4 新證據放回去 ◄──── agent 依清單去查 log、回讀資料庫

找證據這一步直接交給 agent,就形成一個 harness loop。分工的重點是:agent 負責找證據,判斷還是交給確定性的規則。 agent 只能讀、不能刪;帶回來的每份資料都要記錄來源;每跑一輪,無法判斷的 case 就要變少,沒有進展就停下來交給人。

這樣 AI 就不用猜了,它是去把缺的資料找回來。這跟我上一篇寫 agent 的 tool_call 是同一個想法:AI 可以參與,但判斷和不可逆的那一步,要有規則或人把關。

小碎念

官方說這是真實世界遇到過的問題。但拜託,寫微服務架構一定要有 trace log 啊!少了 log,要證明什麼都很難。

以前聽過一件有趣的事:其他 team 的同事把 log 套件寫壞了,導致生產環境的 log 全部消失,最後大家只能靠通靈找 bug,哈哈哈。

你也遇過類似的事情嗎?以前靠工人智慧通靈、現在可以找人工智慧幫忙通靈了⋯⋯真棒。

後記

最終評審出來了:4,094 人參賽,我排在第 674 名,大約前 16%。

HackerRank Orchestrate 2026 年 10 月證書,最終排名 #674 / 4,094

第一次參賽,還有努力的空間,下次繼續努力~