2026年10月2日,技術社羣掘金上出現了一篇長文,標題很硬,講的是探礦業的資料清洗:地質隊的鑽孔編錄、計畫設計書、普查報告,還有政務網頁,在餵給AI檢索系統之前,得先一道一道整理乾淨。文章的核心只有一句老話,垃圾進,垃圾出。這道理放到廚房裡,你一聽就懂。
備料這一步,從來沒有人看得見,但味道騙不了人
先說那個最有畫面的例子。地質隊員在野外,用手持終端快速敲下鑽孔巖芯的紀錄:ZK-001,深度0.0到15.5公尺,灰巖,局部見方解石脈。回到電腦裡,這些文字成了亂碼與斷行混雜的原始檔,編碼錯亂、術語被硬生生攔腰截斷,中間還夾著野外風沙裡誤觸按鍵留下的雜訊符號。
你想想你從市場拎回來的那把青菜。泥沙卡在葉梗交界處,菜根纏著幾根雜草,偶爾還有一兩隻小蟲趴在葉背。你會直接下鍋嗎?不會。你會先泡水,一葉一葉剝開沖洗,瀝乾,該撕的撕、該切段的地方對齊了再切。原文的作者做的事一模一樣:自動偵測檔案編碼,把被斷行切斷的地質術語接回去,濾掉雜訊符號,最後把零散的句子重新標上清楚的標籤,深度多少、巖性是什麼,一目了然。
洗過的菜和沒洗的菜,炒出來是兩盤東西。洗過的資料和沒洗的資料,檢索出來也是兩種答案。
雜訊的味道,喫過的人都記得
那篇文章裡有個細節很妙。清洗前的原始文本裡,「浸染狀結構」被誤打成「染染狀結構」,清洗程式會把它修正回來。
這就像煮湯前撈掉浮沫。大骨下鍋,水滾了,灰褐色的雜質一層層浮上來,你得拿湯勺耐心撇。浮沫撈不乾淨,湯是渾的,喝起來喉嚨會卡一個腥味。撈乾淨了,湯色轉清,那股甜才浮得上來。一個錯字在AI眼裡就是那層浮沫,它不知道「染染狀」是什麼,但它可能硬著頭皮編一段看起來合理的解釋。文章裡管這叫幻覺,廚房裡管這叫一鍋壞湯。
不同的料,有不同的洗法
那份長文分了四種格式來談:TXT、Word、PDF、網頁。這就像不同食材各有脾性。葉菜類要快沖快瀝,怕泡爛;根莖類要削要刷,泥土藏得深;帶殼的蝦得先挑腸泥;而政務網頁那種料,每頁都重複著同一段頁眉頁腳,像包裝精美的禮盒,拆開來一半是填充紙,你得把真正的貨挖出來。
Word文件裡的表格是另一個坑。表格直接讀進去,欄位會錯位,第二欄的數字跑到第三欄去。這跟擺盤一個道理:同一盤菜,亂堆是一盤,把主料放中間、配料圍邊,是另一盤。資訊的位置對了,讀的人才不會夾錯菜。
你家廚房裡的「清洗之道」
那篇文章寫給工程師看,但這套功夫你天天在做。冰箱裡翻出一包存了一段時間的乾香菇,先剪蒂、沖去褶縫裡的砂,再泡水,泡出來的水還能留著當高湯。從阿嬤家帶回來的曬乾菜,一根一根挑掉混進去的枯枝。這些動作沒有菜單會寫,但少了它們,後面所有火候都白搭。
垃圾進,垃圾出,好料進,才有一桌好菜。下次你在水槽前挑菜的時候,要知道這世界上最先進的AI系統,也得先做這件一模一樣的事。