跳至主要內容
YIP NEWS
YIP NEWS

9月28日

有些話不用再修一遍,就像有些菜不必回鍋

生活爐 美食生活

開發者把 Jev 端側模型放在語音輸入法前面,讓不必潤色的短句直接放行,我們把這件事翻譯成廚房裡「這盤不用再回鍋」的分寸故事。

刊出 (台北時間) 閱讀約 2 分鐘

你在廚房裡一定有過這種判斷:一盤剛起鍋的青菜,油亮、脆口、鑊氣還冒著,這時候再把它倒回鍋裡多炒三十秒,只會讓它變黃變軟。你知道該收手,因為你一眼就看得出來,這盤已經好了。

V2EX 上一位開發者 LuliYanng 遇到的問題,結構上很像。他這陣子高強度使用語音輸入法,發現有些句子根本不需要潤色,短句、口語、本來就通順的那種,卻還是得排隊等大型語言模型跑一遍修飾,再吐回來。結果就是慢。他提出的做法是讓最近很紅的 Jev 端側模型站在前面當守門員:沒必要潤色的句子直接放行,需要修的長句才送去後面那一關。據他在文中的說法,部分短句的整體延遲能降低將近一秒,而且 Jev 的價格低到幾乎算是零成本的優化。

這跟做飯的道理是同一件事。會做飯的人,功夫常常不在火候本身,而在判斷哪一步可以省。高湯已經夠清了就不要再滾第二次,魚蒸到筷子能穿透就起鍋,餘溫會替你完成最後那段熟成。省下來的每一分鐘,都是判斷力換來的。

這也不是我們第一次聊 Jev。先前那篇手機替你擋掉推銷訊息、而市場攤販早就會這一手的文章裡,同樣把這個模型想成菜市場裡那雙會挑菜的手:爛葉子撥掉,好的直接放進袋子,不囉嗦。

回到餐桌上想想,一頓家常飯其實大多數時候都是「短句」。今晚想喫麵,湯裡多放一把青菜,飯後切一盤當季的水果。這些話不需要修辭,說出來就能上桌。真正需要慢火處理的長句,像一鍋得燉上兩小時的紅燒,一個月出現幾次就夠了。

所以那一秒鐘值不值得計較?值得。就像炒青菜時那三秒鐘的猶豫,決定的是脆還是韌。好的工具跟好的廚師一樣,都懂得在對的時候把東西直接端出去,別讓已經好的東西再進一次鍋。

這道菜的主題

標籤