生成式人工智慧（GenAI）為我們開啟了更快的開發週期、更少的技術和維護工作，以及之前看起來無法實現的創新應用場景的大門。但與此同時，它也帶來了新的風險——比如幻覺問題，以及對第三方API的依賴。
對於資料科學家和機器學習團隊來說，這一變革直接影響了他們的工作方式。一種新的AI專案型別已經出現，其中部分AI已經由外部模型提供商（例如OpenAI、Anthropic、Meta等）實現。現在，非AI專家的團隊也能相對輕鬆地整合AI解決方案。在這篇文章中，我們會討論這些變化對資料科學和機器學習團隊意味著什麼：
現在可以解決更多問題，但並非所有問題都是AI問題
傳統的機器學習並沒有消失，而是透過GenAI得到了增強
一些問題最好用GenAI解決，但仍然需要機器學習的專業知識來進行評估並規避倫理風險
AI素養在公司中變得越來越重要，資料科學家在推動這一程序中扮演著關鍵角色
現在可以解決更多問題——但並非所有問題都是AI問題
GenAI確實解鎖了更廣泛的應用潛力，但這並不意味著每個問題都適合用AI來解決。資料科學家和AI專家依然是關鍵，他們負責判斷何時應該使用AI，選擇合適的AI技術，並設計和實現可靠的解決方案（不管是GenAI、傳統機器學習，還是混合方法）。
是否使用機器學習？ 如何判斷是否使用機器學習更合適，以及在生成式AI的推動下，如何改變這一判斷標準。
然而，儘管AI解決方案的範圍已經大大擴充套件，在選擇合適的用例並確保解決方案能夠適應未來時，仍然有兩點需要特別考慮：
在任何時刻，GenAI模型都有其侷限性，可能會影響解決方案的效果。因為我們是在處理預測和機率，所有的結果都會有一定的誤差和不確定性。
同時，技術進步非常迅速，未來這些模型的侷限性和缺點會逐步得到減少和改進，新的能力和功能也會不斷加入。
如果當前的LLM版本不能解決一些特定問題，但未來的版本可能會，那麼現在的策略可能是等一等，或者先開發一個不那麼完美的解決方案，而不是投入大量資源去修復目前LLM的不足。資料科學家和AI專家可以在這個過程中提供敏銳的判斷，幫助區分哪些問題可以由模型提供商解決，哪些問題則需要內部團隊來解決。例如，允許使用者編輯或監督LLM輸出的功能，可能比追求完全自動化的複雜邏輯和微調更有效。
在市場上，真正的競爭力並不會僅僅來自於使用LLM，因為這些現在已經對每個人開放，而是來自於我們透過這些基礎模型提供的獨特體驗、功能和價值（如果大家都在用相同的基礎模型，那我們有什麼可以區別於他人的？透過AI找到屬於你的競爭優勢）。
有了GenAI解決方案後，資料科學團隊可能不需要再過多關注模型開發部分，而是可以把更多精力放在整個AI系統的設計上。
傳統機器學習並沒有消失——而是透過GenAI得到了增強
雖然GenAI已經徹底改變了AI領域，甚至許多行業，但傳統機器學習依然不可或缺。許多應用場景仍然需要傳統的機器學習方法（尤其是那些不涉及文字或影像的用例），而有些問題則可能還是用傳統的機器學習更高效。
GenAI並沒有取代傳統機器學習，反而是增強了它：它加速了原型開發和實驗，並且可以透過混合ML + GenAI的解決方案來提升一些應用的效果。
在傳統的機器學習工作流程中，開發一個像自然語言處理（NLP）分類器的解決方案通常包括：獲取訓練資料（可能還需要手動標註）、準備資料、訓練和微調模型、評估效能、部署、監控和維護系統。這個過程通常需要幾個月，且需要大量的資源進行開發和維護。
但有了GenAI之後，工作流程會簡化很多：選擇合適的大型語言模型（LLM），進行提示工程或提示迭代，進行離線評估，再透過API將模型整合到生產環境中。這大大縮短了從構想到部署的時間，通常只需要幾周而不是幾個月。而且，很多維護工作由LLM提供商來承擔，這進一步降低了運營成本和複雜性。
因此，GenAI使得我們可以更快地測試想法並驗證其價值，而無需收集標註資料或投入大量資源開發和部署內部模型。一旦證明了某個方案的價值，機器學習團隊可能會選擇轉向傳統機器學習解決方案，以減少成本或延遲，同時可以利用初期GenAI系統所獲得的標註資料。同樣，許多公司在驗證了價值之後，開始轉向小型語言模型（SML），因為它們可以進行微調並更容易部署，同時在效能上能媲美甚至超越LLM（小型語言模型是新趨勢）。
在其他情況下，最好的解決方案是將GenAI和傳統機器學習結合起來，形成混合系統，充分發揮兩者的優勢。一個很好的例子是“用大型語言模型構建DoorDash的產品知識圖譜”，他們解釋瞭如何將傳統機器學習模型和LLM結合使用，來最佳化分類任務，比如產品品牌標註。當傳統的機器學習模型無法自信地進行分類時，LLM可以提供幫助。如果LLM成功進行了分類，傳統機器學習模型就會基於新標註進行再訓練（形成良好的反饋迴圈！）。
無論如何，機器學習團隊會繼續工作在傳統的機器學習解決方案上，進行預測模型的微調和部署，同時也會意識到GenAI能夠幫助加速解決方案的開發，提升解決方案的質量。
一些問題用GenAI解決會更好
AI領域正在從使用大量內部專用模型轉向少數由外部公司提供的多工大模型。機器學習團隊需要擁抱這一變化，準備將GenAI解決方案作為其中的一個選項，保持競爭力。儘管模型訓練階段已經完成，但我們依然需要保持對機器學習和AI的敏感性，因為解決方案的本質仍然是機率性的，與傳統軟體開發的確定性是完全不同的。
儘管GenAI帶來了很多好處，機器學習團隊還是需要面對它帶來的挑戰和風險。考慮基於GenAI的解決方案時，與傳統機器學習相比，主要增加的風險有：
對第三方模型的依賴：這可能帶來額外的呼叫成本、更高的延遲（影響實時系統的效能），以及缺乏控制（我們現在對其訓練資料和設計決策瞭解有限，提供商的更新也可能引入意外的問題）。
GenAI特有的風險：我們已經清楚地看到，GenAI有著自由輸入/自由輸出的關係。自由輸入帶來了新的隱私和安全風險（例如資料洩露或提示注入），而自由輸出則帶來了幻覺、毒性或偏見歧視的風險。
但仍然需要機器學習專業知識來進行評估並規避倫理風險
雖然GenAI解決方案比傳統機器學習模型更容易實施，但它們的部署仍然需要機器學習專業知識，尤其是在評估、監控和倫理風險管理方面。
和傳統機器學習一樣，GenAI的成功也依賴於強有力的評估。這些解決方案需要從多個角度進行評估，因為它們有著自由輸出的特點（例如：回答的相關性、正確性、語氣、幻覺、危害風險等）。這個評估過程必須在部署之前進行（如上圖所示的“離線評估”），這能幫助我們瞭解系統在實際資料環境中表現的情況。確保參考這些優秀的LLM評估指標，它們區分了統計評分（如BLEU、ROUGE等量化指標）和基於模型的評分（如基於嵌入的相似性度量）。資料科學團隊在設計和評估這些指標方面非常擅長，儘管這些指標有時比較抽象（比如，如何衡量“有用性”或“相關性”？）。
一旦GenAI解決方案部署，監控變得至關重要，確保它隨著時間推移仍然按照預期工作。可以檢查與評估時類似的指標，以確保離線評估的結論能夠在部署後維持。像Datadog這樣的監控工具已經提供了LLM特定的可觀察性指標。在這個過程中，透過與使用者研究團隊緊密合作，直接詢問使用者反饋（例如，“這些建議對你有用嗎？如果沒有，為什麼？”）可以讓定量資料更豐富。
由於GenAI模型的複雜性和“黑箱”特徵，它們可能帶來更大的倫理風險。機器學習團隊在保證AI可靠性方面發揮著重要作用，幫助識別並減輕這些風險。這項工作包括進行風險評估、選擇較少偏見的基礎模型、定義並評估公平性和無歧視指標，應用技術和防護措施，確保AI輸出符合社會和組織的價值觀。
AI素養在公司內變得越來越重要
一個公司的競爭優勢不僅僅來源於其AI內部專案，還依賴於員工如何有效理解和使用AI。資料科學家在推動AI素養方面發揮著核心作用，幫助員工理解AI的侷限性和風險，並使其充分利用AI。透過他們的幫助，AI應該不僅是技術團隊的工具，而是成為整個組織的核心能力。
為了提升AI素養，組織可以採取多種措施，如內部培訓、工作坊、聚會和駭客馬拉松等，這些都可以由資料科學家和AI專家主導。這種意識可以幫助：
提高內部團隊的生產力，鼓勵使用通用AI或團隊已經在使用的工具中的AI功能。
發掘團隊內的潛力，發現一些曾經看起來複雜或不可能的專案，現在可能透過GenAI得到實現。
總結：資料科學家的角色正在不斷髮展
資料科學和人工智慧領域發展迅速，資料科學家和機器學習團隊的角色也在發生變化。雖然GenAI API使得技術門檻較低的團隊也能夠實施AI解決方案，但資料科學家和機器學習團隊的專業能力仍然在打造可靠、穩健且符合倫理的解決方案中發揮著重要作用。在新的背景下，資料科學家的角色重新定義，包括：
緊跟AI進展，選擇最佳技術來解決問題，設計並實現優秀的解決方案，同時在承認侷限性時確保解決方案的可持續性。
採用系統化思維，而非只關注預測模型，變得更加全域性化，並與其他角色協作，影響系統的使用者互動和監督方式。
繼續開展傳統機器學習解決方案的工作，認識到GenAI能提升解決方案的速度和質量。
深刻理解GenAI的侷限性和風險，構建可靠且值得信賴的AI系統（包括評估、監控和風險管理）。
成為AI的倡導者，推動組織內的AI素養，幫助非技術團隊利用AI並發現正確的機會。
資料科學家的角色不是被取代，而是被重新定義的。透過擁抱這一變化，他們依然不可或缺，幫助組織有效且負責任地利用AI。
期待GenAI和資料科學家角色重新定義帶來的所有機會！