專訪領英工程副總裁張仁輝：如何馴服演算法，打造世界級的職位推薦系統？

大資料文摘出品

作者：魏子敏、宋欣儀

作為全球最大的職業社交網路，建立於2003年的LinkedIn在過去 6 年間，從一個 7000萬左右年營收的企業，增長至30億美元營業額的企業。五年間LinkedIn業務增長超過40倍，這種增長速度在企業服務領域是驚人的。

領英改變了傳統的先由企業釋出職位資訊然後求職者響應投簡歷接著企業透過簡歷篩選，面試甄別，求職者單向資訊不對稱、主動性不對稱的流程，讓企業可以主動對中高階人才進行邀約，人才可以享受到被動的求職服務。

透過資訊工具主動挖掘到更多符合自身特點的人才，結合社交關係、檔案資料、人脈評價等比簡歷更立體的資訊，對候選人進行考核甄別，再進行邀約面試的考核。

但是人力資源管理中的場景非常複雜，並且常常面對資料不對稱、有偏見的各種問題。6月20日，在北京召開的O’Reilly AI Conference上，LinkedIn的工程副總裁張仁輝作了題為《人工智慧對未來招聘和人才市場的影響》的演講，並在會後向大資料文摘介紹了領英在訓練自己的演算法模型中遇到的各種難題及應對之道。

LinkedIn的工程副總裁張仁輝作了題為《人工智慧對未來招聘和人才市場的影響》的演講

曾擔任雅虎工程副總裁、Tinder 技術長，張仁輝對於傳統的搜尋和推薦系統非常瞭解。她告訴大資料文摘，與傳統的搜尋和推薦系統只關注如何評估一條內容和給定查詢的相關度不同，人才搜尋領域需要招聘人員和候選人就本崗位互相彼此感興趣。

換句話說，不僅需要所顯示的候選人必須與招聘人員的查詢相契合，而且需要招聘人員聯絡的候選人必須對崗位機會表現出興趣。因此，使用適當的指標來最佳化模型以及線上的 A/B 測試至關重要。

此外，人才搜尋系統的底層查詢可能非常複雜，它結合了一些結構化欄位（如規範化頭銜、規範化技能和公司名稱）和非結構化欄位（例如自由文字式關鍵字）。

最後，個性化對於人才搜尋系統而言非常重要，網站需要根據招聘人員所尋找應聘者的型別來模擬他們的意圖和偏好，這也是人力資源中人工智慧應用需要跨過的一道門檻。

除了這些未知的挑戰，在人力資源領域，人工智慧還出現了許多已經有的偏見。

最為人熟知的可能是亞馬遜被關閉的自動化招聘演算法。據路透社報導，自2014年以來，亞馬遜就專門成立了團隊開發電腦程式以審查求職者的簡歷，以將尋找頂尖人才的任務自動化。

這一試驗性招聘工具使用AI給應聘者打分，分數從一星到五星不等，直到2015年，亞馬遜意識到其新系統對於軟體開發人員和其他技術職位求職者存在性別偏見判斷。這是因為，亞馬遜的電腦模型經過了培訓，透過觀察過去10年被提交給該公司的簡歷找出固有模式，並以此來審查應聘者。

亞馬遜立刻關閉了這一系統，但依然暴露了人工智慧的一大缺陷：基於歷史資料，演算法會把人類世界無意識的偏見進一步擴大。

“在消除偏見方面，領英一直在試圖在演算法中提升透明度、可建性和個人意識。”

張仁輝向大資料文摘介紹了領英透過相關產品LinkedIn Talent Insights，把統計資料跟決策者、人力資源部和招聘部門進行分享，讓他們瞭解團隊的薪酬水平和整體的市場情況，使情況更加透明，這樣大家可以瞭解到當前的AI系統和實際的差距所在，並儘量縮小這樣的差距。

此外，張仁輝表示，為了實現個性化服務，領英採用了能夠從多角度理解內容的機器學習演算法。透過將機器學習與會員意圖訊號、檔案資料和會員人脈網路資訊結合起來，實現會員推薦和搜尋結果的高度個性化。

領英的職位推薦系統是世界級領先的，其基礎是透過大量使用者資料建立的知識圖譜和研發針對自然語言的標準化技術。領英針對每位使用者的簡歷，都使用基於深度學習模型的標準化技術來實現資訊抓取，比如LSTM, CNN等等。對於工作職位也做了同樣的事情。

六七年前，領英的職位推薦是一個線性模型，比如說求職者是一個軟體工程師，系統就會推薦一個軟體工程師的職位。但後來使用中發現，根據使用者簡歷和工作職位的描述來做推薦，不一定能夠完全實現個性化，領英還希望根據使用者之前的職位申請，為他推薦更多類似的職位，即深度的個性化。之後又研發了Generalized Linear Mixed Model（GLMix），針對每個使用者和每個職位建立一個單獨為他們服務的模型，這樣使得模型的引數量達到了上百億的規模。同時也成功地把職位申請的數量提高了30%。領英中國團隊把這個模型用在中國的資料上，又將職位申請的數量額外提高了11%。

進一步地，領英還建立了一個Deep & Wide的模型，其中整合了深度學習，樹狀結構模型，以及GLMix，極大地提升了領英的使用者體驗。為了實時更新上百億的模型引數以及在毫秒級別內滿足使用者的職位推薦需求，領英搭建了大規模運算平臺來實現人工智慧模型的技術。這個平臺包括線下和線上兩個模組——線下模組自動收集使用者的反饋、基於Spark自動訓練，之後把模型結果和引數上傳到線上。線上使用實時資料傳輸和搜尋引擎技術來實現低延遲的模型運算。

並且，領英專門研發了一個叫做Pro-ML的“人工智慧自動化”系統，為所有工程團隊集中管理特徵和機器學習模型。這一系統為機器學習模型的整個開發、培訓、部署、測試提供單一化平臺，已經極大加快了領英開發及上線新產品的速度。

就這樣一步步，領英打造瞭如今的複雜高效的世界級推薦系統。

正如張仁輝在6月20日的演講《人工智慧對未來招聘和人才市場的影響》中提到的，“我們擁有同理心、創造力、道德標準和倫理感，而人工智慧會從重複性的工作和危險的工作中解放我們，讓我們得以更好、更自由地表達並發展自己，讓我們更好地相互連線，從而讓世界更加美好。”

雖然現在人工智慧的演算法雖然非常的先進，可以下棋、打敗電競選手、玩影片遊戲，但是人工智慧沒有同理心的能力，它沒有辦法瞭解另外一個人的情感。招聘工具可以取代重複的工作，比如每天要重複看簡歷來找候選人或者安排面試，但是這個工具永遠不會取代人。

我們可以透過握手，直視面試者並微笑，聽他們的故事，進而瞭解他們，但人工智慧不可以。所以人工智慧是不會取代我們，而是會讓招募人員可以有更多的時間來和候選人進行人與人之間的交流，進行彼此的瞭解。

各行各業向AI招聘的轉變創造了一個就業搜尋環境，而這種環境將會持續下去。對於應聘者來說也有啟示，企業將越來越多地使用基於AI的軟體來對求職者進行分類。這意味著求職者需要用直白的語言來描述他們的背景，使用通用的語言來展示相關的工作經歷。申請者還應準備進入招聘程式，讓AI試圖將他們理解為“人”，而不是作為一份成就清單。未來我們都應該學會如何與AI合作，如何與AI溝通。