背景
在人力資源領域，無論是選拔新員工還是考核在職員工，訪談都是最基礎且常用的方式。一次成功的訪談不但能夠考察出員工在專業領域的知識與技能，還能挖掘到員工的價值觀、自我形象與性格特點，從而幫助判斷員工與崗位的匹配程度，甚至可對員工長期的績效表現進行預測。美國著名心理學家麥克利蘭於1973年提出了著名的素質冰山模型[1]，在這一模型中，上述這些幫助達成高績效的典型意識和行為特徵統稱為素質。根據素質的可觀測性和對行為的影響程度，素質可以被分為表面的『冰山以上部分』和深藏的『冰山以下部分』。
『冰山上部分』主要包括易於觀測和學習的技能知識，而『冰山下部分』則包括社會角色、自我認知、品質和動機等難觀測、難改變卻對人員的行為與表現起著關鍵性的作用的素質。雖然不同行業的技能知識各異，但透過專業人員進行訪談和測試，往往能夠相對容易的判斷被訪人的技能知識，即『冰山上部分』的掌握度。而要想對被訪者『庖丁解牛』，進一步瞭解其『冰山下部分』的關鍵素質的話，則需要藉助另外一把利器———行為事件訪談。
行為事件訪談（Behavioral Event Interview，以下簡稱BEI）是一種高度結構化的訪談方法。訪談者透過讓受訪者回憶過去一段時間自己身上經歷的某個故事，和進一步追問補充，挖掘出故事的情景、任務、行動、結果等核心細節，然後對故事和行為進行分析，得到其中體現的關鍵素質。相比於傳統訪談，BEI訪談的提問方式更嚴格，結構化更強，聚焦於被訪談者真實的思想和行為，透過深入回顧“關鍵事件”揭示成功的核心因素，不僅瞭解知識技能，而且瞭解動機和特質。
雖然BEI已普遍應用於人才的素質建模和評價中，但只有少數經過嚴格訓練的諮詢顧問才能勝任訪談，且需要消耗大量的人力和時間成本，因而無法廣泛地應用在人才的選拔和考核場景中。抱著『天下沒有用不起的諮詢』的想法，e成科技的演算法工程師、產品經理與諮詢顧問一起，開始探索將BEI由線下搬到線上，藉助前沿的對話機器人與自然語言理解技術，為更多的客戶提供有效且高價效比的BEI服務。
目標與挑戰
要將線下訪談遷移到線上，我們很自然地想到採用當前流行的對話機器人的方式與被訪人進行互動，因此這款產品也被命名為BEI Bot。BEI Bot需要遵循人力資源顧問在訪談過程中的主要邏輯，透過對故事的理解和分析，不斷挖掘故事細節，得到有效的訪談故事。只做蒐集還不夠，BEI Bot還需要利用自然語言理解技術，結合專家知識對被訪人的素質進行評分，這一部分我們稱之為故事分析模組。
我們對BEI Bot的定位是能夠替代受嚴格訓練的諮詢顧問對候選人進行行為素質訪談，並對訪談內容進行分析，給出候選人在不同素質下的評分。這既要求Bot能夠蒐集到完整有效的故事，也要求故事分析模組強有力的長文字語義理解能力，保證準確地從故事中提煉出相關的素質資訊。這一產品從技術上具有非常大的挑戰性，具體來說包括以下幾個方面：
1. 故事有效性。故事中素質的體現總是分散而零碎的，一般的人都能夠比較容易的講出一段故事，但是有效的素質，往往需要合理的引導才能有所體現。這線上下訪談中可以由有經驗的諮詢達成，但線上則需要透過基於演算法語義理解和對話技術對專家顧問的追問進行模擬，具有很大的技術難度。
2. 樣本缺乏。使用機器學習進行故事粒度的素質分析，需要足夠的有監督樣本。樣本的標註需要有一定的人力資源顧問的知識背景，對於專業性有一定的要求；另一方面，故事作為一種表述樣本形式，本身的非標註資料也不是非常多。這對複雜機器學習模型的訓練構成了非常大的技術挑戰。
3. 語義理解難度。篇章的語義理解本身就是自然語言理解中非常難的一個方向，至今在學術和工業界還沒有特別成熟的應用。而BEI要處理的故事結構多種多樣，不同素質判斷依賴的邏輯各不相同，因此對模型的學習能力提出了更高的要求。
應對之道
BEI Bot的研發存在巨大的技術挑戰，而業界也還沒有成功的產品與技術經驗供我們參考，我們只能從以下幾個方面入手，逐步探索BEI Bot的落地之路。
- 適當妥協
很快我們就認識到將整個BEI流程遷移到線上是不合適的，一方面一個完整的BEI可能持續數個小時，整個過程很難完全線上上進行；另一方面，目前的AI無法真正做到像人類那樣去進行復雜的語義理解與推理，即使是最為先進的NLP演算法，更多還是在大量語料的基礎上，進行語言模式的統計與歸納。因此我們選擇實現簡化版的TBEI（Target Behavioral Event Interview）替代完整的BEI。與BEI相比，TBEI在引導對話的過程中，會讓使用者指定分享一些和某些素質相關的故事，確保故事能夠體現相關的素質，從而減少訪談時長，並有效提升故事的有效性和素質分析的準確度。
從大量訪談記錄中我們發現，受訪者所包含素質往往都能透過訪談中的一些關鍵詞句及表述方式體現出來。因此從訪談記錄出發，利用規則和NLP演算法抽取不同粒度的詞句段特徵，再基於大量標註資料訓練機器學習模型便成為可能。從與諮詢專家的交流中瞭解到，這與人工分析BEI語料的方式在很大程度上也是一致的，具備從業務角度的可解釋性，這也堅定了我們對技術路線的選擇。
- 技術創新
在明確了NLP特徵提取與機器學習分類模型的技術選擇後，針對BEI的特定場景，我們在眾多技術方向進行了大量的探索與嘗試。在特徵構造方面，既包含詞句的底層匹配訊號，也包括基於篇章的深度表徵及有專家提供的各種規則知識；而在資料建模上我們也基於BEI的特定場景選擇最優的模型使用，下面具體介紹一些我們的工作：
1. 人力資源顧問針對每一項素質的每個評級的需求會制定一系列的關鍵詞彙和句子，這些詞句在實際的素質分析中有著非常顯著的作用。而藉助NLP的詞句向量技術，演算法人員對這些詞句進行了一定的擴充套件與泛化，大大增加了這部分特徵的覆蓋率。
2. 在關鍵詞與故事的匹配方面，我們選用了K-NRM[2]模型。我們將專家提供的關鍵詞語表徵為query，將蒐集的使用者故事表徵為document，對query和document的詞計算相似度矩陣，然後基於可訓練的高斯kernel從相似度矩陣提取各種模式下的匹配訊號強度，然後預測相關性得分。之所以選擇K-NRM模型，一方面是得益於K-NRM較好的演算法表現，另一方面也是因為相對其他深度學習匹配模型，K-NRM泛化能力更強，對樣本數量的依賴相對較低。
3. 關鍵句與故事的匹配的匹配方面。我們選用了業界領先的Bert預訓練語言模型[3]。得益於e成科技在NLP領域多年積累，Bert在諸多業務場景已經取得應用，演算法團隊在Bert的GPU再訓練、部署、量化、速度提升等方面都積累了豐富的經驗。在此基礎上，我們將專家標註的關鍵句與故事的句子訓練匹配模型，以輸出每篇文件的關鍵句得分用於後續預測。此外，我們還利用Bert抽取故事篇章級別的各種特徵，也作為後續模型的輸入。
4. 對BEI故事的理解過程和現在主流的機器閱讀理解模型有很多相通之處。透過構造輔助問句，以故事為閱讀文件，可以得到與問題相關的答案的重要資訊，用來進一步提升BEI分析的準確率。這些資訊也已被作為特徵加入到後續模型，且隨著訓練語料的不斷增加，這些特徵將扮演更加重要的作用。
5. 在分類模型方面，我們沒有使用對樣本量依賴比較高的深度學習模型，而是選擇了更為實用的Boosting Tree模型：CatBoost[4]。相比其他基於樹的排序模型，CatBoost可以有效降低prediction shift和target leakage問題，特別對離散類特徵以及特徵組合有很好的支援。
6. 為了保證蒐集故事的有效性，我們設計了基於故事有效性與追問模組。透過對故事的句法分析及規則處理，演算法會檢測出不滿足要求的故事，並根據缺失內容對被訪人進行追問，保證最終故事的有效性。
- 專家知識
BEI Bot是一項專業性極強的任務，專案的成功完成離不開業務專家的幫助。除之前提到專家提供的不同素質層級大量的關鍵詞關鍵句外，業務專家還提供了不同素質評級比例的先驗知識，這對後續分類閾值的調整起到了重要的指導意義。此外，業務專家還貢獻了大量直接規則用於構建建模所需的原始特徵，對模型效果的提升起到了重要作用。由於BEI的專業性，未受過專業訓練的標註人員很難對訪談資料進行有效標註，而e成科技強大的線下諮詢團隊顧問團隊全程參與資料標註過程，產生了大量的高質量標註資料，為專案最終成功落地做出了重要的貢獻。
產品呈現
最終的BEI Bot包含前端顯示、Bot互動、故事分析模型和專家標註系統四個部分。良好體驗的互動環境能夠使被訪人更好地將自己的故事高效準確地進行表達。而藉助專家標註系統，整個系統得以不斷從線上積累資料，反饋到模型訓練中，形成演算法迭代閉環，不斷促進演算法最佳化。
經過多輪迭代最佳化，目前e成科技的BEI Bot整體的素質評級預測準確率已經超過了80%，這一標準基本等同於一位有一年BEI分析經驗的人力資源顧問的水平。而在多次業務拜訪中，我們提供的BEI Bot也是也得到了客戶的一致認可；在e成科技的AI面試產品中，已經有幾千名候選人使用了我們的BEI服務。我們深知目前AI與人類的差距並不能只靠單個指標來衡量，在對話體驗、邏輯推演和複雜語義理解上，BEI Bot的能力還遠遠趕不上人類，而這也是我們不斷前進的動力。文章最後給出一個BEI實際訪問的例子，相信結合e成科技出色的AI、資料和業務能力，我們的產品一定能夠做出更好的效果，幫助更多公司實現人才升級的目標！
參考文獻：
[1] https://wiki.mbalib.com/wiki/冰山模型
[2] C.-Y.Xiong, Z.-Y.Dai, J.Callan. End-to-End Neural Ad-hoc Ranking with Kernel Pooling
[3] J.Devlin, M.-W.Chang, K.Lee, K.Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[4] A.-V.Dorogush, V.Ershov, A,Gulin.CatBoost: gradient boosting with categorical features support
