工程師訪談 | 初心在方寸,咫尺在匠心,愛奇藝NLP的成長之路
當你開啟某個影片App時可能會出現幾個場景,比如,你可能會根據標籤/分類瀏覽是否有自己感興趣的內容,在此同時也會根據你以往的瀏覽習慣推薦給你感興趣的內容,又或者直接在搜尋欄中輸入腦海中的關鍵詞查詢……別看這些都是很常見的小動作,背後卻有很多人為之努力著,其中用到的一項重要的技術就是自然語言處理(NLP)。
NLP能有效實現自然語言通訊計算機系統,彷彿學會了“讀心術”,理解人類的語言邏輯,能使海量影片個性化推薦給使用者,又或者快速理解和精準的匹配使用者輸入的關鍵字並快速湧現出來,努力為使用者創造便捷和提供更加精細化的體驗。
早期愛奇藝還沒有一個完整的搜尋團隊,“當時是搜尋、推薦等多個業務整合在一起成立了一個資料組。那時候,搜尋用的還是Lucene,(Lucene是早期使用的一種搜尋引擎開源工具),對於處於起步階段的業務,可以快速實現搜尋功能。
但是隨著公司業務的發展,索引量和搜尋量快速的增長,這時候使用開源工具侷限性就很明顯了,服務的效能、穩定性、可擴充套件性等都比較差,所以必須要重新開發一套新的搜尋系統,來滿足公司業務的發展需求。
於是搜尋團隊僅有的4個人天天擠在一個小會議室裡一起,不分白天黑夜的連續奮戰了90天封閉開發,他們獨立開發了一套愛奇藝的搜尋系統“奇搜”終於上線,就這樣他們的“奇搜”從無到有,為現今的愛奇藝搜尋系統造就了穩健的根基,搜尋量也從當時的百萬量級,發展到現今日均搜尋量數億的搜尋引擎。
於此同時,NLP的基礎模組也在這個時候從無到有逐步的被開發出來。第一個模組是中文分詞系統,因為分詞系統是搜尋引擎的基礎性模組,對於搜尋引擎的效果發揮著重要的影響。
透過不斷的進行效果和功能完善,到現在已經發展成為了一個包含分詞、詞性標註、實體識別、實體連結、詞權重計算等功能的詞法分析系統,在較好的滿足了搜尋系統的同時,也進行了技術輸出,目前已經給公司超過40個業務線提供了服務,日介面呼叫量高峰超過了10億,在公開資料集上的評測效果優於結巴分詞、ICTCLAS、哈工大LTP分詞等第三方開源工具。
做思想和行為的踐行者,不斷突破技術難關
神奇讀心術的秘密,Query理解有妙招
助攻、領跑是技術專家和技術Leader的必備素養
後記:匠心源於熱愛,源於專注
生命原本就是一個追尋的過程,學會擔當,學會原諒,學會扛起責任和義務,哼一支小曲,悠然前行。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69945252/viewspace-2701663/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 在 GitHub 學習,成長為自己想要的樣子|HelloGitHub 訪談Github
- 談談我這三年在技術上的成長
- 《運維工程師成長之路》——導讀運維工程師
- 9281051行程式碼 ,致敬初心匠心打磨行程
- 架構師成長之路之限流漫談架構
- 騰訊測試開發組長 · 潘在亮訪談問題有獎徵集(圖靈訪談)圖靈
- 伯樂訪談之程式設計師在國外:李輝 - 高階軟體工程師在德國程式設計師軟體工程工程師
- 在專案中成長
- Secret CEO訪談:匿名社交網路的成長之道
- 七牛首席架構師李道兵:在開源世界裡逼自己成長(圖靈訪談)架構圖靈
- 作為面試官的一點點感悟,談談技術人的成長之路面試
- AI 在愛奇藝影片廣告中的探索AI
- 我的Python成長之路Python
- 前端菜雞的成長之路前端
- 核心菜鳥的成長之路
- Webpack 達人的成長之路Web
- 我的技術成長之路
- ThoughtWorks賈永娜:挑戰=成長(圖靈訪談)圖靈
- Java工程師成神之路Java工程師
- Java工程師成神之路~Java工程師
- HMM在NLP中的應用HMM
- AI 在愛奇藝視訊廣告中的探索AI
- 在日本靠RPA實現獨立的工程師丨清海一聰訪談錄工程師
- 「Golang成長之路」面向“物件”Golang物件
- 「Golang成長之路」面向介面Golang
- 面試愛奇藝,竟然掛在第5輪……面試
- 面試-執行緒池的成長之路面試執行緒
- Java程式設計師的成長之路Java程式設計師
- 程式設計師的自我成長之路程式設計師
- java學習的網站,成長之路Java網站
- 「Golang成長之路」內建容器Golang
- 「Golang成長之路」面向介面篇Golang
- Java成長之路--一個非科班生的進階之路Java
- 售前工程師的成長(四)—一個老員工的經驗之談薦工程師
- 售前工程師的成長(五)—一個老員工的經驗之談薦工程師
- 愛奇藝在服務網格方向的落地實踐
- 談談技術人成長中的軟技能
- 伯樂訪談之程式設計師在國外:陳遠 - iOS開發者在澳洲程式設計師iOS