作者：新東方AI研究院院長張建鑫
有句話講，技術總是在短期內被高估，而在長期內被低估。您認為人工智慧技術目前是被高估還是被低估呢？
人工智慧技術的發展歷史已經很久遠了，現在的AI頂流-人工神經網路理論研究工作最早發生於1943年，在1980年代由Hopfield完成了基礎理論的突破，引發了1985年以後持續的人工神經網路研究熱潮， Hinton和他的學生們在基礎理論的指導下長期努力，終於在2012年推出了Alex Net取得了技術上的重大突破，在那之後更多的人工神經網路模型被提出來，實用效果越來越好，導致了很多人工智慧公司的成立，在2015年微軟推出殘差網路模型和2018年穀歌推出Bert網路模型後， 人工智慧演算法的工業化前景越發清晰，很多傳統行業公司都跟風成立了AI研發部門，近幾年AI技術的發展腳步越來越快，讓市場普遍產生樂觀情緒，認為未來已來。但是現在的AI技術在模擬人類感知能力方面表現尚可，而在模擬人類認知能力方面依然征途漫漫。理論和演算法是人類的公共知識和共同財產，目前在各種商業應用裡取得演算法競爭優勢的首要因素不是作為公共知識的演算法，而是具體業務場景規則（熟悉業務）和這個業務場景下使用者產生的海量資料（資料優勢），通過對資料的自動、半自動和人工標註再加上AI演算法的泛化能力我們可以實現在某種程度上的case窮舉，把某個業務場景裡積累的大資料優勢轉化為這個業務場景裡的演算法優勢，可以說是在用大資料解決小問題，但由於神經網路演算法解決的大多是NP完全問題，因此歸根到底其演算法推理模型只是一個無限逼近完美的近似解，很難做到100%的準確率。與神經網路演算法不同，人類經常可以根據蛛絲馬跡的少量資訊就推匯出正確的結論、甚至還能發現新的規律和符合邏輯的定理公式，所以人工智慧理論和技術距離成熟還有很長的路要走，黑盒的人工神經網路模型很可能不是人工智慧技術的終極答案，神經網路技術目前依然還是一個依賴大資料和算力的，理論性較弱的，工程性很強的演算法。但即便如此，人工神經網路演算法目前的進步已經足以讓它在很多工業、農業和商業領域取得成功。除了演算法、資料和算力這三個因素，為了取得更好的效果，我們還必須重視對業務規則的透徹理解和相關的資料開發工作，重視組織管理，重視基礎設施建設和降本增效，確保在使用與競爭對手類似的演算法技術的情況下，可以用更低的成本，更快的速度，取得更好的演算法效果。2018年後隨著AI技術在媒體曝光的大幅增加和資本的踴躍投入，AI技術短期內處於被高估的狀態，但是AI技術的落地卻顯得困難重重，有的企業家講，在人工智慧技術上投入了15個億，換來的只是網速快了一點點，低效的資本狂歡過後，部分企業家對AI技術的評價不可避免地滑落到低估傾向上。
造成這個現象的原因是什麼呢？
任何一項科技成果產生社會價值都會經歷三個階段的突破，第一個階段是大學和研究所裡的理論突破，這是沒有任何功利性質的理論發明和理論完善的階段，這個階段通常沒有資本的介入，歲月靜好紅塵無擾。
第二個階段是在實驗室中理論聯絡實際的技術突破。新技術研究和演算法研究雖然還是偏研究性質，但已經是即將衝出地平線的太陽，已經讓世界看到了曙光。這個時候資本已經嗅到機會，紅塵滾滾而來。
第三個階段是應用工程突破，就像蒸汽機的發明歷史一樣，只有把一項新技術經過了工業化和應用工程化改造，把新技術應用成本大幅度降低，並且通過橫向和縱向的分工把學習門檻大幅度降低下來後，才可以廣泛地應用到各行各業。工程化的本質就是用自動化替代簡單人類勞動，用精細化分工讓一個人難辦的事變成多人協作，結果是許多普通工程師都可以參與到大分工裡發揮作用。回顧計算機軟體工程過去40年的發展歷程。1980年代，似乎非史丹佛畢業的寫不了計算機程式，90年代非985畢業的不可，2000年代非211畢業的寫不了程式碼，2010年代，各個軟體公司僱傭著許多經過簡單培訓的程式設計師從事寫程式設計工作，我不是說軟體工程不再需要精英程式設計師了，而是說軟體工程經過多年的精細化分工和管理方法迭代後，分化出了大量普通崗位和角色，這些崗位是允許經過簡單培訓就可以參加的，並且一部分原來必須由人完成的工作，現在也已經可以自動化完成了，因為各種開源架構和基礎元件的發展，程式設計師也不需要重複造輪子了，軟體工程這個工業化組織體系也已經進化得非常複雜和高效了，可以吸納各個層次的從業人員參與其中,軟體工程管理方法經過好個版本的迭代（瀑布、敏捷、Devops等等）也越來越先進和高效，對團隊高階管理者的要求也提升了很多，新技術理論消滅舊的工作崗位的同時，也創造著大量新的工作崗位，改造著人們的工作方式、協作方式和管理方式。
換個角度再看，90年代求伯君一人寫出了WPS，張小龍一個人寫出Foxmail後以2000萬人民幣賣給了騰訊。20年後張小龍的微信研發團隊有2000名多正式員工，主打WPS軟體的金山辦公也已經有3000多人的團隊了。現在軟體領域再也沒有一個人單挑就能震動天下的軟體產品，而20年前的堪稱神作的個人軟體放到今天可能會被迅速拆解為20人軟體工程團隊幾個月的工作量，使用者體驗還可能做的更好，沒有了神祕感。
今天軟體工程對產業界的作用，是我們在20年前只能想像無法實現的。如果我們相信人類的一切不過是在不斷地重複歷史，就應該相信AI應用工程化的路徑很可能會參考軟體工程的歷史，也會以20年週期來計算，20年是一個說長不長的過程，但足以讓很多不堅定的人掉隊，並失去他們相信過的未來。
新東方的企業文化強調“做正確的事，和正確地做事“。
正確的事是用心來判斷和選擇的，要明心見性，正直、豁達、樂觀才能看到並堅持正確的事情，而正確地做事則是要用腦子去思考如何執行落地，在執行前要略微悲觀地想到各種可能的困難和潛在的問題，謀定而後動，執行時又要樂觀、積極地提高效率、降低成本、減少阻力、少走彎路、to make it happen、to get things done。無論市場對AI是高估的還是低估的，無論大V們對AI應用前景是如何判斷的，無論人工智慧技術的下一個突破方向是什麼,教育+AI一定是一個正確的大方向，只是長路漫漫，很多不起眼的基礎工作必須要有人去做，不能既沒有理論突破，又沒有工程進展。 本文通過新東方人工智慧研究院的技術管理實踐和AI中臺建設實踐，介紹瞭如何管理AI研發部門的一些思路，和一些AI研發工作中的降本增效方法，以及一些AI中臺產品規劃和AI中臺建設思路，希望這篇文章能幫助到同行的其它AI工程團隊去降本增效，彰顯出人工智慧技術對業務的賦能作用和創新價值。
人工智慧研發部門的KPI或者OKR應該是什麼？
首先應該看到，大部分公司的存在目的主要是持續地服務客戶並創造經營利潤，一家沒有增長還持續虧損的公司不可能長久地活下去。然後再來看AI研發部門的存在目的是什麼？ 顯然公司裡的部門要有能力服務於客戶，或者創造利潤才能活下來，創造利潤無非通過兩個手段， 一個是擴大收入， 另一個是降低成本。 擴大收入往往是公司業務部門的責任，而公司職能部門存在的意義是服務公司主營業務並努力降本增效，否則這個職能部門就沒有存在的必要和存在的意義。
AI研發部門的首要KPI自然是要去服務業務，因此要認真思考三點。 一是要去思考演算法團隊有沒有能力支援業務需求， 二是要去思考支援業務的效果如何？ 三是要去思考自研成本有多高？ 如果自研的價效比不如供應商，並且公司的業務近幾年內也不會擴張，為什麼不考慮外購系統或者聘請外包團隊呢？通常我見到的演算法研究人員比較缺乏成本意識和整體意識，但是企業對研發工作是要算經濟賬的，如果AI研發部門不重視這一點，企業的AI演算法工作就不可能做好，就很可能被業務方吐槽甚至棄用，最終導致演算法研發工作的失敗， 甚至AI部門被撤裁。
一家公司的AI研發部門的最大優勢在於可以拿到本公司特定業務場景裡的特定資料， 通常一個演算法，如果沒有特定場景的業務規則要求，也沒有積累海量的特有資料，外購通用演算法服務就是最好的選擇，這種情況下企業AI部門就不要去自研了。企業AI研發部門選擇做正確的事情時，首先要在公司整體利益的指引下排除掉不正確的事情，然後就是一定要抓住可以獲取本公司特色資料的優勢和熟悉本公司業務規則的優勢，圍繞公司的核心業務開展演算法研發工作，圍繞降本增效來做文章。由於資料和規則都要花很多時間積累，所以需要有演算法團隊長期維護和迭代演算法模型，不斷地進步取得更好業務效果。
所以AI演算法團隊的首要業務指標很明顯就是要用更低的成本和更好的效果去賦能業務。舉一個案例， 新東方自研的人臉考勤機系統的硬體成本為850元，XX雲的人臉打卡機的報價為每臺4000元，如果需要把人臉考勤機系統和公司的教務班課系統打通，還需要額外付給XX雲一筆ODM研發費用。 新東方有幾十所學校和幾千個校區，外購人臉打卡機和自研人臉打卡機器的費用計算下來的差距在2千萬元人民幣以上，而新東方AI研究院在人臉考勤機系統研發的全部人力投入不超過6個人，研發成本可忽略不計，成本優勢明顯， 效果呢？新東方自研的人臉打卡機和新東方教務系統打通後，每天在營業時段裡，對比當天到校師生的照片，演算法識別準確率非常高。 而通用的人臉打卡機則需要上傳所有學生照片到雲端，打卡時在幾十萬人的照片庫裡查詢匹配人臉，出錯概率比較高，並且把人臉上傳雲端的做法還會涉及隱私問題。公司是要控制成本的，當一個標準化產品和公司核心業務的關係不是特別緊密的情況下，公司通常會考慮外購，只有當自研產品具有明顯的成本優勢時，公司才會去考慮自研方案。
其次應該看到，人工智慧技術是很新的技術，在當前階段把AI技術和任何業務結合都會產生發明專利，所以AI團隊必須重視創新，同時發明專利必須和業務緊密繫結才有意義。
我始終認為企業AI研究院應當主要從事新技術的應用研究和工程研究，而擴充人類知識邊界的理論研究工作應當交給非營利的科研機構去做。新東方人工智慧研究院六十幾位員工在過去一年裡提交了90多項發明專利，主要是圍繞題庫試卷文字識別、自動批改、智慧教室，雙師AI課，和AI學習機展開的，都是和公司主營業務繫結的創新產品研發任務，沒有去搞和業務沒有關係的湊數發明。由於人工智慧技術太新，業務方往往不知道如何應用人工智慧技術，這就要求人工智慧研發部門要主動地發現AI賦能業務的機會，也要求人工智慧部門不能僅僅滿足於技術層面創新，也要努力嘗試產品層面創新，主動在產品裡應用新技術和新方法來啟發業務創新。打個比方，如果業務方是用馬拉車做客運的，業務方通常給研發部門提的要求是怎麼能讓馬車更漂亮舒適一些，讓馬拉車的效率更高一些，而不是想到用更廉價更快速的汽車來取代馬車。新東方AI研究院設計推出了新東方口語小程式和新東方作業批改小程式，融合了大量教育人工智慧技術發展成果， 2021年暑期月活使用者達到30萬，滿足了學生和教師的部分教學需求。 過這兩款小程式，我們蒐集到上億條高質量的少兒英語口語測評資料，和中小學生的中英文手寫體資料，這些資料又進一步讓我們具備了更多的資料優勢，同時由於產品功能設計的原因，很多資料是產品功能自動標註的，不需要經過人工資料標註，因此降低了資料研發成本，還提高了演算法的效果。
AI部門有三個重要的開銷，一個是GPU訓練和推理伺服器的成本， 第二個是資料的成本， 第三個就是研發人力成本，通常研發部門可以持續優化人力但是研發部門的人力成本正常是降不下來的，所以降低人力成本的關鍵是提高研發人效，通過系統支援在人均工作時間不增加的情況下讓單兵產出暴增， 這點在當前AI技術管理體系和工作支援系統還沒完善的情況下，是有很多文章可以做的。降低資料成本主要是降低人工標註比例，和提高資料標註人效，這點要通過資料工程和資料標註系統來實現，建設AI資料標註系統的另一個重要作用是可以保護資料資產安全，保護資料安全就相當於保護演算法研發成果。GPU伺服器有訓練用途和推理用途，其中訓練用途的伺服器是非常昂貴的，動輒上百萬，電費消耗也相當驚人，就像太上老君的煉丹爐。我們不能讓煉丹爐閒下來，也不能讓演算法工程師排隊去等煉丹爐做實驗，線上的演算法推理伺服器也不可以有太多的閒置，這就要用到AI Devops工程技術體系，一要實現演算法訓練伺服器的水平擴容和監控管理，二要實現推理伺服器共享GPU資源池和演算法實力的彈性擴容縮容。
新東方人工智慧研究院經過一年多的綜合治理， 人均AI演算法產出提效10倍以上，伺服器的成本則下降到原來的三分之一，降本增效的同時，也找到了很多和業務聯合創新的路徑，通過業務牽引和創新驅動，在人員沒有增加的情況下，發明專利數量迅速增加。
總結一下AI部門的核心KPI或者OKR
1、 AI演算法工作一定要圍繞業務展開，
2、 圍繞業務多搞發明專利
3、 圍繞業務多搞產品創新，提高人工智慧技術的價值創造能力
4、 用一切方法降本增效，研發各種演算法工作配套的軟體系統，磨刀不誤砍柴工，欲善其事必先利器。
為了實現AI演算法團隊的KPI目標，可以參考下面這張組織架構圖來組成團隊，圖裡包含了兩種組織， 一種是專注不同研發方向的技術團隊，另一種是是專注不同提效用途的軟體系統, 這些軟體系統組合起來形成了AI中臺。兩者有機地結合起來，對內形成了高效合作的氛圍，對外可以更廉價高效、和快速地支援好業務。由於組織間低耦合，組織內高內聚所以整個團隊呈現出非常好的執行力。 演算法開放平臺系統提高了客戶的自助服務比率，產品經理作為客戶和演算法團隊的中介，有效地提高了整部門的工作效率。
AI研發部門的核心是演算法團隊，目前有三大演算法方向， NLP， 計算機視覺，智慧語音。三者之間術業有專攻，人員不能相互替代。各演算法團隊的工作主要是在業務目標的引領下做大量演算法實驗，神經網路模型的演算法實驗有點像使用者增長的A/B test，可以認為是一種大資料工程或者是一種數學工程，需要多訓練出一些模型來互相比較效果，做演算法實驗之前，演算法工程師要準備大量已經標註好的資料，為了降低資料成本，自動標註的資料比例越大越好，因為人工標註資料是很貴的。用OCR文字識別舉例子，列印體文字識別的資料物料100%可以通過CV演算法增強合成，可以把文字輸出到圖片上，圖片疊加各種模擬效果，產生海量資料後再進入人工智慧神經網路進行端到端的模型訓練。有些資料比如手寫體文字則必須經過人工標註，但人工標註後的資料同樣可以經過資料增強處理泛化成幾倍的資料。演算法工程師的多半時間是用來寫程式碼做資料處理，其他時間用來讀論文和讀原始碼做演算法選型，做模型加速和寫發明專利。 在組織架構還沒成熟的AI研發部門裡，演算法工程師要做很多雜事，例如API封裝，上線運維、對外溝通等工作，這樣會讓演算法研發工作效率大打折扣，因此圍繞演算法工程還需要搭建一系列的團隊和軟體系統。
如果想要降低人工標註資料的成本，提高資料標註的人效和質量，保護人工標註的資料安全，就必須要自研AI資料標註系統， 充分利用系統工作流拆解任務的能力和網際網路眾包平臺的廉價勞動力來降低資料成本。
演算法研發依賴的各個軟體系統都需要產品經理和軟體工程師的支援，如果沒有產品團隊和軟體團隊的支援，AI中臺是建不起來的，AI研發部門的效率也提不起來，成本也降不下去。
測試開發和運維開發團隊是非常重要的演算法研發支援團隊，他們用一年多時間建設了AI演算法和軟體的CICD流程以及支援系統，支援演算法的灰度釋出和線上回滾，還基於Docker實現了GPU伺服器的資源池共享和演算法的彈性擴容縮容，打通了演算法開放平臺、資料標註系統、和模型工廠實現了AI演算法研發的自動化大閉環系統。 通過幾十個不同的AI演算法共享一個GPU資源池，以及演算法的彈性擴縮容機制，測試運維開發團隊大幅地降低了GPU伺服器成本，提高了GPU資源利用率和線上演算法服務的穩定性。
AIOT智慧硬體是今天人工智慧研發繞不過去的主題，所以AI中臺也要包含AIOT管理系統，相當於研發一個AIOT底座，這個底座實現了資料管理，遠端控制，遠端更新，裝置巡檢和報警等標準化的AIOT基礎服務，以後所有新立項的智慧硬體都可以在這個底座系統上快速開發上線。
發明專利交底書的撰寫是一個比較專業的事情，和專利律師、國家專利局打交道都是非常花時間的事務性工作，因此AI研發部門需要一名經驗豐富的科研助理來提高專利交底書的撰寫效率、提高對外溝通的效率，讓演算法工程師可以有更多的時間專注於演算法研發工作。
由於認知盲區，演算法工程師自測的演算法效果通常會比線上真實效果好一些，因此必須由AI測試開發團隊負責演算法的交叉測試和撰寫專業的準出報告。在工作中經常發現，在特定業務場景下效果好的演算法模型，很可能在通用場景下效果就差一點兒，因此我們首先要專注於本公司的業務場景來開發演算法模型，而不是貪大求全。下面這張圖是演算法測試報告截圖。
總結一下人工智慧部門的組織架構和分工
1、 AI部門組織架構由專業團隊和專業軟體系統兩部分構成，
2、 組織分工和角色定義的原則是，儘可能減少團隊間的依賴和溝通，儘可能增加團隊內的溝通和協作。各個演算法板塊內部通常由一位演算法博士（也要求有程式碼工程能力）帶隊，團隊主體由工程能力較強的碩士組成。AIOT團隊，軟體工程團隊，測試開發團隊，產品經理團隊，科研助理都是AI研發部門必不可少的組成部分，目的都是為了提高AI演算法的有效產出，幫助演算法快速有效地賦能業務，顯著提升人效並降低成本。
3、 軟體系統有：AI演算法開放平臺，AI資料標註系統， AI模型工廠，AIOT底座，還有一些用來展示AI能力和蒐集資料的小程式和解決方案。新東方口語和新東方練習助手兩個小程式蒐集到的資料有力地提升了新東方AI演算法的效果。演算法工程完成了一個模型的上線後，模型工廠可以讓人工標註的資料不出系統，直接進入演算法訓練伺服器，系統自動啟動演算法訓練指令碼，訓練完畢後自動釋出推理模型。 只要標註系統產生了足夠數量的資料，演算法的訓練、上線、效能測試、準出都由系統自動執行，不必佔用研發人力。
AI研發部門各組織和系統之間的協作圖如下
推薦讀者訪問新東方人工智慧開放平臺檢視AI解決方案簡介，試用新東方人工智慧演算法開放服務和教育類小程式AI產品並留下寶貴意見。
下面介紹一下新東方在教育+AI領域的部分工作。
新東方AI研究院以每間教室不到3000元的低成本實現了智慧教室裡的無感人臉打卡，AI督課，AI補課等業務。並且設計開發了低成本的雙師AI課智慧裝置，和低成本的校區人臉打卡機，並在研發過程中申請了幾十項發明專利，在成本和效果上優於其他供貨商。為了支援這些智慧裝置的研發工作，還研發了AIOT底座系統支援新型智慧裝置的快速研發上線，避免重複建設。
我們在國內實現了使用真正的AI演算法進行千班千面課堂AI互動的雙師錄播課。 讓孩子們在沉浸式的AI互動錄播課裡產生了良好的體驗和學習效果。
經過一年的努力， 新東方AI研究院已經掌握了人臉技術，和人體姿態手勢檢測等技術， 併成功地應用到校區人臉考勤機，雙師AI互動課，板書檢測，學生行為檢測，和各種各樣的文字識別技術，學習機指讀技術等領域，為業務轉型和產品創新奠定了良好的基礎。
小學公式AI答案批改的效果超過了國內主流人工智慧服務平臺
英文作文手寫體識別效果可以滿足英文作文批改，英文單詞聽寫批改的需要。
在BEA公開資料集的英文作文批改國際競賽裡取得過第一名。
新東方託福口語測評演算法參考率ETS的打分標準，把ETS口語考試的各種能力要求進行了量化打分，明確地指出學生口語發音在細分能力維度上的問題和分數，讓學生在AI口語測評演算法的幫助下快速地修正發音習慣，提高口語考試成績