從難以普及的資料增強技術,看AI的價效比時代
資料是AI訓練的核心,這一點已經被確認再確認了。雖然資料驅動不是AI演算法訓練的唯一途徑,但在產業中已經出現了很明顯的趨勢,那些資料豐富廉價的領域,就是會更容易孕育出AI技術。像是漢英之間的機器翻譯能力會大大強於小語種間的機器翻譯,資料收集更容易的人臉識別應用率也高於虹膜、眼紋等等生物特徵的智慧識別。
可以說資料的缺乏或昂貴,往往是阻礙AI發展的直接緣由。
當然面對這種情況,也出現了相應的技術解決方案——資料增強技術。
資料的有絲分裂,是怎樣進行的?
所謂資料增強技術,可以理解為資料的繁殖皿,可以讓資料進行“有絲分裂”,增強樣本擴大資料集。
以影像資料為例,當影像資料不足時,可以對影像進行一些輕微的改變,例如裁剪、旋轉、映象反轉、輕微的扭曲、增加噪點、增加遮擋物等等。對於人類來說,雖然可以一眼識破兩者之間沒有區別。但對於AI來說,即使幾個畫素點的變動,也是全新的資料樣本。
而應用於文字資料,則有互譯和詞向量替換兩種方法。透過機器翻譯,將一句話從中文翻譯成英文,再由英文翻譯成中文,就可以實現語序、同義詞等等的調整替換,得到語料乘二的效果。以及透過自然語言生成技術,將一句話中的不同物件進行劃分並替換生成新的句子。
這些資料增強技術也開始透過深度學習的加持逐漸提升效率,例如去年4月谷歌就推出了一項名為AutoAugment的技術,這一模式設計了一個自動搜尋空間,利用搜尋演算法來確定適合資料集的影像增強策略(例如上述的平移、縮放等等),制定執行的順序並且自動執行。
例如將一個動物照片資料集輸入給AutoAugment,AutoAugment透過計算會確定出先平移再剪裁是讓AI對於資料“陌生感”最大化的解決方案,然後開始自動執行。
為什麼資料增強沒能普及?AI企業的成本怪圈
看到了這些解決方案,大家是不是有種“天亮了”感覺?既然資料可以“自我繁殖”,那麼資料的累積和採集就再也不是AI發展的阻礙。小語種的翻譯、冷門植物動物的識別都可以快速AI化,巨頭移動網際網路企業霸權下的資料壟斷也即將被破解……等等,如果資料增強技術有如此之強的能力,這項技術至少應該像BERT一樣在學術界和產業界引起極高的關注,並且迅速形成產業鏈。
可實際上今天我們仍然能看到大量AI企業為如何獲取資料而憂慮。
為什麼資料增強技術沒能徹底解決他們的問題呢?這背後其實是老生常談的成本問題。
資料增強技術從來都不是免費利用的,很多時候AI技術介面本身就需要按呼叫次數收費,更別提背後的計算成本和時間成本了。
就拿文字資料經常利用的機器翻譯來說,百度、搜狗、有道等等提供的機器翻譯服務對於普通使用者來說雖然是免費的,但是超過了一定流量值之後也要進行收費。資料增強技術顯然屬於收費範疇之中。曾有知乎使用者表示,幾款主流的機器翻譯軟體的收費標準大概在48元-60元/百萬字元不等。對於企業來說,這也是一項不小的花銷。
而應用於圖片資料增強的AutoAugment,更是一種十分昂貴的演算法。應用時要對15000個模型進行收斂,這對算力的消耗是巨大的。如果以CIFAR-10這樣的物件作為資料集,需要利用英偉達Tesla P100 GPU計算幾千個小時,以谷歌雲的收費標準需要花費7500美元。
換句話說,如果資料增強的收費成本超過了人工去拍照收集,企業自然會去選擇更划算的方法。實際上大多數時候企業既不能覆蓋人工獲取資料的成本,也不能覆蓋資料增強技術應用的成本。
當AI走進價效比時代
這一現象提醒了我們,AI正在進入一個“價效比”時代。
資本對於AI一擲千金的歲月已經過去,隨著巨頭的AI技術逐漸產業化,其他AI企業已經無法向以前那樣不計成本的投入。同時隨著產業鏈發展的越來越完善,AI企業發展過程中的“計費標準”也逐漸清晰起來。在巨頭佔據市場的情況下,AI企業很容易看到在未來業務的發展中究竟經歷著哪些成本上的商業風險。
這時,幫助降低資料增強這一類技術的應用成本就成了一件很重要的事。
例如最近伯克利人工智慧研究院就推出了一種群體增強技術,透過資料結組方法,更高效地找到資料增強策略。相比單純的應用AutoAugment,可以提升近千倍的效率。讓很多無法負擔高昂計算成本的企業甚至個人都能利用起資料增強技術。
而這種旨在降低AI研發成本的技術,或許未來會成為典型。其中的原因在於,谷歌這樣的巨頭企業,以及OpenAI這樣的研究機構,本身擁有雄厚的資本和資源支援,導致他們在研發技術時,很難會考慮技術的“價效比”。何況很多時候這些企業本身也是算力資源的掌握著,他們在某種程度上掌握著技術與算力之間的定價權。從谷歌的角度來說,他們當然希望企業在研發AI時需要消耗盡可能多的算力資源,畢竟從演算法技術到雲端計算資源都是他們的一套買賣。
如此以往下去,如果技術的計算標準和計算資源都被壟斷,AI企業在發展時會遇到一條明顯的閾值。一旦超過這一閾值,AI企業就會很難跨越成本,於是直接被攔在門外。甚至科技巨頭可以利用這種方式對於產業進行間接的操控,舉例來講,如果谷歌想保護自己在小語種機器翻譯上的優勢,只需要提高該語種機器翻譯應用費用,就能透過加大企業獲取語料資料成本的方式,阻礙他們進行相關研究。
在這種情況下,打破壟斷、重塑定價權,讓AI研發更具價效比,或許能夠打造出一條獨闢蹊徑的道路。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2650778/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 從韓國的大資料之殤,看技術的產業價值與功能價值大資料產業
- 從0到N建立高價效比的大資料平臺大資料
- AI時代的移動技術革新AI
- 大資料的儲存時代,你需要這款價效比高的NAS!大資料
- StartDT AI Lab | 資料增強技術如何實現場景落地與業務增值?AI
- 使用資料增強技術提升模型泛化能力模型
- 對PPQA績效難以展示的分析
- 華為雲大資料BI 解決方案的超高價效比大資料
- 彭博“暗窺門”看大資料時代的心理地圖價大資料地圖
- 從技術角度看騰訊雲“資料丟失”事件!事件
- HPE 3PAR StoreServ 8000儲存,以更優價效比為資料賦能
- 透過資料和技術增強住宅的安全性方法有哪些?
- 從《鹽和獻祭》的失敗看獨立遊戲難以持續成功的巨大難題遊戲
- 大資料時代的技術hive:hive介紹大資料Hive
- ios企業簽名過期:iPhone時代,面部識別技術難以禁止iOSiPhone
- 從技術方面來看:資料治理怎樣進行?
- 小米6體驗簡單評測 被低估的價效比強機
- 大資料時代的技術hive:hive的資料型別和資料模型大資料Hive資料型別模型
- 從技術角度揭秘騙術:資料庫如何防止5G時代的電信詐騙資料庫
- 從埃航空難報告看AI系統的容錯性AI
- 黃東旭:開發者的技術無感化時代從 Serverless HTAP 資料庫開始Server資料庫
- 從資料庫發展史看資料庫未來技術趨勢資料庫
- 深入分析大資料時代中的資料倉儲技術大資料
- 大資料時代下對衝基金的資料探勘技術探析大資料
- 浪潮儲存以技術探索新資料時代,智慧未來讓人期待
- Gartner:AI增強將創造2.9萬億美元的商業價值AI
- 大AI時代即將到來?AI技術能解放多少技術力AI
- 大資料時代的資料應用難題——資訊圖大資料
- 大資料時代的資料應用難題–資訊圖大資料
- Java位元組碼增強技術Java
- CDH5之Balancer難以在快速增長的叢集上平衡大量的資料H5
- [轉載]NoSQL領銜大資料時代的新技術SQL大資料
- 從事技術工作以來的一些的感想~
- 如何用AI技術提升你的業務安全價值?AI
- 火山引擎 VeDI 平臺以 AIGC 技術,助力企業提效營銷、快速增長AIGC
- 資料經濟時代的信仰,區塊鏈技術的應用區塊鏈
- 技術的價值
- 事實證明,國產BI軟體的財務資料分析價效比極高!