如何運營一家資料標註公司(市場結構篇)

覺醒向量AWK發表於2019-08-22

“由於上游客戶的需求可能千變萬化,同時客戶的需求很大機率都是階段性的,這就要求眾包公司合作的大眾志願者首先自身得是穩定的。但是由於大眾志願者就是利用閒散時間進行工作的這種特性,長期穩定的大眾志願者幾乎不太可能,這就要求資料標註眾包公司必須擁有龐大的大眾志願者團隊,形成一個體系。才能保證在發放任務的時候總是有充足的大眾志願者進行合作.....”


隨著AI浪潮的斬頭露角,資料標註 行業也猶如雨後春筍般蓬勃的發展起來。

        本文就目前國內資料標註行業存在的幾個階段性結構特徵進行展開,讓更多想了解資料標註的AI公司、AI實驗室、準備加入資料標註的朋友們,快速熟悉目前資料標註行業的現狀和運營資料標註公司應該注意的若干問題。

資料標註市場目前有下面幾種結構:

1. 眾包結構

        顧名思義,就是把需要完成的任務分發給大眾志願者(也就是市場上說的兼職)。這其中就出現了眾包公司。眾包公司聯絡到需求資料標註的客戶,和客戶建立合作關係後,將客戶需求傳達給合作的大眾志願者,從而形成一個“需求公司——資料標註眾包公司——多個大眾志願者”這樣一個眾包結構 。

        這種眾包結構的優點就是可以組織起社會上的大眾志願者進行資料標註,而大眾志願者不用佔用太多的公司資源,勞動力成本相對較低。對於資料標註眾包公司費用支出的核心——人工來說,無疑是可以極大的減少公司的運營成本,從而使公司自身在面對需求資料標註的客戶時的報價更具有競爭力。

        當然,眾包結構的缺點和優點一樣顯而易見,甚至可以說它的缺點已經慢慢的大過了它的優點,為什麼這麼說呢?

  • 需要擁有大量的志願者基數 由於上游客戶的需求可能千變萬化,同時客戶的需求很大機率都是階段性的,這就要求眾包公司合作的大眾志願者首先自身得是穩定的。但是由於大眾志願者就是利用閒散時間進行工作的這種特性,長期穩定的大眾志願者幾乎不太可能,這就要求資料標註眾包公司必須擁有龐大的大眾志願者團隊,形成一個體系。才能保證在發放任務的時候總是有充足的大眾志願者進行合作。

  • 溝通成本高昂 而當大眾志願者的數量能夠滿足任務要求時,我們又不得不面對另一個事實:資料標註眾包公司在與需求公司洽談合作時只能有針對性的進行資料標註型別的選擇。如果在選擇資料標註專案上普遍撒網,就會面對公司自身需要投入巨大的精力去培訓那些不斷更迭的大眾志願者。而很多時候公司在大眾志願者合作方面節約下來的成本,其實已經全部轉嫁到了公司培訓、糾錯諸如此類的溝通環節。

  • 資料保密困難 目前國內的AI公司,AI實驗室還沒有形成井噴之勢。但就現階段而言依然有眾多AI公司,AI實驗室在進行著高度重疊的產品研發。對於有標註需求的公司來說,如果被標註資料都是真金白銀獲取來的,那麼倘若在眾包環節眾包公司處理不當,很有可能AI公司辛苦獲取的資料就成了其他AI公司的嫁衣。

  • 無法給予需求公司靈活的服務 因為大眾志願者擁有流動性的特點,一旦需求公司改變原有標註需求,資料標註眾包公司是沒有辦法在較短的時間進行調整的。同時,資料標註眾包公司的客戶群體也相對單一,由於大眾志願者的群體特點,資料標註眾包公司只能把更多精力放在需要大批次資料標註,同時標註規則相對簡單的需求公司。但是AI的訓練是一個階段性的過程,基本上都是:小批次找特徵訓練——較小批次簡單場景訓練——較小批次複雜場景訓練——大批次訓練。在資料標註眾包公司砍掉處在第一階段的AI公司和AI實驗室的時候,其實也就是砍掉了相當一部分潛在客戶。

2. 工廠結構

        有了眾包結構裡的兼職架構,下面就著重介紹一下全職架構,也就是工廠結構。

        工廠結構相較於眾包結構形式上要簡單一些,省去了中間眾包商這個環節,進而形成了一個“需求公司——資料工廠”這樣的工廠結構。

        相較於資料眾包公司,資料工廠的優點就是標註人員穩定,能做到需求方和資料標註方即時溝通,溝通成本大大降低。同時,由於資料是以一對一的形式進行傳遞的,也大大降低了資料被洩露的可能性。

        雖然工廠結構可以有效的規避很多眾包結構中存在的種種問題,但是依舊有很多問題他是沒辦法解決的,那我們就看看有哪些問題工廠結構解決不了呢?

  • 選擇標註公司的困難 在市場上可能有成百上千個工廠結構的資料標註公司,但是有資料標註需求的公司應該如何選擇呢?如果沒有選擇正確的標註公司,不僅得不到高質量的標註資料,更有可能因為資料大批次不合格而重複返工,進而耽誤了原本專案的工期。而在這個AI公司百家爭鳴的時代,時間才是最重要的,誰的產品最先出世,也就最有機會獲得資本的垂青。但是有標註需求的公司如何在眾生百態的標註市場中選擇一個 質量和效率雙重過硬的公司其實是一件非常困難的事情。

  • 工廠結構公司兩極分化  因為各種各樣的原因,工廠結構的公司兩極化很明顯:較大的可以達到上千人;而較小的,只有幾個人。因為兩級分化的原因,市場現在就會出現一個很有意思的現象:大的公司很少會去對接短期且資料量較少的專案,因為承接較少的資料量對於一個較大的工廠結構的標註公司來說很有可能都不夠公司日常的管理運營成本;反之,小的標註公司可以承接短期資料量較少的專案,但是在大批次資料殺到的時候,又會顯得捉襟見肘,難以承接。

  • 人工成本風險較高  首先因為是全職,不論有沒有任務,都涉及一個員工薪酬的發放。其次,需求方公司的需求有大機率是呈週期性的,就是有可能這周公司有專案做,下週可能就沒有了。這就會對映出一個工廠結構的資料標註公司非常尷尬的處境:合同期限內需要完成的大專案可能需要大量人員進行參與。可是一旦合同結束了,公司卻又沒有找到後續能夠進行人員分配的 專案,這就會給資料標註公司的運營帶來挑戰。

3. 眾包+ 工廠結構

        有了眾包和工廠結構的總結,我們不難發現,他們各有各的優點,也各有各的缺點。這裡提出的眾包+工廠結構,其實就是將兩者進行了優缺點的融合,揚長避短。

那麼大家肯定會有疑問,怎麼融合呢?如何才能將這兩種結構很好的在實際操作中統一起來呢,歡迎大家持續關注微博,在後面的篇幅裡,會有詳細介紹。



來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31560647/viewspace-2654642/,如需轉載,請註明出處,否則將追究法律責任。

相關文章