#雲棲大會#移動安全專場——APP渠道推廣作弊攻防那些事兒(演講速記)

聚安全平臺發表於2017-10-16

導語:

       如今,移動網際網路浪潮進入白熱化競爭態勢,APP渠道傳播成為很多企業常用的推廣方式,APP推廣費用也在水漲船高,從PC時代的一個裝機0.5元到1元不等,到移動網際網路時代的5元,甚至幾十元,但為什麼轉化效果卻越來越差。在如此巨大經濟利益的驅使下,渠道推廣摻假成為業界的普遍認知,渠道不刷量也只存在於童話故事裡。因此,如何能減少APP推廣經費被羊毛黨消耗,便成為了大部分網際網路企業都在思考的問題。

      本報告將分享阿里巴巴集團安全部關於App流量推廣資料造假攻防的產業鏈的應對,重點介紹阿里安全獨創的五層識別模型是如何在與黑產攻防轉換鬥爭中,有效識別各種刷量作弊,為企業使用者節省開支,減少業務損失。

下面有請阿里巴巴集團移動安全專家馬徵,為大家分享APP渠道推廣作弊攻防那些事兒。



嘉賓演講正文:

       剛才一位同學做了一個很好的分享,也介紹了一些黑科技,實際上這些黑科技在整個阿里巴巴集團安全部來講只是冰山一角,那麼我們平常會把這些黑科技應用在哪些地方,實際上最主要的一個“戰場”就是在與黑產的對抗當中,與黑產高強的對抗,是應用我們這些技術的主戰場。下面由我進行一些有趣的分享。

       首先我們先瞭解一下現在整個APP推廣行業的背景,看看推廣環境是怎麼樣的,2017年對移動網際網路公司來講是非常恐怖的,這是王興講過一句話。

       第一,我們自己的大資料分析總體手機數量已經不漲了,智慧手機已經走過10個年頭的發展,新增量和淘汰量是持平的,總體智慧手機的數量已經不再增長了。

       第二,競品太多,消費者解除安裝,同一型別的APP最終留在我們客戶的手機裡面的基本上都分一個型別或者一個型別裡面留一款,我用了高德都不會再用百度,用了餓了麼就不再用美團,所以基本上最終留下來的只有一個,所以競品太多,消費者初期可能會裝,但是後期的解除安裝率是很高的。

       第三,因為前面我們說過“盤子”已經固定了,“蛋糕”已經這麼大了,不再漲了,而且競品這麼多,導致現在整體的推廣費用漲了近30%,這是進您上半年的一個資料。這張圖可以直觀看到APP的推廣費用,直播行業價格還算低一點。下一個緯度就是在遊戲行業裡面,大部分推廣費用就已經上升到20塊到30塊一個新增,那麼到了金融領域就是跟錢相關的這些APP當中,像平安銀行信用卡一個新增到的55塊錢,價格非常高,而且我們通過其他渠道看到,包括我自己接觸的一些使用者我們也看到,甚至我們接觸過一個新增100塊錢也是不少見的,所以總體的推廣費用會一直漲,而且這個數量在未來幾年之內它不會停止它漲的趨勢。所以整體的外在環境還是比較惡劣的。

      那除了外部的環境之外,一本財經有一個報告,1000萬流量推廣預算的60%是被內鬼、中介、羊毛黨吞噬,利潤的分成是四六分,我六,你四,其實受損的是企業。那隻要有利益存在的地方,就一定會成為黑客的攻擊目標,一定會成為黑客的重點,黑客利用病毒每天可以獲利300萬到500萬美元,整個APP渠道推廣的市場是多麼的誘人,會有越來越多的黑產來分這個“蛋糕”。

      下面簡單看一下目前企業常見的幾種推廣方式。

       第一種企業會選擇大的渠道商,比如說應用市場或者微博、頭條這種大的渠道商去做推廣,會在內部做廣告,然後去做APP上架包括排名,包括下載推薦等等。那麼在做這種大型的渠道商推廣的時候,我們常面臨幾個比較麻煩的問題。首先大型的渠道商一般比較強勢,我們真正去做APP推廣大部分是中型的企業或者小型的創業企業。我們跟大家談的時候是很難拿到一個合理的價格,他們比較強勢,所以我們價效比不是很高,雖然大型渠道商周邊量很少,但是它信用很高,但是一個APP的推廣成本很高,那麼在這樣的渠道里面我們即使抓到一個刷量,或者一個有問題的量,那我們所為使用者節省資金實際上不小於小的這種渠道商的。

       第二個緯度就是手機廠商預裝的方式來做APP推廣,目前來講手機廠商預裝這種方式比較混亂,就是沒有一個特別好的規範或者沒有一個特別好的管理,那麼之前就有新聞報導過,就是某個國產的手機廠商,具體名字不談了,當年它的出貨量是100萬臺左右,但是它給某APP做推廣報了500萬的數量,這個事情比較尷尬了。一臺手機難道要裝5個一模一樣的APP嗎?這也是一種非常不規範的,就是沒有通過強管理的渠道。

       第三種利用廣告聯盟小型或者種型的渠道進行推廣,這種方式也是多數的企業所採用的一種方式,但是問題也是最大的,體積越龐大,問題越多,存在的刷量越多,市場同樣是不規範的,雖然我們看到廣告聯盟推廣的時候可能費用會比較低,但實際上存在的刷量還是非常高的,最後用三個詞來形容就是“水太深”。那基本上廣告聯盟的結算方式會配渠道號去做結算。   

      下面進入正式的攻防對抗了,只要有利潤黑客就會追逐利潤,只要有資金,黑客就會去刷,就會去吃這塊“蛋糕”,下面簡單介紹一下黑客發現這塊“蛋糕”,他們是怎麼去吃這個“蛋糕”了。

      首先我們發現黑客採用比較常見的方式是叫眾籌刷,這是一款眾籌刷的一個軟體,裡面整合了非常多需要做推廣的安裝包,我把這個裝在我的手機上面,一個兩三毛,做這種眾籌刷的黑產在從中獲利。它的特點比較明確,這些所有做APP啟用或者安裝的都是真人,地理位置都是不同的,全國的任何一個位置都有可能。第二沒有很明顯的作弊特徵,識別難度比較大,這些實際上還是通過我們真實的使用者在去做點選去做安裝,實際下載到也是使用者的手機上面,沒有明顯作弊的特徵。但是面臨的問題也很明顯,它需要繫結銀行卡去提現,作為我來講去做這件事情,本身的金額又不大,對我來講誘惑不是很高。它自己眾籌刷軟體本身的推廣也是一個比較大的問題,我怎麼讓人知道我這款軟體來做這個事情,這個也是比較大的難點,所以整體來講眾籌刷的方式不太多,佔一定部分的比例。

       第二種比較厲害,是做病毒刷,根據2016年獵豹釋出的報告,他們發現了一款叫做“悍馬”的一個病毒,在全球,每天能達到140萬的日活,他們也做了一個測試,在兩到三個小時之內這個病毒就安裝了200個應用,消耗掉使用者的容量達到2G,一個APP0.5美元成本,一天就可以賺50萬美元,這個非常誘人。講一下它的特點,首先利用病毒款是在比較老的裝置上進行,這種比較容易種這種病毒。同時這個病毒能夠自動啟用,啟用裝置也是真人真機,我不知道我的手機中了病毒了,也不能在默默的安裝應用。這兩個面臨比較大的難點,首先病毒開發本身是需要一定的技術門檻的,而且未來隨著安卓6.0版本以上,iOS10版本以上,對於開發的難度會越來越大,那麼傳播的難度也就越來越大,現在大多數人的安全意識已經在慢慢提高,我們都知道可能在一些不明連結下下載的APP是不安全的,包括一些釣魚網站國家進行大力的打擊,大家都會在正規的應用市場上面去做下載,所以它的傳播難度還是蠻大的。


      第三種方式是人肉刷,這就是我們的裝置牧場,我不知道在座的各位有沒有見過這個場景?實際上還是比較壯觀的,在一個房間裡面,多的用書架,非常非常多的裝置,然後通過一到兩個人挨個點選進行安裝,恢復設定然後進行下一批的安裝,這個就是裝置牧場。這個是我們發現的一個裝置牧場的廣告,擁有粉絲就擁有勞斯萊斯,這個話和阿里客戶第一的價值觀比較相符,但是不同點在於它是用粉絲來換取“勞斯萊斯”的,阿里是把我們的粉絲當做勞斯萊斯對待,這是我們之間的區別。 那麼這種人肉刷的方式特點比較明確,首先裝置要有越獄的許可權,這是需要一個最基礎的條件。第二,它通常安裝有修改裝置資訊的軟體,因為我刷完一批以後,我通過修改裝置資訊的軟體要進行修改,然後再安裝另外一批軟體,或者第二天同樣安裝第一天安裝過的軟體,算一個新量。所以它需要修改裝置資訊的檔案保持安裝量。但是啟用IP和地理位置比較統一了,裝置牧場集中在一個環境裡面,那麼比較大的缺點或者比較大的問題就是它作弊成本相對偏高,需要購入真實的機器去做人肉刷。

       最後一種是機器刷,就是電腦執行的模擬器,進行安裝各個APP,現在主流的作弊裝置吃的大部分記憶體比較嚴重,因為CPU和硬碟資源足夠用了,那麼瓶頸是在記憶體。一臺實際記憶體裝置為某一個模擬器分擔20兆的記憶體,一臺這樣的裝置也就是幾千塊錢,能跑51臺模擬裝置。機器刷的特點也比較明確,首先用到99%以上是模擬器,這些模擬器大多數擁有越獄的許可權,擁有修改裝置資訊的軟體,比如定位軟體,我希望定位到北京,刷一批,再定位到其他的城市刷一批,作弊的成本相對比較低,幾千塊錢模擬出很多的裝置。

       那針對以上刷量的威脅,我們看一下被刷的危害

       首先第一個金錢成本,這個不用說了,我們花了1000萬去做推廣,但真實安裝到我的APP的使用者只佔了50%,那我相當用500萬打了水漂。

       第二個是信用成本,每年我們申請一兩千萬的預算,最終為公司所帶來真實的使用者量實際上是刷出來的,是非常少的,說嚴重一點老闆會不會懷疑我們是跟刷量的做勾結,然後把錢款吞掉了,說得再輕一點,即使老闆不懷疑我們的人品,不懷疑我們去內外勾結分錢,那會對我的工作能力做質疑。

       第三機會成本,因為一般的使用者在做推廣的時候,是在幾個關鍵業務節點,包括上市之前包括某一個風口,如果在這個節點上面做推廣,有一大部分是被機器刷掉了,很有可能錯過了一個非常好的機會,錯過一個很好的風口,也有可能失去了下一個10億美元的獨角獸。

      第四資料不靠譜,我覺得這個超越前三個危害,現在這個時代已經進入資料時代,所有的公司都是以資料來說話,用資料規劃我們未來的業務方向,我們在對傳統的入口網站去做安全服務的時候,今年春節後突然發現業務PC訪問量爆增,按照正常的邏輯來講在這個時代,我們PC業務是呈一個緩慢下降的趨勢,但是它從3月份開始發現他們的PC訪問是呈直線上升的趨勢,他們慌了,因為他們本來已經轉型字移動端了,看到這個訪問量不知道下一步整個公司該怎麼投資,業務重心怎麼偏斜,那這個到底是來自真實的使用者,還是被一些黑產盯上了,在刷我們,經過排查是被刷了。我們以使用者基礎做的資料分析、業務分析,假如只參進10%的水分,最終導致我們的使用者畫像不準確,未來業務發展的方向很有可能受到影響,這個是被刷的危害。   

      下面進入攻防轉換,前面企業發現被刷的危害,我們怎麼去處理這個方式,我們有了第一代反作弊的手段。第一我們收集檢測是否安裝了作弊工具,比如像模擬器,首先檢測安裝了APP的裝置是否存在作弊工具,如果存在的話就處理掉。第二檢測ROOT、越獄許可權,我們發現是大量存在越獄的許可權,我就要報高風險,然後進行分析判斷是不是作弊的裝置。第三,現在有很多使用者仍然用到的一個方式,就是做具體業務的分析,7日留存或者自定義事件觸發等等,這個使用者首先安裝客戶端,每天還要有啟動,每天要有點選進行搜尋連結,  在某些真實的頁面要停留5秒以上,這個才算一個活躍,就是結合我們的業務邏輯去判斷他是一個活躍使用者還是一個刷量。這是我們為了應對前面說的這種方式來想出的反作弊的技術。

      黑產當發現我們進行對旁的時候,它也會跟我們做對抗,它是在攻守轉換,黑產也會看我們的檢測技術,我們前面說了檢測修改裝置資訊的分享工具,黑產現在做得更加高明,會用一些工具反程式列舉,會自動遮蔽掉一些程式,讓我們檢測不到這臺裝置安裝了黑產軟體,前面我們說會去檢測ROOT、檢測越獄的情況,黑產會利用一些外掛去遮蔽掉我的越獄痕跡,檢測不到我的越獄項。包括現在也在用到業務資料去做渠道推廣的反作弊,現在黑產只要摸清我們業務資料的點,只要用很短時間抓住我們這些資料曲的緯度利用指令碼很輕鬆的作出一套非常完美的報表,這是一個例子,偽造日活和業務資料,24小時有監控,而且他們有自己的團隊,價格優惠力度很大,這個我們也做過調研,幾千塊錢可以送10萬的裝機量,非常非常便宜,而且報表呈現的非常完美,這個也是我們很多企業非常頭疼的一個問題,就是我在做推廣的時候,你要什麼樣的資料,你要什麼樣的報表我都可以給你,但是隻要我跟你進行錢的結算,只要結算完超過一週甚至短的幾天你的資料直線下來了,這是非常頭疼的,只要我們的業務邏輯被黑產拿到,他就模擬我們的點,利用手機指令碼新一代神器,大家可以搜一下,這種工具非常多,利用指令碼進行刷量。

    


      下面繼續進行攻防轉換,剛才是黑產向我們進攻,但現在我們針對黑產這幾個方式我們有什麼新的解決方案呢?最新的阿里雲渠道反作弊解決方案當中,我們引入了客戶端和服務端去做檢測,我們利用大資料分析識別各種資料情況,我們會有一個安全元件去識別和獲取客戶端APP執行的環境資訊、系統資訊、裝置資訊等等,我們會取100多個緯度的資訊,那中間通過我們的白盒加密的方式進行輸出。我們渠道的資訊在中間傳輸的過程當中被黑產截獲,黑產通過分析發現的我們的緯度然後進行破解和模擬,整個過程變得沒有意義。所以我們在傳輸的過程當中,利用白盒加密的方式,這是一種沒有金鑰的加密方式,非常安全,利用裝置指紋,利用裝置基礎資訊的查詢,最終到安全智慧識別引擎去做綜合的分析,最後輸出結果來識別它到底是不是一臺模擬器,它是不是裝置牧場。

       我們用了哪些黑科技,最核心是五層識別模型

       最底層是黑名單過濾層,這也是一個比較簡單的一層,阿里巴巴利用了10年的技術沉澱,因為每年的雙十一我相信既是我們各位剁手族的盛宴,也是黑產的盛宴,黑產也是在雙十一的時候借這個機會去刷我們的量,接受雙十一的洗禮,我們沉澱了大量的黑名單,我們知道哪些裝置是作弊裝置,哪些是正常裝置,剛才提到了裝置牧場更換裝置的成本是比較高的,黑產在雙十一的時候可以去刷淘寶、天貓,它已經在其他時候是刷我們合作伙伴。所以我們通過裝置指紋進行黑名單的判斷,只要發現有作弊行為的,我們都會報高風險。

      上面一層就是我們的裝置資訊緯度的識別層,我們會檢測100多個緯度,這裡面就不一一列出了,包括IP包括CPU都會進行檢測,我們會進行單一屬性的輸出,就是我們每一個檢測都對應一個輸出結果,有可能他的CPU是正常的,IP地址是正常的,但是IP資訊是異常的,最後通過我們綜合分析會去報這個裝置到底是正常還是不正常的裝置,這是裝置資訊的識別層。

      下面一層我們除了裝置資訊緯度的識別,除了黑名單之外,還會去做大資料的分析,前面兩層說的是單一裝置,這個會結合另外的一些資訊,舉個例子,我們判斷了某一個裝置是疑似作弊的裝置,我們再做校驗,我們看一週有沒有過支付寶的付款行為,有沒有淘寶的購物行為,有沒有過高德的地圖導航的行為,有沒有UC的搜尋行為,我們根據各種行為發現一臺完全的裝置沒有任何剛才說的那些緯度的資訊,我們就有理由相信是一個作弊裝置。即使前面疑似有可能作弊裝置,但是我們通過大資料的分析發現近三天有過購物記錄和導航的應用,就是人常用的一些行為的話,我們也會判斷他有可能是一個真機,那通過大資料分析把我們的前面判斷的緯度更加準確。

       下面一層就是群體性分析層,我們會分析網路型別以及它的分佈特徵,看是不是在同一個IP的安裝,看看是不是同一個地點位置,這個就會遮蔽掉一些利用裝置牧場去進行刷量的行為。

        最上面是結合所有層的資料進行綜合的判斷,最終告訴我們的客戶這是不是一個真實的裝置,還是一個刷量的裝置,這就是我們整個最新的五層識別模型。

       最後看一個案例,這是某個業務方60天的新增,這是業務方全球的業務,最誇張是在西班牙,總的新增量是610多萬,我們檢測出來的作弊380多萬,作弊的佔比是92.5%,如果按照海外一美元一個來計算的話,60天就為使用者節省了600多萬推廣費用的開支,這是一個真實的案例。

       最後說一下我自己的感想,我做了安全很多年了,安全這個東西不是特別好界定它的效果,什麼時候做的效果還不錯,什麼時候做的效果一般,很難有一個量化的指標評估,不出事,沒有效果就是安全做得還不錯的標準,很難有量化的。但是整個渠道推廣反作弊的技術顛覆了我們這個概念,整個渠道推廣的反作弊它是真實可以從使用者的資金層面進行反饋,比如我投入了千萬的推廣費用,我刪除了10%的作弊量,就是真真事實能為使用者節省10%的開支,那這100萬就是我們阿里聚安全給你創造的價值,這就是我們整個移動推廣反作弊的一個產品和技術。謝謝大家。


本文由阿里聚安全編寫,轉載請註明出處,更多安全資訊(嘉賓演講PPT等)請關注阿里聚安全官方部落格


相關文章