實時計算如何幫助淘寶實現線上「實時選品」？

      隨著淘寶內容化的深入發展，實時選品的需求越來越強烈。對於某些實時性要求較高的產品(SPU)而言，運營小二希望自己圈定產品池可以當天實時生效，以供創作者寫文章使用。該需求對選品的實時性要求較高，比較適合流式計算的特點。因此，本文采用Blink實時流計算技術來實現該功能，實際應用中取得較好效果。

      要實現實時選品的需求，需要解決如下幾個問題：

     

      選品功能的實現主要在於Blink任務的開發，開發Blink任務前，需先了解UDF、UDTF、UDAF的概念。

      以下是“請求Sp節點”的UDTF實現程式碼，基本思路是將請求Sp的返回結果併發輸出到下一級節點上。

public class SearchEngineUdtf extends TableFunction<EngineFields> {

    private static final Logger logger = LoggerFactory.getLogger(SearchEngineUdtf.class);

    /**
     * 請求引擎獲取召回欄位
     * @param params
     */
    public void eval(String params) {
        SpuSearchResult<String> spuSearchResult = SpuSearchEngineUtil.getFromSpuSearch(params);
        if(spuSearchResult.getSuccess()){
            //結果解析
            JSONObject kxuanObj = SpuSearchEngineUtil.getSpResponseJson(spuSearchResult, "sp_kxuan");
            if(null == kxuanObj || kxuanObj.isEmpty()){
                logger.error("sp query: " + spuSearchResult.getSearchURL());
                logger.error(String.format("[%s],%s", Constant.ERR_PAR_SP_RESULT,"get key:sp_kxuan data failed! "));
            }else {
                List<EngineFields> engineFieldsList = SpuSearchEngineUtil.getSpAuction(kxuanObj);
                //併發輸出到資料流
                for(EngineFields engineFields : engineFieldsList){
                    collect(engineFields);
                }
            }
        }else {
            logger.error(String.format("[%s],%s",Constant.ERR_REQ_SP, "request SpuEngine failed!"));
        }

    }
}

      目前，叢集釋出Blink任務並未完全實現自動化，Blink任務開發完成後，釋出上線流程需要如上幾步完成。任務釋出完成後，可登入yarn上檢視任務節點的執行情況。

      功能釋出上線後，運營小二圈定的萬級別的SPU選品池，可實現分鐘級生效，對創作者選品效率有很大提升。