6.Flink實時專案之業務資料分流

選手一號位發表於2022-02-22

在上一篇文章中，我們已經獲取到了業務資料的輸出流，分別是dim層維度資料的輸出流，及dwd層事實資料的輸出流，接下來我們要做的就是把這些輸出流分別再流向對應的資料介質中，dim層流向hbase中，dwd層依舊回寫到kafka中。

1.分流維度表sink到hbase

上一篇的結果是維度資料在側輸出流hbaseDs，事實資料在主流filterDs中，如下：

//5.動態分流，事實表寫會kafka，維度表寫入hbase
OutputTag<JSONObject> hbaseTag = new OutputTag<JSONObject>(TableProcess.SINK_TYPE_HBASE){};
//建立自定義mapFunction函式
SingleOutputStreamOperator<JSONObject> kafkaTag = filterDs.process(new TableProcessFunction(hbaseTag));
DataStream<JSONObject> hbaseDs = kafkaTag.getSideOutput(hbaseTag);
filterDs.print("json str --->>");

處理流程如下：

6.Flink實時專案之業務資料分流

自定義RickSinkFunction類：DimSink.java

初始化phoenix連線
儲存資料

1.1 配置

在BaseDbTask任務中，我們已經獲取到hbase的輸出流，然後就可以開始hbase的一系列操作了。

新增phoenix依賴包

<!-- phoenix -->
<dependency>
    <groupId>org.apache.phoenix</groupId>
    <artifactId>phoenix-spark</artifactId>
    <version>5.0.0-HBase-2.0</version>
    <exclusions>
        <exclusion>
            <groupId>org.glassfish</groupId>
            <artifactId>javax.el</artifactId>
        </exclusion>
    </exclusions>
</dependency>

修改hbase-site.xml，因為要用單獨的 schema,所以在 Idea 程式中也要加入 hbase-site.xml

為了開啟 hbase 的 namespace 和 phoenix 的 schema 的對映，在程式中需要加這個配置檔案，另外在 linux 服務上，也需要在 hbase 以及 phoenix 的 hbase-site.xml 配置檔案中，加上以上兩個配置，並使用 xsync 進行同步。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop101:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop101,hadoop102,hadoop103</value>
    </property>
    <property>
        <name>hbase.table.sanity.checks</name>
        <value>false</value>
    </property>
    <property>
        <name>phoenix.schema.isNamespaceMappingEnabled</name>
        <value>true</value>
    </property>
    <property>
        <name>phoenix.schema.mapSystemTablesToNamespace</name>
        <value>true</value>
    </property>
</configuration>

1.2 建立名稱空間

在phoenix中執行

create schema GMALL_REALTIME;

1.3 DimSink.java

自定義addSink類

package com.zhangbao.gmall.realtime.app.func;
import com.alibaba.fastjson.JSONObject;
import com.google.common.base.Strings;
import com.zhangbao.gmall.realtime.common.GmallConfig;
import lombok.extern.log4j.Log4j2;
import org.apache.commons.lang3.StringUtils;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
/**
 * @author: zhangbao
 * @date: 2021/9/4 12:23
 * @desc: 將維度表寫入hbase中
 **/
@Log4j2
public class DimSink extends RichSinkFunction<JSONObject> {
    private Connection conn = null;

    @Override
    public void open(Configuration parameters) throws Exception {
        log.info("建立 phoenix 連線...");
        Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
        conn = DriverManager.getConnection(GmallConfig.PHOENIX_SERVER);
        log.info("phoenix 連線成功！");
    }

    @Override
    public void invoke(JSONObject jsonObject, Context context) throws Exception {
        String sinkTable = jsonObject.getString("sink_table");
        JSONObject data = jsonObject.getJSONObject("data");
        PreparedStatement ps = null;
        if(data!=null && data.size()>0){
            try {
                //生成phoenix的upsert語句，這個包含insert和update操作
                String sql = generateUpsert(data,sinkTable.toUpperCase());
                log.info("開始執行 phoenix sql -->{}",sql);
                ps = conn.prepareStatement(sql);
                ps.executeUpdate();
                conn.commit();
                log.info("執行 phoenix sql 成功");
            } catch (SQLException throwables) {
                throwables.printStackTrace();
                throw new RuntimeException("執行 phoenix sql 失敗！");
            }finally {
                if(ps!=null){
                    ps.close();
                }
            }
        }
    }

    //生成 upsert sql
    private String generateUpsert(JSONObject data, String sinkTable) {
        StringBuilder sql = new StringBuilder();
        //upsert into scheme.table(id,name) values('11','22')
        sql.append("upsert into "+GmallConfig.HBASE_SCHEMA+"."+sinkTable+"(");
        //拼接列名
        sql.append(StringUtils.join(data.keySet(),",")).append(")");
        //填充值
        sql.append("values('"+ StringUtils.join(data.values(),"','")+"')");
        return sql.toString();
    }
}

然後在主程式中加入

//6. 將維度表寫入hbase中
hbaseDs.addSink(new DimSink());

1.4 測試

需要啟動的服務

hdfs、zk、kafka、Maxwell、hbase，BaseDbTask.java

修改配置資料：gmall2021_realtime.table_process

INSERT INTO `gmall2021_realtime`.`table_process` (`source_table`, `operate_type`, `sink_type`, `sink_table`, `sink_columns`, `sink_pk`, `sink_extend`) VALUES ('base_trademark', 'insert', 'hbase', 'dim_base_trademark', 'id,tm_name', 'id', NULL);

此條配置資料代表，如果表base_trademark有插入資料，就把資料同步到hbase中，自動建表，作為維度資料。

修改業務庫中表資料：gmall2021.base_trademark

INSERT INTO `gmall2021`.`base_trademark` (`id`, `tm_name`, `logo_url`) VALUES ('15', '55', '55');

檢視phoenix資料：select * from GMALL_REALTIME.BASE_TRADEMARK;

資料已經實時同步到hbase中。

2.分流事實表sink到kafka

2.1 MyKafkaUtil定義新方法

在MyKafkaUtil中定義新的生產者方法，可動態指定topic，如果不指定則生產到預設topic：default_data

/**
     * 動態生產到不同的topic，如果不傳topic，則自動生產到預設的topic
     * @param T  序列化後的資料，可指定topic
     */
    public static <T> FlinkKafkaProducer<T> getKafkaBySchema(KafkaSerializationSchema<T> T){
        Properties pros = new Properties();
        pros.setProperty(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,KAFKA_HOST);
        return new FlinkKafkaProducer<T>(DEFAULT_TOPIC,T,pros,FlinkKafkaProducer.Semantic.EXACTLY_ONCE);
    }

在主任務BaseDbTask中使用

//7. 將事實資料寫回到kafka
FlinkKafkaProducer<JSONObject> kafkaBySchema = MyKafkaUtil.getKafkaBySchema(new KafkaSerializationSchema<JSONObject>() {
    @Override
    public void open(SerializationSchema.InitializationContext context) throws Exception {
        System.out.println("kafka serialize open");
    }
    @Override
    public ProducerRecord<byte[], byte[]> serialize(JSONObject jsonObject, @Nullable Long aLong) {
        String sinkTopic = jsonObject.getString("sink_table");
        return new ProducerRecord<>(sinkTopic, jsonObject.getJSONObject("data").toString().getBytes());
    }
});
kafkaTag.addSink(kafkaBySchema);

2.2 測試

需要啟動的服務

hdfs、zk、kafka、Maxwell、hbase，BaseDbTask.java

修改配置資訊：gmall2021_realtime.table_process

INSERT INTO `gmall2021_realtime`.`table_process` (`source_table`, `operate_type`, `sink_type`, `sink_table`, `sink_columns`, `sink_pk`, `sink_extend`) VALUES ('order_info', 'insert', 'kafka', 'dwd_order_info', 'id,consignee,consignee_tel,total_amount,order_status,user_id,payment_way,delivery_address,order_comment,out_trade_no,trade_body,create_time,operate_time,expire_time,process_status,tracking_no,parent_order_id,img_url,province_id,activity_reduce_amount,coupon_reduce_amount,original_total_amount,feight_fee,feight_fee_reduce,refundable_time', 'id', NULL);

表示表order_info有插入資料，就會同步到kafka中，topic為dwd_order_info。

啟動kafka消費者，檢視是否有資料進來

[zhangbao@hadoop101 root]$ cd /opt/module/kafka/bin/

[zhangbao@hadoop101 bin]$ ./kafka-console-consumer.sh --bootstrap-server hadoop101:9092,hadoop102:9092,hadoop103:9092 --topic dwd_order_info
最後啟動業務資料生成服務：mock-db-0.0.1-SNAPSHOT.jar

記得先修改配置檔案的生成日期：2021-09-12

最後檢視kafka消費者可以看到有資料產生，說明流程已經走通。

3.運算元選擇簡介

function	可轉換結構	可過濾資料	側輸出	open	可以使用狀態	輸出至
MapFunction	Yes					下游運算元
FilterFunction		Yes				下游運算元
RichMapFunction	Yes			Yes	Yes	下游運算元
RichFilterFunction		Yes		Yes	Yes	下游運算元
ProcessFunction	Yes	Yes	Yes	Yes	Yes	下游運算元
SinkFunction	Yes	Yes				外部
RichSinkFunction	Yes	Yes		Yes	Yes	外部

5.Flink實時專案之業務資料準備
2022-02-19
4.Flink實時專案之資料拆分
2022-02-14
Flink 如何分流資料
2020-06-11
大資料專案實戰之 --- 使用者畫像專案分析
2018-11-16
大資料
PostgreSQL業務資料質量實時監控實踐
2017-12-09
SQL
大資料專案實踐（一）——之HDFS叢集配置
2018-08-21
大資料
網路分流器-網路分流器之DPI深度資料包檢測技術及作用
2018-11-02
網路分流器｜網路分流器大資料採集方案
2018-08-15
大資料
11.Flink實時專案之支付寬表
2022-04-17
ELK實時分析之php的laravel專案日誌
2019-01-03
PHPLaravel
物聯網專案接收裝置實時資料的一個想法
2020-12-14
專案（Explore）總結之專案時間管理
2010-03-30
9.Flink實時專案之訂單寬表
2022-03-17
軟體專案需求開發過程實踐之業務建模用例圖
2015-03-03
關於2020年個人專案【臻美_疫情實時大資料包告】（專案開源）
2020-02-08
大資料
資料管理：業務資料清洗，落地實現方案
2021-06-09
為何打通業務資料，實現資料流通？
2022-07-14
面對高頻業務需求，如何提升實時資料處理能力？
2019-04-28
大資料爬蟲專案實戰教程
2018-11-14
大資料爬蟲
創新專案實訓：資料爬取
2022-06-08
業務響應時間和資料庫效能
2013-10-27
資料庫
大資料 - DWS層業務實現
2022-12-30
大資料
專案資料整理
2017-02-08
中後臺專案 - 查詢表格業務最佳實踐
2019-04-02
網站專案實施業務流程及規範（轉）
2007-08-09
網站
專案實戰之gradle在實際專案中的使用
2018-05-09
Gradle
大資料專案實踐（五）——Hue安裝
2018-08-27
大資料
Vue專案資料動態過濾實踐
2018-09-08
Vue
【SAP業務模式】之ICS（二）：基礎資料
2016-11-14
模式
8.Flink實時專案之CEP計算訪客跳出
2022-03-09
7.Flink實時專案之獨立訪客開發
2022-03-05
實時資料庫與時序資料庫
2020-11-28
資料庫
讓業務實現迴歸資料庫
2018-07-20
資料庫
專案管理需要懂業務嗎?
2008-03-19
專案管理
大資料專案-資料立方體
2018-02-07
大資料
實時採集MySQL資料之輕量工具Maxwell實操
2022-12-19
MySql
優炫資料庫中標河南移動業務支撐系統國產資料庫採購專案
2022-03-03
資料庫
資料庫啟動時丟失資料檔案模擬實驗
2013-10-10
資料庫

6.Flink實時專案之業務資料分流

1.分流維度表sink到hbase

1.1 配置

1.2 建立名稱空間

1.3 DimSink.java

1.4 測試

2.分流事實表sink到kafka

2.1 MyKafkaUtil定義新方法

2.2 測試

3.運算元選擇簡介

相關文章