來源：小技術君

大資料處理涉及處理和分析大型複雜資料集的技術和技術。“大資料”通常指的是傳統資料庫和處理工具無法處理的資料集。 例如：應用程式日誌、使用者互動日誌：這些大資料用於分析使用者互動、偏好和行為，以改進內容推薦演算法並提升使用者參與度。 各種元件共同工作以處理、儲存和分析這些大型資料集。這些元件共同形成一個大資料處理生態系統。

大資料處理的關鍵元件：

1. 資料攝取和傳輸（Kafka、Logstash（ELK））

批處理和流處理：資料可以分批攝取，也可以以實時流模式處理。 批處理涉及按預定義的塊收集和處理資料，而流攝取處理連續生成並以準實時方式處理的資料。

Apache Kafka： 用於構建實時資料管道和流應用的廣泛使用平臺。為什麼選擇Kafka？1.可以處理每秒數百萬個事件。 🚅2.可靠性：即使發生故障，資料也不會丟失：所有訊息都寫入磁碟並複製到多個代理，以確保它們不會丟失。3.預設情況下，它保證至少一次傳遞。4.回放資料：如果需要，可以重新播放資料。 🔁5.高度可擴充套件：可以新增更多代理來處理不斷增加的負載。分割槽器確保訊息均勻分佈在分割槽上：6.強大的API和整合：用於與其他系統進行資料攝取的Kafka Connect。用於構建實時流應用程式的Kafka Streams。7.安全功能，例如身份驗證和加密，可用於保護資料在傳輸和靜息時。 🔐8.可定製和靈活：還允許設定訊息的保留期。支援各種資料格式，包括文字、JSON、Avro和Protobuf。9.支援多種模式和協議。

2. 原始儲存（HDFS、S3）

這些系統將大資料分佈在多臺機器上，以提高可伸縮性和容錯性。資料湖： 組織用來管理其PB級資料的大資料儲存系統。 什麼是資料湖？（AWS S3、Azure Data、Apache Hadoop/HDFS）•儲存原始資料：它是大型、集中的非結構化和結構化資料倉儲。•允許以其原始格式儲存資料，無需先進行轉換。•儲存各種型別的資料：儲存來自各種源頭的大量資料，包括結構化、半結構化和非結構化資料。用例：•想要支援組織中的多種用例，如分析、資料科學和臨時分析。•想要以原始和未處理的格式儲存大量資料，以便進行未來分析。

3. 處理（Hadoop、Spark）

Hadoop是什麼？ Apache Hadoop是一個用於分散式儲存和處理大型資料集的開源框架。Hadoop的核心概念：1.HDFS： Hadoop分散式檔案系統（HDFS）是Apache Hadoop框架的儲存元件，旨在在分散式叢集上儲存和管理大量資料。•分散式儲存：它將資料分割成塊並在叢集中的多個節點上覆制，確保資料的可用性和韌性。•成本效益儲存：HDFS利用常規硬體進行儲存，使其成為儲存大量資料的經濟有效解決方案。2.MapReduce： 用於並行處理大型資料集的程式設計模型。•並行處理模型：它將任務分解成可以在叢集中的節點上並行執行的小子任務。Hadoop的優勢：•批處理工作負載：•可接受較高的延遲：•想要成本效益：Hadoop的替代方案？Apache Spark： 它是一個為大資料處理提供快速叢集計算框架的開源分散式計算系統。•它是為解決MapReduce程式設計模型的侷限性而開發的。Spark的亮點：•流處理：Spark支援批處理和流處理。•速度和效能：Spark執行記憶體處理，相比於依賴磁碟儲存中間資料的Hadoop，效能顯著提高。

轉換和索引（Pig、Elasticsearch）

索引是什麼？•索引是有關日誌的附加後設資料，旨在實現對整個日誌體積的更快查詢。大資料中的索引是指建立允許從大型資料集中高效快速檢索資訊的資料結構的過程。在資料量龐大的情況下，索引對於最佳化查詢效能和加速資料訪問至關重要 。

倒排索引工具：•Apache Pig指令碼：Pig Latin是一種具有簡單可讀語法的資料流指令碼語言。它由一系列語句組成，定義要應用於資料集的資料轉換。

4. 資料庫

NoSQL資料庫： 專為處理大量非結構化和半結構化資料而設計。示例包括MongoDB、Cassandra和Apache HBase。資料倉儲： 針對大型資料集上的分析查詢進行最佳化的專業資料庫。 什麼是資料倉儲？（例如：Amazon Redshift、Snowflake）•為分析進行最佳化的儲存：它是經過最佳化以進行報告和分析的結構化資料的集中儲存庫。•預定義的關聯式資料庫架構•促進複雜查詢和分析。用例：•當要儲存已經過處理、清理和轉換以進行分析和報告的結構化資料時。•想要支援業務智慧、報告和資料分析。示例： Hive是構建在Hadoop之上的資料倉儲基礎設施。

5. 分析（Presto、Spark SQL）

Presto

Presto是由Facebook建立的面向大資料的開源分散式SQL查詢引擎。•它專為在大型資料集上進行快速分析查詢而開發。•SQL查詢引擎 → 可以使用SQL語法！主要特點：•多功能：它可以查詢來自多個來源的資料，包括Hadoop、關聯式資料庫（如MySQL、PostgreSQL）和其他資料儲存。它提供了一個統一的介面，用於查詢不同的資料集。•SQL相容性：它支援SQL語法，使其對習慣於關聯式資料庫的使用者來說更加熟悉。•高效能：它經過最佳化，可用於低延遲的互動式查詢，適用於臨時資料分析和業務智慧。•複雜查詢、連線、子查詢：它支援複雜查詢、連線、子查詢和聚合，適用於各種分析任務。

6. 視覺化：（Kibana、Tableau）

•Tableau、Power BI、AWS QuickSight：用於建立互動式和視覺化儀表板，以探索和傳達來自大資料的見解的流行工具。•Jupyter Notebooks：一種開源的Web應用程式，允許使用者建立和共享包含實時程式碼、視覺化和敘述文字的文件。