1.import os
os模組提供很多方法用來處理檔案和目錄
2.import sys
sys模組提供了一系列執行環境的變數和函式,例如argv變數,argv變數是一個包含命令列引數的列表
3.from minio import Minio
minio是一個物件儲存服務,可以用來儲存大量的資料,比如圖片,影片,文件等
4.from mysqlutil import MySqlUtil
mysqlutil是一個自定義的mysql工具類,用於操作mysql資料庫,比如查詢,插入,刪除等
5.import sys
from pyspark.sql import SparkSession # pyspark是一個用於大規模資料處理的Python API, 它是Apache Spark的一個元件,用於處理大規模資料集的分散式計算框架。
6.import ssl
ssl是一個用於處理ssl證書的Python模組,它提供了一種簡單的方式來處理ssl證書,它支援https協議,可以用於傳送https請求,獲取https響應,驗證ssl證書,ssl證書是用於加密資料傳輸的一種證書,用於保護資料的安全,防止資料被竊取。
7.import urllib.request
urllib是一個用於從URL中獲取資料的Python模組,它提供了一個簡單的介面,用於從URL中檢索資料,它可以用於訪問網路資源,如網頁,圖片,音訊,影片等,它支援HTTP,HTTPS,FTP等協議,它可以用於從URL中下載檔案,也可以用於從URL中獲取資料。
8.import json
json是一個用於處理json資料的Python模組,它提供了一種簡單的方式來解析和生成json資料。
9.from py4j.java_gateway import JavaGateway, java_import
py4j是一個用於在Python和Java之間進行通訊的Python模組,它提供了一個簡單的方式來在Python和Java之間進行通訊。