DL4J實戰之一:準備

程式設計師欣宸發表於2021-10-09

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容:所有原創文章分類彙總及配套原始碼,涉及Java、Docker、Kubernetes、DevOPS等;

關於DL4J

  • DL4J是Deeplearning4j的簡稱,是基於Java虛擬機器的深度學習框架,是用java和scala開發的,已開源,官網:https://deeplearning4j.org/

關於《DL4J實戰》系列

  • 《DL4J實戰》是欣宸在深度學習領域的原創,旨在通過一系列動手操作,由淺入深瞭解深度學習的基本知識,掌握通用操作,並且對DL4J逐漸熟練,進而在學習和工作中解決實際問題

本篇概覽

  • 作為《DL4J實戰》系列的開篇,本文為後面的文章和實戰做好準備工作,包含以下內容:
  • 確定環境和版本資訊
  • 建立名為<font color="blue">dl4j-tutorials</font>的maven工程作為父工程,後面整個系列的程式碼都是dl4j-tutorial的子工程
  • 建立名為<font color="blue">commons</font>的子工程,這裡面是一些常用的工具程式碼,例如下載資料集、繪圖等

原始碼下載

名稱連結備註
專案主頁https://github.com/zq2599/blo...該專案在GitHub上的主頁
git倉庫地址(https)https://github.com/zq2599/blo...該專案原始碼的倉庫地址,https協議
git倉庫地址(ssh)git@github.com:zq2599/blog_demos.git該專案原始碼的倉庫地址,ssh協議
  • 這個git專案中有多個資料夾,《DL4J實戰》系列的原始碼在<font color="blue">dl4j-tutorials</font>資料夾下,如下圖紅框所示:

在這裡插入圖片描述

版本資訊

本系列實戰都是在以下環境進行,這裡列出來供您參考:

  1. 作業系統:win10 64位專業版
  2. JDK:1.8.0_281
  3. maven:3.6.2
  4. IEDA:2021.1.1 (Ultimate Edition)
  5. DL4J:1.0.0-beta7

《DL4J實戰》系列原始碼的公用父工程

  • 《DL4J實戰》系列的原始碼都放置在同一個父工程下,除了管理程式碼方便,還可以將各個子工程的依賴庫版本統一管理,接下來建立這個父工程;
  • 新建名為<font color="blue">dl4j-tutorials</font>的maven工程,該工程下只有pom.xml,內容如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.bolingcavalry</groupId>
    <artifactId>dlfj-tutorials</artifactId>
    <version>1.0-SNAPSHOT</version>
    <modules>
        <module>commons</module>
        <module>classifier-iris</module>
    </modules>
    <packaging>pom</packaging>

    <properties>
        <java.version>1.8</java.version>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>

        <dl4j-master.version>1.0.0-beta7</dl4j-master.version>
        <!-- Change the nd4j.backend property to nd4j-cuda-X-platform to use CUDA GPUs -->
        <!-- <nd4j.backend>nd4j-cuda-10.2-platform</nd4j.backend> -->
        <nd4j.backend>nd4j-native</nd4j.backend>
        <java.version>1.8</java.version>
        <maven-compiler-plugin.version>3.6.1</maven-compiler-plugin.version>
        <maven.minimum.version>3.3.1</maven.minimum.version>
        <exec-maven-plugin.version>1.4.0</exec-maven-plugin.version>
        <maven-shade-plugin.version>2.4.3</maven-shade-plugin.version>
        <jcommon.version>1.0.23</jcommon.version>
        <jfreechart.version>1.0.13</jfreechart.version>
        <logback.version>1.1.7</logback.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.freemarker</groupId>
                <artifactId>freemarker</artifactId>
                <version>2.3.29</version>
            </dependency>
            <dependency>
                <groupId>io.netty</groupId>
                <artifactId>netty-common</artifactId>
                <version>4.1.48.Final</version>
            </dependency>
            <dependency>
                <groupId>org.nd4j</groupId>
                <artifactId>${nd4j.backend}</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.datavec</groupId>
                <artifactId>datavec-api</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.datavec</groupId>
                <artifactId>datavec-data-image</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.datavec</groupId>
                <artifactId>datavec-local</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.deeplearning4j</groupId>
                <artifactId>deeplearning4j-datasets</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.deeplearning4j</groupId>
                <artifactId>deeplearning4j-core</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.deeplearning4j</groupId>
                <artifactId>deeplearning4j-ui</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.deeplearning4j</groupId>
                <artifactId>deeplearning4j-zoo</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <!-- ParallelWrapper & ParallelInference live here -->
            <dependency>
                <groupId>org.deeplearning4j</groupId>
                <artifactId>deeplearning4j-parallel-wrapper</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <!-- Used in the feedforward/classification/MLP* and feedforward/regression/RegressionMathFunctions example -->
            <dependency>
                <groupId>jfree</groupId>
                <artifactId>jfreechart</artifactId>
                <version>${jfreechart.version}</version>
            </dependency>
            <dependency>
                <groupId>org.jfree</groupId>
                <artifactId>jcommon</artifactId>
                <version>${jcommon.version}</version>
            </dependency>
            <!-- Used for downloading data in some of the examples -->
            <dependency>
                <groupId>org.apache.httpcomponents</groupId>
                <artifactId>httpclient</artifactId>
                <version>4.3.5</version>
            </dependency>
            <dependency>
                <groupId>ch.qos.logback</groupId>
                <artifactId>logback-classic</artifactId>
                <version>${logback.version}</version>
            </dependency>
            <dependency>
                <groupId>org.datavec</groupId>
                <artifactId>datavec-data-codec</artifactId>
                <version>${dl4j-master.version}</version>
            </dependency>
            <dependency>
                <groupId>org.bytedeco</groupId>
                <artifactId>javacv-platform</artifactId>
                <version>1.5.2</version>
            </dependency>

            <dependency>
                <groupId>org.projectlombok</groupId>
                <artifactId>lombok</artifactId>
                <version>1.16.16</version>
            </dependency>
        </dependencies>
    </dependencyManagement>
</project>

子工程commons

  • 後面的實戰中,我們常用到下載檔案、繪圖等功能,因此新增一個子工程,將下載繪圖等功能對應的工具類都在這裡面給其他工程使用
  • 在<font color="blue">dl4j-tutorials</font>下新增名為<font color="blue">commons</font>的子工程,其pom.xml內容如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>dlfj-tutorials</artifactId>
        <groupId>com.bolingcavalry</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <artifactId>commons</artifactId>
    <dependencies>
        <dependency>
            <groupId>org.datavec</groupId>
            <artifactId>datavec-api</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
        </dependency>
        <dependency>
            <groupId>org.deeplearning4j</groupId>
            <artifactId>deeplearning4j-core</artifactId>
        </dependency>
        <dependency>
            <groupId>jfree</groupId>
            <artifactId>jfreechart</artifactId>
        </dependency>
    </dependencies>
</project>
  • 目前commons子工程中有四個類,並非欣宸原創,而是來自DL4J的官方demo,其功能簡介如下:
  • DataUtilities:下載和解壓指定地址對應的檔案
  • DownloaderUtility:DL4J為我們準備了豐富的資料集(例如150個鳶尾花資料,帶標籤),這些內容儲存在雲端(AZURE),通過DownloaderUtility可以很方便的下載和解壓這些資料集
  • PlotUtil:繪製二維圖形
  • VAEPlotUtil:繪製變分自編碼圖形
  • 上述四個類在工程中的位置如下圖所示,限於篇幅就不貼出程式碼了,有需要的話請在github上獲取:

在這裡插入圖片描述

  • 至此,準備工作就完成了,接下來的旅程會異常精彩,欣宸感謝您的一路相伴!

你不孤單,欣宸原創一路相伴

  1. Java系列
  2. Spring系列
  3. Docker系列
  4. kubernetes系列
  5. 資料庫+中介軟體系列
  6. DevOps系列

歡迎關注公眾號:程式設計師欣宸

微信搜尋「程式設計師欣宸」,我是欣宸,期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos

相關文章