深 度 學 習 研 究 綜 述

摘 要 ： 深 度 學 習 是 一 類 新 興 的 多 層 神 經 網 絡 學 習 算 法 ， 因 其 緩 解 了 傳 統 訓 練 算 法 的 局 部 最 小 性 ， 引 起 機 器 學習 領 域 的 廣 泛 關 注 。 首 先 論 述 了 深 度 學 習 興 起 淵 源 ， 分 析 了 算 法 的 優 越 性 ， 並 介 紹 了 主 流 學 習 算 法 及 應 用 現 狀 ， 最 後 總 結 了 當 前 存 在 的 問 題 及 發 展 方 向 。

關 鍵 詞 ： 深 度 學 習 ； 分 布 式 表 示 ； 深 信 度 網 絡 ； 卷 積 神 經 網 絡 ； 深 凸 網 絡

引言：

深 度 學 習 的 概 念 源 於 人 工 神 經 網 絡 的 研 究 ， 含 多 隱 層 的 多

層 感 知 器 （ ＭＬＰ） 就 是 一 種 深 度 學 習 結 構 。 深 度 學 習 通 過 組 合低 層 特 徵 形 成 更 加 抽 象 的 高 層 表 示 （ 屬 性 類 別 或 特 徵 ） ， 以 發現 數 據 的 分 布 式 特 徵 表 示 ［ １］ 。 ＢＰ 算 法 作 為 傳 統 訓 練 多 層 網 絡的 典 型 算 法 ， 實 際 上 對 於 僅 含 幾 層 網 絡 ， 該 訓 練 方 法 就 已 很 不理 想 ［ ２］ 。 深 度 結 構 （ 涉 及 多 個 非 線 性 處 理 單 元 層 ） 非 凸 目 標 代

價 函 數 中 普 遍 存 在 的 局 部 最 小 是 訓 練 困 難 的 主 要 來 源 。

Ｈｉｎｔｏｎ 等 人 ［ ３ ～ ５］ 基 於 深 信 度 網 （ ＤＢＮ） 提 出 非 監 督 貪 心 逐

層 訓 練 算 法 ， 為 解 決 深 層 結 構 相 關 的 優 化 難 題 帶 來 希 望 ， 隨 後提 出 多 層 自 動 編 碼 器 深 層 結 構 。 此 外 Ｌｅｃｕｎ 等 人 提 出 的 卷 積

神 經 網 絡 （ ＣＮＮｓ） 是 第 一 個 真 正 多 層 結 構 學 習 算 法 ［ ６］ ， 它 利 用 空 間 相 對 關 系 減 少 參 數 數 目 以 提 高 ＢＰ 訓 練 性 能 。 此 外 深 度學 習 還 出 現 許 多 變 形 結 構 如 去 噪 自 動 編 碼 器 ［ ７］ 、 ＤＣＮ［ ８］ 、 ｓｕｍ ｐｒｏｄｕｃｔ［ ９］ 等 。

當 前 多 數 分 類 、 回 歸 等 學 習 方 法 為 淺 層 結 構 算 法 ， 其 局 限

性 在 於 有 限 樣 本 和 計 算 單 元 情 況 下 對 復 雜 函 數 的 表 示 能 力 有限 ， 針 對 復 雜 分 類 問 題 其 泛 化 能 力 受 到 一 定 制 約 ［ ２］ 。 深 度 學習 可 通 過 學 習 一 種 深 層 非 線 性 網 絡 結 構 ， 實 現 復 雜 函 數 逼 近 ，

表 徵 輸 入 數 據 分 布 式 表 示 ， 並 展 現 了 強 大 的 從 少 數 樣 本 集 中 學習 數 據 集 本 質 特 徵 的 能 力 ［ １， １０］ 。 本 文 意 在 向 讀 者 介 紹 這 一 剛剛 興 起 的 深 度 學 習 新 技 術 。

0 深 度 學 習 神 經 學 啟 示 及 理 論 依 據

1 1 深 度 學 習 神 經 學 啟 示

盡 管 人 類 每 時 每 刻 都 要 面 臨 著 大 量 的 感 知 數 據 ， 卻 總 能 以一 種 靈 巧 方 式 獲 取 值 得 注 意 的 重 要 信 息 。 模 仿 人 腦 那 樣 高 效準 確 地 表 示 信 息 一 直 是 人 工 智 能 研 究 領 域 的 核 心 挑 戰 。 神 經科 學 研 究 人 員 利 用 解 剖 學 知 識 發 現 哺 乳 類 動 物 大 腦 表 示 信 息的 方 式 ： 通 過 感 官 信 號 從 視 網 膜 傳 遞 到 前 額 大 腦 皮 質 再 到 運 動

神 經 的 時 間 ， 推 斷 出 大 腦 皮 質 並 未 直 接 地 對 數 據 進 行 特 徵 提 取處 理 ， 而 是 使 接 收 到 的 刺 激 信 號 通 過 一 個 復 雜 的 層 狀 網 絡 模型 ， 進 而 獲 取 觀 測 數 據 展 現 的 規 則 ［ １１ ～ １３］ 。 也 就 是 說 ， 人 腦 並 不是 直 接 根 據 外 部 世 界 在 視 網 膜 上 投 影 ， 而 是 根 據 經 聚 集 和 分 解過 程 處 理 後 的 信 息 來 識 別 物 體 。 因 此 視 皮 層 的 功 能 是 對 感 知信 號 進 行 特 徵 提 取 和 計 算 ， 而 不 僅 僅 是 簡 單 地 重 現 視 網 膜 的 影像 ［ １４］ 。 人 類 感 知 系 統 這 種 明 確 的 層 次 結 構 極 大 地 降 低 了 視 覺系 統 處 理 的 數 據 量 ， 並 保 留 了 物 體 有 用 的 結 構 信 息 。 對 於 要 提取 具 有 潛 在 復 雜 結 構 規 則 的 自 然 圖 像 、 視 頻 、 語 音 和 音 樂 等 結構 豐 富 數 據 ， 深 度 學 習 能 夠 獲 取 其 本 質 特 徵 。

受 大 腦 結 構 分 層 次 啟 發 ， 神 經 網 絡 研 究 人 員 一 直 致 力 於 多層 神 經 網 絡 的 研 究 。 ＢＰ 算 法 是 經 典 的 梯 度 下 降 並 採 用 隨 機 選定 初 始 值 的 多 層 網 絡 訓 練 算 法 ， 但 因 輸 入 與 輸 出 間 非 線 性 映 射使 網 絡 誤 差 函 數 或 能 量 函 數 空 間 是 一 個 含 多 個 極 小 點 的 非 線性 空 間 ， 搜 索 方 向 僅 是 使 網 絡 誤 差 或 能 量 減 小 的 方 向 ， 因 而 經常 收 斂 到 局 部 最 小 ， 並 隨 網 絡 層 數 增 加 情 況 更 加 嚴 重 。 理 論 和實 驗 表 明 ＢＰ 算 法 不 適 於 訓 練 具 有 多 隱 層 單 元 的 深 度 結 構 ［ １５］ 。此 原 因 在 一 定 程 度 上 阻 礙 了 深 度 學 習 的 發 展 ， 並 將 大 多 數 機 器學 習 和 信 號 處 理 研 究 從 神 經 網 絡 轉 移 到 相 對 較 容 易 訓 練 的 淺層 學 習 結 構 。

傳 統 機 器 學 習 和 信 號 處 理 技 術 探 索 僅 含 單 層 非 線 性 變 換

的 淺 層 學 習 結 構 。 淺 層 模 型 的 一 個 共 性 是 僅 含 單 個 將 原 始 輸入 信 號 轉 換 到 特 定 問 題 空 間 特 徵 的 簡 單 結 構 。 典 型 的 淺 層 學習 結 構 包 括 傳 統 隱 馬 爾 可 夫 模 型 （ ＨＭＭ ） 、 條 件 隨 機 場

（ ＣＲＦｓ） 、 最 大 熵 模 型 （ ＭａｘＥｎｔ） 、 支 持 向 量 機 （ ＳＶＭ） 、 核 回 歸 及僅 含 單 隱 層 的 多 層 感 知 器 （ ＭＬＰ） 等 。

1 2 淺 層 結 構 函 數 表 示 能 力 的 局 限 性

早 期 淺 層 結 構 局 限 性 結 論 是 關 於 利 用 邏 輯 門 電 路 實 現 函式 奇 偶 性 問 題 。 利 用 一 個 深 度 為 Ｏ（ ｌｏｇ ｄ） 的 網 絡 用 Ｏ（ ｄ） 個計 算 節 點 去 計 算 一 個 ｄ 比 特 和 的 奇 偶 性 ， 而 對 於 兩 層 網 絡 則 需要 指 數 倍 數 目 的 計 算 單 元 。 隨 後 又 有 學 者 指 出 可 以 利 用 深 度為 Ｋ 的 多 項 式 級 的 邏 輯 門 電 路 實 現 的 函 數 ， 對 於 Ｋ － １ 層 電 路需 要 指 數 倍 的 計 算 節 點 。 文 獻 ［ １０］ 指 出 深 度 學 習 結 構 可 以 很簡 潔 地 表 示 復 雜 函 數 ， 否 則 一 個 不 合 適 的 結 構 模 型 將 需 要 數 目非 常 大 的 計 算 單 元 。 這 裡 簡 潔 包 含 三 方 面 內 容 ： ａ） 需 要 的 資料 量 特 別 是 帶 類 標 記 的 樣 本 ； ｂ） 需 要 的 計 算 單 元 的 數 目 ； ｃ） 需

規 劃 技 術 學 習 數 據 的 核 矩 陣 ， 然 後 利 用 該 核 矩 陣 獲 取 較 好 的 泛化 性 能 。 然 而 當 學 習 到 的 核 函 數 相 互 關 聯 時 ， 能 否 獲 取 更 加 簡潔 的 表 示 ？ 深 度 學 習 即 基 於 這 種 思 想 並 通 過 多 次 網 絡 學 習 輸入 樣 本 的 分 布 式 表 示 ， 被 認 為 是 較 有 前 景 的 方 法 。

分 布 式 表 示 ［ １８］ 是 在 機 器 學 習 和 神 經 網 絡 研 究 中 可 以 處 理維 數 災 難 和 局 部 泛 化 限 制 的 一 個 古 老 的 思 想 。 如 圖 １ 所 示 ， 分佈 式 表 示 由 一 系 列 有 可 能 是 統 計 獨 立 的 顯 著 特 徵 組 成 ， 與 局 部泛 化 的 方 法 對 比 ， 基 於 分 布 式 表 示 的 可 區 分 模 式 的 數 目 與 分 布式 表 示 的 維 數 （ 學 習 到 的 特 徵 ） 是 指 數 倍 關 系 的 。 參 數 數 目 上的 減 少 對 統 計 機 器 學 習 是 非 常 有 意 義 的 ， 因 為 不 僅 可 以 降 低 運算 量 ， 同 時 僅 需 相 對 較 少 的 樣 本 即 可 避 免 過 擬 合 現 象 的 發 生 。而 聚 類 算 法 和 最 近 鄰 算 法 等 局 部 表 示 算 法 將 輸 入 空 間 切 分 如圖 １ 左 側 所 示 ， 不 同 局 部 之 間 是 互 斥 的 ， 不 能 形 成 簡 潔 的 分 布式 表 示 。 ＩＣＡ 、 ＰＣＡ 和 ＲＢＭ 等 算 法 用 較 少 的 特 徵 將 輸 入 空 間切 分 如 圖 １ 右 側 所 示 ， 並 構 建 分 布 式 表 示 ， 參 數 數 目 和 需 要 的樣 本 數 要 比 子 區 域 的 數 目 少 得 多 ， 這 也 是 為 什 麼 會 對 未 觀 測 資料 泛 化 的 原 因 。 ＰＣＡ 和 ＩＣＡ 可 以 獲 取 輸 入 的 主 要 分 量 信 息 ，但 對 於 輸 出 信 號 數 目 小 於 輸 入 信 號 數 目 時 ， 不 能 很 好 地 解 決 欠定 問 題 。 文 獻 ［ １９］ 中 提 出 了 利 用 自 聯 想 神 經 網 絡 來 提 取 數 據的 非 線 性 主 分 量 的 方 法 ， 該 學 習 方 法 的 目 的 是 通 過 事 物 的 部 分信 息 或 者 帶 噪 聲 的 信 息 來 還 原 事 物 的 本 來 信 息 。 自 聯 想 神 經

要 的 人 為 先 驗 知 識 。 例 如 多 項 式 ∏ｎ

ｍ

ｊ ＝ １

ａｉｊ ｘｊ

可 以 高 效 地

網 絡 的 隱 層 節 點 數 目 少 於 輸 入 節 點 數 目 時 ， 可 認 為 在 自 聯 想 過

（ 相 對 於 需 訓 練 的 計 算 單 元 數 目 ） 利 用 Ｏ（ ｍｎ） 運 算 量 表 示 成 和

ｍ

程 中 ， 這 些 隱 層 能 夠 保 留 數 據 集 中 的 主 要 信 息 。 多 層 神 經 網 絡

和 Ｂｏｌｔｚｍａｎｎ 機 已 被 用 於 學 習 分 布 式 表 徵 。 文 獻 ［ ２０］ 已 證 明

積 （ ｓｕｍｐｒｏｄｕｃｔ） 結 構 ， 如 果 表 示 成 積 和 結 構 ， 將 需 要 Ｏ（ ｎ ） 計

算 量 。 此 外 文 獻 ［ １６］ 指 出 存 在 一 大 類 函 數 不 能 用 淺 層 電 路 表示 。 這 些 數 學 結 果 指 出 了 淺 層 學 習 網 絡 的 局 限 性 ， 激 發 了 利 用深 度 網 絡 對 復 雜 函 數 建 模 的 動 機 。

1 3 局 部 表 示 、 分 布 式 表 示 和 稀 疏 表 示

最 近 許 多 研 究 者 已 經 研 究 了 分 布 式 表 示 的 一 個 變 體 ， 它 介於 純 粹 局 部 表 示 和 稠 密 分 布 式 表 示 之 間 ——— 稀 疏 表 示 。 它 的思 想 是 盡 量 要 求 所 獲 取 表 示 中 只 有 少 數 維 是 有 效 的 ， 使 絕 大 多數 維 設 為 ０ 或 接 近 於 ０ 的 無 效 維 。 目 的 是 盡 量 找 出 信 號 的 主要 驅 動 源 。

基 於 模 板 匹 配 的 模 型 可 認 為 含 兩 層 計 算 單 元 ， 第 一 層 構 建對 輸 入 數 據 進 行 匹 配 的 多 個 模 板 ， 每 一 匹 配 單 元 可 輸 出 一 個 匹配 度 ； 第 二 層 採 用 特 定 機 制 融 合 第 一 層 的 輸 出 匹 配 度 。 典 型 基於 局 部 匹 配 的 例 子 是 核 方 法 。

ｆ（ ｘ） ＝ ｂ ＋ ∑ｉ αｉ Ｋ（ ｘ， ｘｉ ） （ １）

這 裡 ｂ 和 αｉ 形 成 第 二 計 算 層 。 核 函 數 Ｋ（ ｘ， ｘｉ ） 將 輸 入 ｘ匹 配 到 訓 練 樣 本 ｘｉ ， 並 在 全 局 範 圍 求 和 。 式 （ １） 的 結 果 可 作 為 分 類 器 的 區 分 類 標 籤 ， 或 者 回 歸 器 的 值 。 利 有 局 部 核函 數 的 核 方 法 能 獲 取 泛 化 性 能 ， 因 其 利 用 光 滑 性 的 先 驗 知 識 ，

即 目 標 函 數 可 利 用 光 滑 函 數 逼 近 。 在 監 督 學 習 中 ， 由 訓 練 樣 本

（ ｘｉ ， ｙｉ ） 組 建 測 器 ， 當 輸 入 ｘ 與 ｘｉ 靠 近 時 ， 輸 出 接 近 ｙｉ 。 通 常這 是 合 理 假 設 ， 但 文 獻 ［ １０］ 中 指 出 當 目 標 函 數 非 常 復 雜 時 ， 這樣 的 模 型 泛 化 能 力 很 差 。 其 原 因 是 利 用 局 部 估 計 學 習 算 法 表示 函 數 時 ， 一 個 局 部 估 計 子 將 輸 入 空 間 進 行 切 分 ， 並 需 要 不 同自 由 度 參 數 來 描 述 目 標 函 數 在 每 一 區 域 的 形 狀 。 當 函 數 較 為復 雜 時 ， 需 要 利 用 參 數 進 行 描 述 的 區 域 數 目 也 是 巨 大 的 。 固 定核 函 數 的 這 種 局 限 性 已 引 起 基 於 先 驗 知 識 設 計 核 函 數 的 研 究 ， 而 如 果 缺 乏 足 夠 的 先 驗 知 識 是 否 可 通 過 學 習 獲 取 一 個 核 函 數 ？ 該 問 題 同 樣 引 起 大 量 研 究 。 Ｌａｎｃｋｒｉｅｔ 等 人 ［ １７］ 提 出 利 用 半 正 定

利 用 ＤＢＮ 學 習 特 徵 空 間 對 高 斯 過 程 回 歸 的 性 能 進 行 提 高 。 深度 學 習 算 法 可 以 看 成 核 機 器 學 習 中 一 個 優 越 的 特 徵 表 示 方 法 。文 獻 ［ ２］ 指 出 單 個 決 策 樹 的 泛 化 性 能 隨 目 標 函 數 變 量 增 加 而降 低 。 多 個 樹 的 集 成 （ 森 林 ） 比 單 個 樹 更 加 強 大 ， 也 是 因 為 增加 了 一 個 第 三 層 ， 並 潛 在 地 形 成 分 布 式 表 示 ， 可 表 達 與 子 樹 數目 指 數 倍 個 的 分 布 。

1 (fi$ .fi$1(})ªyfifi$1(@)

1 4 深 度 學 習 成 功 的 關 鍵

深 度 學 習 具 有 多 層 非 線 性 映 射 的 深 層 結 構 ， 可 以 完 成 復 雜的 函 數 逼 近 是 深 度 學 習 優 勢 之 一 ； 此 外 深 度 學 習 理 論 上 可 獲 取分 布 式 表 示 ， 即 可 通 過 逐 層 學 習 算 法 獲 取 輸 入 數 據 的 主 要 驅 動變 量 。 該 優 勢 是 通 過 深 度 學 習 的 非 監 督 預 訓 練 算 法 完 成 ， 通 過生 成 性 訓 練 可 避 免 因 網 絡 函 數 表 達 能 力 過 強 而 出 現 過 擬 合 情

況 。 但 由 於 單 層 有 限 的 計 算 能 力 ， 通 過 多 層 映 射 單 元 可 提 取 出主 要 的 結 構 信 息 。 文 獻 ［ １５］ 深 入 分 析 並 通 過 實 驗 驗 證 了 貪 婪層 次 非 監 督 深 度 學 習 方 法 的 優 勢 所 在 。

0 典 型 的 深 度 學 習 結 構

深 度 學 習 涉 及 相 當 廣 泛 的 機 器 學 習 技 術 和 結 構 ， 根 據 這 些結 構 和 技 術 應 用 的 方 式 ， 可 以 將 其 分 成 如 下 三 類 ：

ａ） 生 成 性 深 度 結 構 。 該 結 構 描 述 數 據 的 高 階 相 關 特 性 ，或 觀 測 數 據 和 相 應 類 別 的 聯 合 概 率 分 布 。

ｂ） 區 分 性 深 度 結 構 。 目 的 是 提 供 對 模 式 分 類 的 區 分 性 能力 ， 通 常 描 述 數 據 的 後 驗 分 布 。

ｃ） 混 合 型 結 構 。 它 的 目 標 是 區 分 性 的 ， 但 通 常 利 用 了 生成 型 結 構 的 輸 出 會 更 易 優 化 。

2 1 生 成 型 深 度 結 構

文 獻 ［ ３］ 首 次 提 出 的 ＤＢＮ 是 目 前 研 究 和 應 用 都 比 較 廣 泛的 深 度 學 習 結 構 。 與 傳 統 區 分 型 神 經 網 絡 不 同 ， 可 獲 取 觀 測 資料 和 標 籤 的 聯 合 概 率 分 布 ， 這 方 便 了 先 驗 概 率 和 後 驗 概 率 的 估計 ， 而 區 分 型 模 型 僅 能 對 後 驗 概 率 進 行 估 計 。 ＤＢＮ 解 決 傳 統ＢＰ 算 法 訓 練 多 層 神 經 網 絡 的 難 題 ： ａ） 需 要 大 量 含 標 籤 訓 練 樣本 集 ； ｂ） 較 慢 的 收 斂 速 度 ； ｃ） 因 不 合 適 的 參 數 選 擇 陷 入 局 部最 優 。

ＤＢＮ 由 一 系 列 受 限 波 爾 茲 曼 機 （ ＲＢＭ） 單 元 組 成 。 ＲＢＭ是 一 種 典 型 神 經 網 絡 ， 如 圖 ２ 所 示 。 該 網 絡 可 視 層 和 隱 層 單 元彼 此 互 連 （ 層 內 無 連 接 ） ， 隱 單 元 可 獲 取 輸 入 可 視 單 元 的 高 階相 關 性 。 相 比 傳 統 ｓｉｇｍｏｉｄ 信 度 網 絡 ， ＲＢＭ 權 值 的 學 習 相 對 容 易 。 為 了 獲 取 生 成 性 權 值 ， 預 訓 練 採 用 無 監 督 貪 心 逐 層 方 式 來實 現 。 在 訓 練 過 程 中 ， 首 先 將 可 視 向 量 值 映 射 給 隱 單 元 ； 然 後可 視 單 元 由 隱 層 單 元 重 建 ； 這 些 新 可 視 單 元 再 次 映 射 給 隱 單 元 ， 這 樣 就 獲 取 了 新 的 隱 單 元 。 反 復 執 行 這 種 步 驟 叫 做 吉 布 斯採 樣 。

2 RBM #

ＲＢＭ 在 給 定 模 型 參 數 條 件 下 的 聯 合 分 布 為

ｐ（ ｖ， ｈ； θ） ＝ ｅｘｐ（ － Ｅ（ ｖ， ｈ； θ） ） ／ Ｚ （ ２）

其 中 ： Ｚ ＝ ∑ ∑ ｅｘｐ（ － Ｅ（ ｖ， ｈ； θ） ） 是 歸 一 化 因 子 或 剖 分 函 數 。模 型 賦 予 可 視 向 量 ｖ 的 邊 際 概 率 為

ｐ（ ｖ； θ） ＝ ∑ｈ ｅｘｐ（ － Ｅ（ ｖ， ｈ； θ） ） ／ Ｚ （ ３）

對 伯 努 利 （ 可 視 ） — 伯 努 利 （ 隱 藏 ） ＲＢＭ 能 量 函 數 定 義 為

Ｅ（ ｖ， ｈ； θ） ＝ － ∑Ｉ ∑Ｊ ｗｉｊ ｖｉ ｈｊ － ∑Ｉ ｂｉ ｖｉ － ∑Ｊ ａｊ ｈｊ

其 中 ： Ｅｄａｔａ （ ｖｉ ｈｊ ） 是 在 觀 測 數 據 訓 練 集 中 的 期 望 ； Ｅｍｏｄｅｌ （ ｖｉ ｈｊ ） 是模 型 中 定 義 的 期 望 。 精 心 訓 練 ＲＢＭ 對 成 功 應 用 深 度 學 習 是 一個 關 鍵 。 文 獻 ［ ２１］ 提 供 了 對 ＲＢＭ 實 際 訓 練 的 指 導 。

通 過 自 底 向 上 組 合 多 個 ＲＢＭ 可 以 構 建 一 個 ＤＢＮ， 如 圖 ３

所 示 。 應 用 高 斯 — 伯 努 利 ＲＢＭ 或 伯 努 利 — 伯 努 利 ＲＢＭ， 可 用隱 單 元 的 輸 出 作 為 訓 練 上 層 伯 努 利 — 伯 努 利 ＲＢＭ 的 輸 入 ， 第二 層 伯 努 利 和 伯 努 利 的 輸 出 作 為 第 三 層 的 輸 入 等 。 這 個 逐 層高 效 的 學 習 策 略 理 論 證 明 可 參 見 文 獻 ［ ３］ ， 它 指 出 上 述 逐 層 學習 程 序 提 高 了 訓 練 數 據 基 於 混 合 模 型 的 似 然 概 率 的 變 化 下 界 。

3 DBN #

2 2 區 分 性 深 度 結 構

卷 積 神 經 網 絡 （ ＣＮＮｓ） 是 第 一 個 真 正 成 功 訓 練 多 層 網 絡 結 構 的 學 習 算 法 ， 與 ＤＢＮｓ 不 同 ， 它 屬 於 區 分 性 訓 練 算 法 。 受 視覺 系 統 結 構 的 啟 示 ， 當 具 有 相 同 參 數 的 神 經 元 應 用 於 前 一 層 的不 同 位 置 時 ， 一 種 變 換 不 變 性 特 徵 就 可 獲 取 了 。 後 來 ＬｅＣｕｎ 等 人 沿 著 這 種 思 路 ， 利 用 ＢＰ 算 法 設 計 並 訓 練 了 ＣＮＮｓ 。 ＣＮＮｓ 作 為 深 度 學 習 框 架 是 基 於 最 小 化 預 處 理 數 據 要 求 而 產 生 的 。受 早 期 的 時 間 延 遲 神 經 網 絡 影 響 ， ＣＮＮｓ 靠 共 享 時 域 權 值 降 低復 雜 度 。 ＣＮＮｓ 是 利 用 空 間 關 系 減 少 參 數 數 目 以 提 高 一 般 前 向ＢＰ 訓 練 的 一 種 拓 撲 結 構 ， 並 在 多 個 實 驗 中 獲 取 了 較 好 效能 ［ ６， ２２］ 。 在 ＣＮＮｓ 中 被 稱 做 局 部 感 受 區 域 的 圖 像 的 一 小 部 分 作 為 分 層 結 構 的 最 底 層 輸 入 。 信 息 通 過 不 同 的 網 絡 層 次 進 行傳 遞 ， 因 此 在 每 一 層 能 夠 獲 取 對 平 移 、 縮 放 和 旋 轉 不 變 的 觀 測數 據 的 顯 著 特 徵 。

文 獻 ［ ６， ２２］ 描 述 了 ＣＮＮｓ 在 ＭＮＩＳＴ 數 據 庫 中 的 手 寫 體 識

ｉ ＝ １ｊ ＝ １

ｉ ＝ １

ｊ ＝ １

別 應 用 情 況 。 如 圖 ４ 所 示 ， 本 質 上 ， 輸 入 圖 形 與 一 系 列 已 訓 練

其 中 ： ｗｉｊ 為 可 視 單 元 和 隱 單 元 連 接 權 值 ； ｂｊ 和 ａｊ 是 偏 置 量 ； Ｉ 和

Ｊ 是 可 視 單 元 和 隱 單 元 的 數 目 。 條 件 概 率 如 式 （ ４） 計 算 ：

ｐ（ ｈｊ ＝ １ ｜ ｖ； θ） ＝ δ（ ∑Ｉ ｗｉｊ ｖｉ ＋ ａｊ ）

的 濾 波 器 系 數 進 行 卷 積 操 作 ； 後 經 加 性 偏 置 和 壓 縮 、 特 徵 歸 一化 等 ， 最 初 階 段 伴 隨 進 一 步 降 維 的 下 採 樣 （ Ｃｘ ） 提 供 對 空 域 變化 的 魯 棒 性 ； 下 採 樣 特 徵 映 射 經 加 權 後 的 可 調 偏 置 ， 最 終 利 用

ｉ ＝ １

ｐ（ ｖｉ ＝ １ ｜ ｈ； θ） ＝ δ（ ∑Ｉ ｗｉｊ ｈｊ ＋ ｂｉ ）

（ ４）

激 活 函 數 進 行 傳 遞 。 組 合 多 個 上 述 映 射 層 （ 圖 ５） 可 獲 取 層 間

關 系 和 空 域 信 息 ， 這 樣 ＣＮＮｓ 適 於 圖 像 處 理 和 理 解 。 國 內 學 者

這 裡 δ（ ｘ） ＝ １ ／ （ １ ＋ ｅｘｐ （ ｘ） ） 。 相 似 地 ， 對 於 高 斯 （ 可視 ） — 伯 努 利 （ 隱 ） ＲＢＭ 能 量 函 數 為

Ｅ（ ｖ， ｈ； θ） ＝ － ∑Ｉ ∑Ｊ ｗｉｊ ｖｉ ｈｊ ＋ １ ∑Ｉ （ ｖｉ － ｂｊ ） ２ － ∑Ｊ ａｊ ｈｊ （ ５）

夏 丁 胤 ［ ２３］ 將 這 種 網 絡 應 用 於 網 絡 圖 像 標 注 中 。 最 近 ＣＮＮｓ 已應 用 於 包 括 人 臉 檢 測 、 文 件 分 析 和 語 音 檢 測 等 不 同 機 器 學 習 的問 題 中 。

ｉ ＝ １ｊ ＝ １

對 應 的 條 件 概 率 變 成 ：

ｐ

２ ｉ ＝ １

Ｉ

ｊ ＝ １

（ ｈｊ ＝ １ ｜ ｖ； θ） ＝ δ（ ｉ∑＝ １ｗｉｊ ｖｉ ＋ ａｊ ）

Ｉ

（ ６） Cs

Ss+1

ｐ（ ｖｉ ＝ １ ｜ ｈ； θ） ＝ Ｎ（ ｉ∑＝ １ｗｉｊ ｈｊ ＋ ｂｉ ， １）

其 中 ： ｖｉ 是 滿 足 均 值 為 ｊ∑＝ １ｗｉｊ ｈｊ ＋ ｂｉ 、 方 差 為 １ 的 高 斯 分 布 的 實 數值 。 高 斯 — 伯 努 利 ＲＢＭｓ 可 將 實 值 隨 機 變 量 轉 換 到 二 進 制 隨

機 變 量 ， 然 後 再 進 一 步 利 用 伯 努 利 — 伯 努 利 ＲＢＭｓ 處 理 。 利 用對 數 似 然 概 率 ｌｏｇ （ ｐ（ ｖ； θ） 梯 度 可 推 導 出 ＲＢＭ 的 權 值 更 新準 則 ：

4 €NN ا%ª¿fi‰¼

C1 S2 C3 S4

5 §$%&fi +

文 獻 ［ ８］ 近 期 提 出 一 新 的 深 度 學 習 算 法 。 ＤＣＮ 如 圖 ６ 所示 ， 每 層 子 模 塊 是 含 單 隱 層 和 兩 個 可 訓 練 的 加 權 層 神 經 網 絡 。ＤＣＮ 是 由 一 系 列 分 層 子 模 塊 串 聯 組 成 。 模 塊 第 一 個 線 性 輸 入層 對 應 輸 入 特 徵 維 數 ， 隱 層 是 一 系 列 非 線 性 參 數 可 調 單 元 ， 第二 線 性 輸 出 包 含 線 性 輸 出 單 元 及 原 始 輸 入 數 據 ， 最 頂 模 塊 的 輸出 代 表 分 類 目 標 單 元 。 例 如 ， 如 果 ＤＣＮ 設 定 用 於 實 現 數 字 識別 ， 輸 出 可 表 示 成 １ ～ １０ 的 ０１ 編 碼 。 如 用 於 語 音 識 別 ， 輸 入對 應 語 音 波 形 採 樣 或 波 形 提 取 特 徵 ； 如 功 率 譜 或 倒 譜 系 數 ， 輸出 單 元 代 表 不 同 音 素 。

更多諮詢請關注獲取更多資料

詳情 李：么叄柒么陸叄陸八叄伍柒