貝葉斯深度學習簡介

banq發表於2024-03-13

在本教程中,我們將學習貝葉斯深度學習的簡介。神經網路的機率可以透過使用貝葉斯介面來檢查。我們可以透過對標準神經網路工具的簡單修改來近似這個概念問題。

貝葉斯定理是資料科學的一部分。它還包括以下學科:電腦科學、統計學和機率。該定理用於根據可用的重要資料計算正在發生的事件的機率。同時,貝葉斯推理使用貝葉斯定理在面對額外資料時改變假設的機率。

貝葉斯深度學習是一個新興領域,它將貝葉斯方法的不確定性建模與深度學習的呈現和表示相結合。這兩個概念的結合提供了一個解決許多深度學習問題的框架,例如過度擬合問題、加權不確定性問題、模型比較等等。

貝葉斯深度學習有時被稱為貝葉斯神經網路。本教程主要講授貝葉斯深度學習的基本介紹。我們還了解了該主題的方法、開發以及許多與該主題相關的內容。

貝葉斯深度學習是什麼意思?
貝葉斯深度學習簡稱為 BDL。它依賴於深度學習理論和貝葉斯機率論。同時,貝葉斯推理對於統計和機率分佈機器學習也很重要。機率主要用於模型學習、不確定性和可觀察狀態。貝葉斯深度學習(BDL)的主要目的是為深度學習提供不確定性估計。

貝葉斯深度學習是一個新興領域,它將貝葉斯方法的不確定性建模與深度學習的呈現和表示相結合。貝葉斯深度學習一直令人著迷又令人恐懼。神經網路中的不確定性用於衡量預測模型的準確性。貝葉斯建模主要有兩種型別的不確定性,下面討論 -

1. 任意不確定性:
任意不確定性是貝葉斯建模中不確定性的一部分。主要用於測量觀測時固有的噪聲。感測器噪聲就是一個例子。噪聲感測器可以在資料集中統一。即使收集更多資料也無法減少這種不確定性。

2. 認知不確定性:
認知不確定性是貝葉斯模型不確定性的另一部分。這種不確定性是由模型本身引起的,也稱為模型不確定性。它抓住了我們對理解模型生成的收集資料的需求。透過收集更多資料,我們可以減少這種不確定性。

因此,BDL 模型通常透過定位樣本權重的分佈或學習直接機率圖來估計不確定性。認知不確定性是透過對樣本權重進行初步分佈來建模的。它還可以捕獲這些權重隨資料變化的程度。另一方面,透過提供輸出分佈來對任意不確定性進行建模,並且它還用於測量給定資料集的噪聲。

許多資料科學家認為將機器學習、貝葉斯學習和神經網路結合起來是一個成功的應用。然而,貝葉斯神經網路通常很難訓練。透過使用背景方法,我們可以輕鬆訓練任何神經網路。我們通常使用Bayesian with Backprop來訓練BNN,即貝葉斯神經網路。

貝葉斯推理和邊緣化是什麼意思?
貝葉斯介面就是學習過程。它用於找出後驗分佈。這與透過最佳化方差尋找最佳結果相反。另一方面,為了計算總的最終值,我們需要邊緣化整個引數空間。但這通常是不可能的,因為我們可以擁有無​​限數量的此類資料集。因此,貝葉斯方法使用邊緣化而不是最佳化技術。

後驗中的複雜積分導致執行引數值有許多變數。貝葉斯介面通常使用馬爾可夫鏈蒙特卡羅 (MCMC) 或微分方程等取樣方法來代替梯度下降。這些策略嘗試在使用更簡單的分類後進行建模。VAE 是一種近似複雜分佈以標準化流量的新方法。

貝葉斯深度學習的優勢是什麼?
最近,許多人嘗試將神經網路的優點與貝葉斯方法結合起來。貝葉斯深度學習有多種優點,如下所述 -

1. 插值:
插值是貝葉斯學習的一個重要優勢。貝葉斯學習工作包括純粹的架構。當面臨學習問題時,必須在人類和計算機應該投入多少時間和精力之間做出選擇。當你建造一臺設計好的機器時,你會建立一個地球模型,並在該模型中找到一個好的控制器。

貝葉斯方法對這個極端位置進行插值,因為它可能是貝葉斯前提全域性模型的函式。這意味著將描述“好好思考”(指在世介面前的教學模式)和“努力思考”(如下)。許多其他機器學習方法仍然需要這種保證。

2.直覺:
直覺是貝葉斯深度學習的另一個優勢。貝葉斯學習涉及兩個操作,即優先順序劃分和整合。這些操作通常很有用。

3. 語言:
語言是貝葉斯深度學習的另一個優勢。貝葉斯和近貝葉斯學習技術具有用於前後表達的關聯語言。這在“認真思考”解決方案時非常有用。


貝葉斯深度學習的缺點是什麼?
不確定性估計,尤其是醫療、汽車等領域,對於決策過程非常重要。在貝葉斯深度學習中,存在各種缺點,下面討論 -

1. 計算不可行:
計算不可行性是貝葉斯深度學習(BDL)的缺點。假設您可以準確預測房間中的每個空氣分子。但是,計算後驗可能需要很多時間。這種困難意味著需要進行計算預測。

2、理論上不可行:
理論上的不可行性是貝葉斯深度學習的另一個缺點。事實證明,要達到先前的規格需要做大量的工作。在這裡,我們需要為模型引數的每個設定指定實數。由於某些原因,許多精通貝葉斯學習的人沒有看到這一困難,如下所示:

  • 他們知道允許事先指定的語言。獲得這些資訊需要付出很大的努力。
  • 他們在撒謊。他們的實際先驗沒有提前指定。

3.非自動化:

非自動化是貝葉斯深度學習的另一個缺點。“批判性思維”是貝葉斯研究中“貝葉斯僱傭”規則的一部分。當新的學習問題出現時,貝葉斯保證工程師必須解決這些問題。

BDL(貝葉斯深度學習)未來的發展如何?
這裡瞭解BDL(貝葉斯深度學習)的未來發展。貝葉斯深度學習定理用於根據可用的重要資料計算正在發生的事件的機率。它依賴於深度學習理論和貝葉斯機率論。

這裡我們主要了解一下BDL未來的發展。過去廣泛使用貝葉斯深度學習(BDL)的主要障礙是計算效率。缺乏公開可用的軟體包。最近的舉措在解決這些問題方面邁出了堅實的一步。

例如,為了加快速度,在硬體和軟體方面進行了大量工作,並且專門為設計和理論開發了新的軟體包,例如Edward。

未來,我們期望 BNN 在小資料、批次學習和模型壓縮方面取得進展。更廣泛地說,將根據 BDL 的一般範圍進行進一步的研究。貝葉斯深度學習利用其在各種調整問題中重現影像結構的能力。它的例子是計算機視覺和自然語言處理。

相關文章