平滑處理

csjywu1發表於2024-08-28

當然，我可以透過一個簡化的例子來解釋你提供的程式碼中的平滑處理操作。

假設和設定

  • 類別數 num_aa_type：假設有 3 個類別（氨基酸型別）。
  • 嵌入向量維度 embed_size：假設每個類別的嵌入向量的維度是 2。
  • smooth_prob：假設對於一個樣本的機率分佈為 [0.1, 0.7, 0.2]。
  • res_embeddings：假設 3 個類別的嵌入向量分別為：
    • 類別 1（0）：[1.0, 0.0]
    • 類別 2（1）：[0.0, 1.0]
    • 類別 3（2）：[1.0, 1.0]

步驟 1：定義 smooth_prob 和 res_embeddings

import torch

# 假設的機率分佈 (smooth_prob)
smooth_prob = torch.tensor([0.1, 0.7, 0.2])  # [num_aa_type]

# 假設的嵌入矩陣 (res_embeddings)
res_embeddings = torch.tensor([
    [1.0, 0.0],  # 類別 1 的嵌入向量
    [0.0, 1.0],  # 類別 2 的嵌入向量
    [1.0, 1.0],  # 類別 3 的嵌入向量
])  # [num_aa_type, embed_size]

步驟 2：執行平滑處理

# 平滑處理的計算：矩陣乘法
smoothed_embedding = smooth_prob @ res_embeddings  # 形狀 [embed_size]

具體計算

現在，讓我們詳細計算矩陣乘法的結果：

# smoothed_embedding = smooth_prob @ res_embeddings
# smoothed_embedding = [0.1, 0.7, 0.2] @ [[1.0, 0.0], [0.0, 1.0], [1.0, 1.0]]

# 第一個維度的計算 (x 軸的嵌入):
# 0.1 * 1.0 + 0.7 * 0.0 + 0.2 * 1.0 = 0.1 + 0 + 0.2 = 0.3

# 第二個維度的計算 (y 軸的嵌入):
# 0.1 * 0.0 + 0.7 * 1.0 + 0.2 * 1.0 = 0 + 0.7 + 0.2 = 0.9

smoothed_embedding = torch.tensor([0.3, 0.9])  # 最終的平滑嵌入向量

步驟 3：將平滑後的嵌入賦值回去

假設我們有一個嵌入矩陣 H，其形狀為 [batch_size, embed_size]，並且我們正在處理的樣本需要進行平滑處理，那麼就將計算得到的 smoothed_embedding 賦值給 H 中對應的行。

H[smooth_mask] = smoothed_embedding

總結

在這個示例中，smooth_prob 是一個表示模型預測機率分佈的向量，res_embeddings 是每個類別的嵌入向量。透過將 smooth_prob 與 res_embeddings 相乘，我們得到了一個平滑後的嵌入向量 [0.3, 0.9]。

  • 0.3 來自對類別 1 和類別 3 的 x 軸嵌入的加權平均。
  • 0.9 來自對類別 2 和類別 3 的 y 軸嵌入的加權平均。

這個平滑後的嵌入向量避免了直接選擇某個類別的嵌入向量，而是結合了多個類別的資訊，從而使模型在輸出時更為穩定和魯棒。

相關文章