資訊，訊息和訊號:
獲得資訊就將消除一部分不確定性。
資訊量就是事件發生後消除的不確定性的量，每消除一部分不確定性，我們就認為收到了一部分資訊量。
資訊描述的就是不確定性。資訊是概率的函式
夏農資訊定義：資訊是事物運動狀態或存在方式不確定性的描述
資訊的特徵：
1. 不確定性，接受者在收到資訊之前，對它的內容是不知道的；
事物出現某狀態不確定性的大小，與該狀態出現的概率大小有關
不確定性完全可以有概率來度量。我們根據概率變化的大小就可以得到消除的不確定性的大小。
不確定性的大小和概率的大小有關，並且呈現遞減$f(p(x_i))$
不確定性大小函式f應該滿足以下的條件:
1. f(1)=0;
2. f(p(x))是單調遞減函式，也就是說概率越大，不確定性越小
3. 獨立可加性
$f(p(x)p(y)) = f(p(x))+f(p(y))$
夏農資訊定義：資訊是事物運動狀態或存在方式不確定性的描述,
自資訊:$I(x_i) = -log P(x_i)$,這裡$P(x_i)$就是選擇符號值$x_i$作為傳送訊息的概率，而$I(x_i)$就是選擇符號值$x_i$作為傳送訊息的不確定性。
條件自資訊：$I(x_i|y_j) = - log p(x_i|y_j)$，當我收到$y_j$後，我確定傳送端傳送的是$x_i$的不確定性， 後驗概率$p(x_i|y_j)$表示接收端收到訊息$y_j$後而傳送端發的是$x_i$的概率
2. 資訊能使主題對某一事物的未執行或不確定性減少
3. 資訊是可以度量的
訊息：是包含有資訊的語言文字或者影像等
訊號：是訊息的物理體現
熵的定義:
集$\{X, P(x)\}$上定義的隨機變數$I(x)$的數學期望:$H(x) = - \sum P(x)log P(x) = \sum I(x) P(x)$
稱為集X的平均自資訊量，又稱為是集X的資訊熵，簡稱熵
熵的含義：
表示為了確定集X中一個事件出現平均所需的資訊量(觀測前)，或集X中每出現一事件平均給出的資訊量(觀測後)
