batch、epoch、iteration的區別

duanyuchen發表於2020-10-17

參考部落格1
參考部落格2:為什麼要用多於一個epoch?

(1)batchsize:批大小。在深度學習中,一般採用SGD訓練,即每次訓練在訓練集中取batchsize個樣本訓練;

(2)iteration:1個iteration等於使用batchsize個樣本訓練一次;Iteration是batch需要完成一個epoch的次數。 iteration = 資料集大小 / batch_size

(3)epoch:1個epoch等於使用訓練集中的全部樣本訓練一次,通俗的講epoch的值就是整個資料集被輪幾次。

比如訓練集有500個樣本,batchsize = 10 ,那麼訓練完整個樣本集:iteration=50,epoch=1.

batch: 深度學習每一次引數的更新所需要損失函式並不是由一個資料獲得的,而是由一組資料加權得到的,這一組資料的數量就是batchsize。

相關文章