贊助廠商

娛樂城推薦

首頁

刊登資訊

  • 刊登者:匿名
  • 時間:2021-06-04 05:10:05

尚未解答DataScience- 需要每一輪(epoch)都餵入整個資料集嗎?

DataScience- 需要每一輪(epoch)都餵入整個資料集嗎?

譬如資料集超大,上千萬筆資料,跑一輪(epoch)需要好幾天或更久,如果讓每一輪沒跑
過整個資料集,這樣子訓練的效果是不是會比較差?

主因目前都是在 colab 訓練,一輪的時間太久就會被突然中斷導致前面花費的時間都
白費了,雖然是可以改成依照餵入資料的次數來儲存訓練結果,但看線上說明是說這樣
訓練的話,若次數沒對齊一輪需要經過的次數的話,會導致評估分數變得不準確

我試驗過照次數儲存的評估結果,刻意中斷後重新訓練,跑出來的評估結果在
Tensorboard 中必須選取 relative 才能讓評估結果看起來是連續的,如果選擇 steps
評估結果就會跳到最左邊顯示

所以想要瞭解資料集很大的情況下,每一輪有必要把整個資料集跑過一遍嗎?

--
「看在上帝的份上,我們不能當著孩子的面槍殺他的父親!」
「那我們就連孩子一起幹掉!」
「第一槍打中的是那個天真的孩子,第二槍是抱著孩子的母親。第三槍
停頓了三秒,當難以致信的父親擦拭著臉上愛子的腦漿從震驚中醒轉
過來,慢慢的轉頭看向停車的地方,分辨出是誰在攻擊他後,第三顆
子彈才將他的腦殼打飛。」 ─摘自〈狼群〉

--

0個答案 DataScience- 需要每一輪(epoch)都餵入整個資料集嗎?

其他問題

友站連結