作業系統:Linux
問題類別:RNN中的GRU
使用工具:Pytorch
問題內容:
初學者學習有關RNN在Forward中的過程，
對於memory在評估或是實際應用中如何工作有疑惑。
首先
假設我有一個Batch(6)資料，
其維度分別代表( seq_len(40), batch_size(6), embedding_dim(15) )，
可以理解成(句子長度, batch size, word vector向量長度)。
接著
假設我有一個GRU Layer，他是單向的，一層(沒有堆疊)，memory的維度是7。
代碼如下
https://imgur.com/IJoQ9mE在執行Forward中，我必須給一個初始化的memory，
根據batch(6)、單向、memory維度(7)，
我的初始化memory是一個(1, 6, 7)的Tensor。
在執行完之後我會得到輸出值(y)以及更新的memory。
代碼如下
https://imgur.com/3Sr7DId假設我之後接了一個Fully connected layer結束，使用Log loss當作損失函數。
Train了一發之後，我想找一筆測試資料(batch=1)來輸入給模型。
問題是
我在輸入模型的初始化memory應該選哪一個？
還是我根本不需要去選？但是不選的話，很奇怪。
或是我完全錯誤理解GRU的工作模式了？
請高手指教，謝謝。
--
