DataScience- Tensorflow data pipeline 問題

作業系統: Google colab/ Mac

問題類別: DL

使用工具: Tensorflow 2.x

問題內容:

想請教一個實作 Tensorflow data pipeline 的問題，我已經研究了好幾天
但還是沒找到一個好方法

模型的功能是預測一張圖片上哪些地方比較吸引人眼注意

但麻煩的是原始資料全都是影片，而且除了影片外，我們還要加入聲音來訓練

整體流程大約是這樣：

1. 從影片中抽取幾張 frame
2. 從影片中抽取對應的 audio, 並且做成 spectrogram
3. 上一個步驟中的 audio 也保留 wave


我目前查資料看起來 TFRecord 的功能好像很強，只是真的很複雜，不知道怎麼做到
上面的那些轉換

另外有一個不是很理想的方法是，先把需要的 frames 和 audio 都先抽好存起來
如果是這個方法的話，我就只需要知道 Tensorflow 要如何同時餵進來自兩個來源
的資料，這邊的重點可能是 shuffle 之後次序依然要維持對應

這個方法不太理想是因為在實驗完之後，真正使用的資料集非常大，沒辦法先抽好

麻煩大家給我一些建議了，謝謝

--