DataScience- 巨量稀疏矩陣進行分群問題

各位好,我目前正在學習資料分群,目前遇到一個問題想請問各位

如果在一個針對使用者購買習慣的分群的過程中

由於商品數量有數十萬筆,使用者也有上百萬筆

要將使用者做分群的話我是以類似下面的排法

( '消費者A' , [0,1,0,0,0,0,0........])
( '消費者B' , [1,0,0,0,0,0,1........])
....

也就是每個使用者所購買的每一個產品都是一個特徵

但這從建立一個這麼大的資料量就已經是一個問題了

即便降低消費者到只剩下100人,也因為維度太大跑到後面就直接memory error

想請問各位像這種稀疏矩陣,在分群上大家覺得資料應該要先做怎樣的處理是洽當的呢

因為實在是新手,所以問題可能問得不太好

希望能有人能提供建議~

謝謝

--