Exploring Unexplored Tensor Network Decompositions for Convolutional Neural Networks

Abstract

畳み込みニューラルネットワーク（CNN）は画像など特定ドメインのデータの処理に対して高い性能を発揮することが知られている．しかしながら同時に計算能力も必要とするため，CNNの軽量化は深層学習コミュニティにおいて広く行われてきた．本稿ではテンソル分解を使ったCNNの軽量化に焦点を当てる．まずCNNのコンポーネントである畳み込み層の演算が，複数テンソル間の線形演算の表現方法であるテンソルネットワークによって記述できることを示す．次に畳み込み層の軽量化がテンソル分解によって特徴づけられること，またその分解方法もテンソルネットワークによって記述できることを示す．最後に可能な分解を探索することによって，予測精度と時間／空間複雑さのトレードオフを実験的に比較する．その結果，いくつかの非線形分解は既存の分解を凌駕することがわかった．なお，本原稿は著者らの論文1)を和訳しわかりやすく解説したものである．

Topics & Concepts