AI（人工知能）の世界最高峰の国際会議「AAAI-24」に採択～フーリエ変換を使った新しい画像認識手法を開発～
■研究背景
近年、この問題を回避できる手法として、注意機構に代わる高速フーリエ変換ベースの仕組みであるグローバルフィルタが提案されています。グローバルフィルタは注意機構と同様に長距離の空間依存性を学習することができます。この手法は、高速フーリエ変換、周波数領域における要素ごとの掛け算、逆高速フーリエ変換で構成されています。シンプルなこの手法は、注意機構とは異なり、解像度が増えても、大量のメモリを必要とすることもなく、計算量も穏やかに増加するのみです。しかしながら、グローバルフィルタは最先端の性能を達成しているとは言い難い現状がありました。
■研究成果
本研究では、グローバルフィルタと注意機構の隔たりに注目し、その隔たりを埋めた動的フィルタを提案しました。グローバルフィルタはデータとパラメータを掛け合わせるため、データに依存しない演算です。対照的に、注意機構は個別の重み付けを計算するため、データに依存する演算です。このように、グローバルフィルタと注意機構にはデータに依存するか否かの差分があります。
そこで、データに掛け合わせるフィルタを動的に生成する仕組み「動的フィルタ」を導入しました。動的フィルタは、データに応じて重みを計算し、その重みと少数の基底フィルタから、データに応じたフィルタを生成します。このような方法を採用することで、グローバルフィルタの利点を享受したまま、注意機構のようなデータ依存性を実現できます。
次に、提案手法の動的フィルタを取り入れたDFFormerと、動的フィルタと畳み込みニューラルネットを併用したCDFFormerという新たな画像認識モデルを提案しました。グローバルフィルタと注意機構の間には、そのものの差だけでなく、それらを採用しているよりマクロなアーキテクチャの間にも差がありました。この差を埋めるために、最先端の精度を達成したアーキテクチャの上に動的フィルタを搭載し、フェアな比較の下で動的フィルタの有用性を確認しました。これらのモデルは注意機構を利用しない先端的な画像認識モデルに対して、競争的な精度を達成しています。そして、注意機構を使用する最先端のモデルに対しては、従来よりも精度が近づいており、先述の注意機構に関する問題を克服しています。つまり、高解像度の画像認識において、グローバルフィルタと同様に、提案手法は相対的に少ないメモリ消費や計算時間で済むという特長を有しています。
【添付：動的フィルタのイメージ】
■今後の展望
■キーワード
・コンピュータビジョン：コンピュータに画像の認識や処理を行わせる分野。
・注意機構：深層学習モデルが重要な情報を自身で判断して、そこに注意を集中させてデータを理解する仕組み。生物が重要な情報だけに注意を向けて、対象を認識する様子の模倣。
・畳み込み：局所的な情報を集約することで、画像などから情報抽出をする手法。一種のフィルタリング。
・畳み込みニューラルネット：畳み込みを使った画像に特化したニューラルネット。
・フーリエ変換：音声や画像のような信号を異なる周波数の成分に分解する数学的手法。
・高速フーリエ変換：フーリエ変換を効率的に計算するアルゴリズム。
■論文情報
・著者：Yuki Tatsunami, Masato Taki
・論文リンク： https://arxiv.org/abs/2303.03932
■人工知能科学研究科 瀧雅人研究室について
本件に関するお問い合わせ先
立教大学総長室広報課
- koho@rikkyo.ac.jp