【研究成果】新田徹教授らが共著の研究論文を国際会議「ICML 2026」で発表～朝日新聞社と取り組み、AIモデルの高速化に貢献する新手法を提案～
概要
- 朝日新聞社メディア研究開発センターと新田徹教授が共同で執筆した論文が国際会議「ICML 2026」で発表されました。
- 従来手法では、四元数を構成する4つの成分ごとに個別の計算とソフトマックス処理を行っていましたが、4成分が実際に注目する箇所の一致率はわずか3.83％にとどまり、成分ごとの独立した計算が精度向上にほとんど寄与していないことを突き止めました。
- この知見をもとに、4成分に共通する1つのスコアだけを計算する「共有スコア方式」を提案し、計算に必要な掛け算の回数を75％、ソフトマックス処理の回数を4分の1に削減しながら、従来手法と同等の性能を維持することに成功しました。
- 音声の雑音除去タスクでは、GPU上で最大44.3％、CPU上で最大58.1％の処理時間短縮を達成し、画像認識・自然言語処理でも同様の効果を確認しました。
- 東京女子大学 新田徹教授は、四元数ニューラルネットワークに関する理論面の知見を提供し、研究アドバイザーとして本研究に貢献しました。
背景
ニューラルネットワーク（NN）はAIモデルの基盤となる技術です。これを四元数（4次元に拡張した複素数）で表現した「四元数NN」は、実数をベースとしたNNに比べて少ないパラメーター数で表現でき、音声などの信号処理と相性が良いことが先行研究で示されていました。しかし、四元数NNに注意機構（アテンション）を組み込む従来手法（Tay et al., 2019）は、四元数を構成する4つの成分それぞれに独立した計算とソフトマックス処理を適用するため、実数同士の掛け算が16回、ソフトマックス処理が4回必要となり、計算コストが大きいという課題がありました。
本研究では、四元数NN研究の分野で理論的知見を有している新田徹教授の助言のもと、この4成分が実際にどのように機能しているか研究チームによる詳細な分析が行われました。その結果、4成分がそれぞれ注目する位置（アテンション先）が一致する割合は平均でわずか3.83％にとどまり、成分ごとに個別に計算する設計が性能向上に十分に活かされていないことが明らかになりました。
研究成果
この分析を踏まえて研究チームは、4成分に共通する1つの実数値スコア（四元数の内積）のみを計算し、単一の注意分布を4成分すべてに共有させる新手法「Quaternion Self-Attention with Shared Scores（共有スコアを用いた四元数自己注意機構）」を提案しました。数学的な理論解析により、四元数の線形変換を用いる限り、成分ごとに独立した計算を行っても共有スコア方式と同じ「相互作用の範囲」にとどまることを証明し、成分ごとの独立計算が本質的な表現力の拡張には寄与していないことを裏付けました。この手法により、スコア計算に必要な掛け算の回数を従来の16回から4回に（75％削減）、ソフトマックス処理を4回から1回に削減しました。
また、音声の雑音除去タスク（VoiceBank＋DEMANDおよびDNS-Challenge 3の2つのデータセットを使用）で評価した結果、音声品質や明瞭度などの指標で従来手法と同等の性能を維持しながら、GPU上での処理時間を最大44.3％、CPU上での処理時間を最大58.1％削減することに成功しました。さらに、画像分類（CIFAR-100）や自然言語の感情分析（SST-2）といった異なる分野のタスクでも、精度を維持しながら学習・推論の高速化（それぞれ最大1.40倍、1.37倍）を確認し、本手法が音声処理に限らず幅広い分野で有効であることを示しました。
今後の展開
朝日新聞社では、今回の提案手法を音声や画像などの信号処理に応用し、取材音声の文字起こしや大量の写真・動画解析といった報道現場への活用を検討していく予定です。研究チームは今後、より大規模なモデルや長い系列を扱うタスクへの適用可能性、雑音環境や多数の話者が存在するより複雑な条件での頑健性、エッジデバイスへの実装などを課題として取り組む方針です。東京女子大学の新田徹教授も、四元数ニューラルネットワークの理論研究をさらに発展させ、情報数理科学分野における産学連携の一例として研究を継続します。
論文情報
【論文名】Quaternion Self-Attention with Shared Scores（邦題：共有スコアを用いた四元数自己注意機構）
【著者名（所属）】山内 将吾（朝日新聞社）、新田 徹（東京女子大学 現代教養学部 情報数理科学科 教授）、田森 秀明（朝日新聞社）
【掲載】Proceedings of the Forty-Third International Conference on Machine Learning (ICML 2026), Seoul, South Korea, July 2026.
【プレプリント（arXiv）】https://arxiv.org/pdf/2605.24920
本件に関するお問い合わせ先
東京女子大学
広報課
- 住所
- 〒167-8585 東京都杉並区善福寺2-6-1
- TEL
- 03-5382-6476
- FAX
- 03-3395-1212
- pr@list.twcu.ac.jp