ニューラルネットワークにおける恒常的なノイズの利用

汎化性能の向上，収束性の改善など，ニューラルネットワークの学習においてノイズは幅広い目的で利用されています． しかし，一端学習を終えてしまえばノイズはもう不要となり，その学習された写像を利用する際にはノイズが存在して良いことは一つもありません． 生き物は，常にノイズの影響下にある訳ですから，「常にノイズが入っている方が上手く動くニューラルネットワーク」を考えてみても面白いと思いませんか？ 私たちは，ノイズが加わることで中間層において確率共鳴を生じ，順方向の計算においては伝達される情報量が増え，また，逆方向の計算においては疑似的に勾配が計算できるようになるというメカニズムを利用することで，「常にノイズが入っている方が上手く動くニューラルネットワーク」の数理モデルを提案しています．

Reference

• Shuhei Ikemoto, Fabio DallaLibera, and Koh Hosoda, "Noise-modulated Neural Networks as an Application of Stochastic Resonance", Neurocomputing, Vol. 277, pp. 29-37, 2018.

ノイズを加えた領域がNNとして機能化される数理モデル

「生き物は常にノイズの影響下にある」という考え方を大事にするのであれば，「常にノイズが入っている方が上手く」よりも一歩進んで「ノイズが入っていないと動かない」を目指すのもチャレンジとして面白いはずです． 私たちは，上述の確率共鳴を利用するニューラルネットワークに対し，「ノイズが入っていない時，順方向の計算が決定論的にゼロになり，逆方向の計算（勾配）もまた決定論的にゼロになる」という特徴も与えた新しい数理モデルを提案しています． 「ノイズが入っていないと動かない」という特徴によって，この数理モデルでは，全体のネットワークの内，ノイズが入った領域だけがNNとして機能して利用できるという面白い特徴を持ち，ノイズを加える領域を徐々に変化させることで，異なる領域で学習した異なる写像を滑らかに補間するようなことができるようになります．

Reference

• Shuhei Ikemoto, "Noise-modulated neural networks for selectively functionalizing sub-networks by exploiting stochastic resonance", Neurocomputing, Vol.448, No.11, 2021.