3週間クッキング

ニューラルネットワークでニューロン数を固定せずに続々追加されるサンプルを全て学習し切る方法について考えを巡らせたが、ちょっと考えたらすぐ思いついた*1
シグモイド関数ベースのニューラルネットワークの場合、n次元のスカラー場における任意の「山」（極大点を1個だけ持つ超曲面）は高々2n個のニューロンで表現できる上に、その位置p、高さh、幅wは（基底関数の線形和の係数のダイナミックレンジが無制限なら）互いに独立に好きに設定できれ、ということは2階層のニューラルネットワーク（入力層＋出力ニューロン1個）においてはN個のサンプルは2nN+1個のニューロンで学習完了する。つまり特徴ベクトルが1億次元でサンプル数20億なら、高々4x10^17+1個のニューロンで事足りるし、入学したら漏れなく収束が保証されるていうか学習が反復不要で瞬時に終わるので比較的超光速というおまけつき
球面集中現象もこの場合非常に好都合に働く。なぜなら、アバウトなwでも異なるサンプル同士の干渉が起き難いことの根拠を与えてくれるから、つまり、新たなサンプルの追加学習は既存の学習をほとんど壊す危険無く行える。
とわいえこれは「記憶すれども汎化せず」ということ裏返しにすぎないから実用に供するにはもう20工夫ぐらい要る
どうするつもりかわしみつ
これわニューラルネットワークのオンライン学習アルゴリズムの再発見にすぎない木もするが、本屋で立ち読みする限り2階層NNの学習はパーセプトロンと同様にしてでくる、と書いてあるのばかりなのでじつわあまり知られていないのかもしれない、
ところでオンライン学習ってなんですか（・∀・）？

*1:3週間はimmediateにうち含める（GMA0BN比）。