基底関数の線形結合ベースの学習手法は裸の王様

パーセプトロン、ニューラルネットワーク、ロジスティック回帰、サポートベクトルマシン…これらは全て何らかの基底関数の線形結合を用いて識別を行おうとするものであり、近似の万能性が数学的に証明される。だがヒルベルト空間みたいな贅沢な概念を前提とする。
一般に、理論は独立な前提が増えるほど言及能力を増すが適用範囲が減る(後者の側面に注目したとき、その前提を「制約条件」とも言う)。余計な前提はある意味有害なはずだオッカムの剃ということわざ(?)もありますし。
上記の学習器は学習能力が切れ味鋭く示されるものの、学習途中でのふるまいがギブス現象な感じでてんでダメという不治の病を抱え込むことになった。つまり適応的に徐々に強くなるということができない。おまけにパーセプトロンを除いて(最悪の)学習時間が特徴空間の次元(サポートベクトルマシンの場合は学習サンプル数)に対して指数的増加を示す(NP困難)(らしい)。その間学習以外の何も出来ないとわ！おまけにサポートベクトルマシンを除く単層ネットワークは学習精度の追求につれ必要な特徴空間の次元が学習サンプル数に対して指数関数的に増大するから学習時間も学習サンプル数に対して指数関数的に増加するし、特徴空間の次元を抑えるべく提案された多層ニューラルネットワークもBP学習アルゴリズムがNP完全と考えられているからあまり救いになりそうにない。唯一の希望はサポートベクトルマシン、と言いたいところだが(これは学習サンプル数に対して線形時間で学習が済む)、2クラス識別器しか現実的には構成できないので回帰問題(関数近似)には適用できない。何にせよ帯に長したすきに短しで、変なところで散々ミソがつく。
ホーア風に言うと「早まった理想化」による弊害とかそんな感じ？(←くどい
もっとこう、小学生でも説明すれば理解されるような簡単な前提で万能近似できるといいと思うしGMA0BNは9月以降そんなことばかり考えてたらしい。
もっとも「裸の王様」の寓話の真に恐ろしいところは、王様の裸を指摘する小学生も裸だったりするところだったりする、