ニューラルネットワークに何かを学習させるとき、重みベクトルの系列{ w_i }の初期値と個数を適当に決めてあとばBPにまかせる、というのは全くの神頼み運頼みであって学習を完遂する保証がないという点で理性ある行為とは言えない希ガスすることは論をまたな…

われわれが観測するR250の指し筋は良手と悪手が混合したものの平均だが、T(x)の分解能を高めると悪手がフィルタされて学習結果の平均レベルが上がるため、と考えれば定性的に辻褄が合う（ﾏﾃとりとめもなく終わる

なんで突如ロジスティック回帰やニューラルネットワークの話を始めたのかというと、前回エントリに書いた内容でそこそこ効率よくて調整フリーな無制限の探索ブートストラッピングが可能になったわけだが*1、別の場所にしわ寄せが来てて悩み中のため、 これが…

式を見れば一目瞭然だる。 単一ニューロンi (i=1,2,...,m)の表式は、重みベクトルw_i=(w_i_1,w_i_2,w_i_3,...,w_i_n, b_i)(b_iは定数)、特徴ベクトルx=(x_1,x_2,x_3,...,x_n, 1)、^Tで転置を表すとして、 出力y_i(x) = φ(w_i・x^T) ここでφ()はシグモイド関…

ロジスティック関数を使った使った2クラス識別を考える。 例えばn個の標本系列{ x_n }の内訳がM:Nの割合でクラスC_1とクラスC_2だったとしてそうなった隠れた前提がB(θ)だったとすると、{ x_n }が観測される確率は Pr( { x_n }が生起 | B(θ) ) = Pr( (C1がM…

ここは漏れの日記帳だ 将棋の局面は（膨大ではあるが）有限個なので、どういう切り口で確率を調べるにしても離散確率分布で記述可能な量しか現れないハズ。 ここでは将棋の局面や指し手やそのバックグラウンドにしか興味がないので、以下離散確率分布のみ考…