ニューロンの仕組み

形式ニューロン

参考：Wikipedia - ニューラルネットワーク

ニューロン（神経細胞）の働きを大雑把に見ると、多数の入力側の突起から受け取ったパルス信号が本体に集まり、 しきい値を超えると出力側にもパルス信号を送る、といったものになる。

形式ニューロンはニューロンの働きをモデル化したもので、入力 $x_1,\dots ,x_n$ に対して出力 $y$ を出力する。

入力はそれぞれ対応する $m_1,\dots ,m_n$ で重みづけられ、バイアス項 $b$と共に総和をとって活性化関数$f$に渡され、その結果が出力 $y$ となる。

次のように $\mathit{x},\mathit{m}$ を定義すると

$$\mathit{x}=\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)$$ $$\mathit{m}=\left(\begin{array}{ccc}{m}_1& \dots & m_n\end{array}\right)$$

$\mathit{m}\mathit{x}$を行列の積のように表せる。

$$\begin{array}{rcl}\mathit{m}\mathit{x}& =& m_1{x}_1+m_2{x}_2+\dots +m_n{x}_n\\ & =& \sum _{k=1}^n{m}_k{x}_k\end{array}$$

出力は次のように書ける

$$y=f(\mathit{m}\mathit{x}+b)$$

活性化関数

ステップ関数

$$f\left(x\right)=\{\begin{array}{cc}1& x\ge 0\\ 0& x<0\end{array}$$

※$x=0$で不連続になる

最初期のニューラルネットで使われたらしい。 ニューラルネットの学習時には、可変パラメーターである重みやバイアスで出力を微分した値を見て それらのパラメーターをどう動かすか決めていくことになる。 ところが、ステップ関数を微分するとほぼ全域で0になってしまうので学習に利用しづらいという欠点がある。

シグモイド関数

$$f\left(x\right)=\frac{1}{1+e^{-x}}$$ $$\frac{d}{dx}f\left(x\right)=\frac{e^{-x}}{{(1+e^{-x})}^2}$$

シグモイド関数は微分可能なので、出力をパラメーターで微分した値を見てパラメーターを調整する手法が使える。

また、シグモイド関数の導関数は元のシグモイド関数の組み合わせで表現できる。

$$\begin{array}{ccc}\frac{d}{dx}f\left(x\right)& =& \frac{e^{-x}}{{(1+e^{-x})}^2}\\ & =& \frac{1}{1+e^{-x}}-\frac{1}{{(1+e^{-x})}^2}\\ & =& \left(\frac{1}{1+e^{-x}}\right)\left(1\mathrm{-}\frac{1}{1+e^{-x}}\right)\\ & =& f\left(x\right)\left(1-f\left(x\right)\right)\end{array}$$

tanh関数

$$\tanh \left(x\right)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$ $$\frac{d}{dx}\tanh \left(x\right)=1-{(\tanh (x\left)\right)}^2$$

双曲線関数はシグモイド関数をちょうど下に伸ばした形をしている。シグモイド関数を $\sigma \left(x\right)$ とすると次のように書ける。

$$\tanh \left(x\right)=2\sigma (2x)-1$$

シグモイド関数と違って出力の中心がゼロとなるため、ある問題が起こりづらいらしい。 自分ではまだ分かっていないので、調べておく。

これらの活性化関数が「古典的」な活性化関数となるらしい。 より実用的な活性化関数もあるようだが、 ニューラルネットの仕組みを学ぶ段階ではまず古典的なものを使ってみる。