Learning Rate在Neural Network的作用

今天，我為了下面這條公式，思索了一整天，然後回想起，學生時代，微積分以及線性代數的種種有趣的事情。這或許是在這把年紀，學習Neural Network的有趣之處吧！

此公式出自於「Make Your Own Neural Network」這本書。想不透Learning Rate在其中的作用？也搞不懂，新的weight，為何要靠這條公式調整？現在，我懂了。

感謝Apple Pencil，幫我畫出下面幾張圖，弄清了思路。此公式的目的是，不斷調整w的值，直到找到最小的E值為止。用下圖來表達，就很清楚了。

為何此公式可以找到最小的E值？我畫出下面這張表格。

它是靠斜率。斜率越大，w的調整幅度就越大，反之就愈小，非常直觀。大家應該有爬過山，下山時，是不是遇到陡坡，跨的步伐就變大，到了平地，步伐就變小。這就是表格第2行想要表達的意思。

可以試一下矇眼下山。一開始遇到的坡，斜率是3，感覺步伐變大，為3。接下來遇到斜率是1的坡，步伐就變成1。最後是斜率1/3的坡，步伐變小，為1/3。雙腳應該感覺應該接近平地了吧。

那麼，為何該公式要有Learning Rate呢？其作用在於，讓我們在下山的時候，不要走太快，除了會傷膝蓋，也會錯過一些風景。這就是表格第3行所要表達的意思。大家自己去看，我就不多做解釋了。

我要稱讚「Make Your Own Neural Network」這本書，淺顯易懂。但不能因為這樣，就隨便翻，以為自己讀完了，反而會忽略了一些值得花時間研究的東西，這是不是Learning Rate給我們的啟發呢？

-Count