2017年3月21日 星期二

Learning Rate在Neural Network的作用

今天,我為了下面這條公式,思索了一整天,然後回想起,學生時代,微積分以及線性代數的種種有趣的事情。這或許是在這把年紀,學習Neural Network的有趣之處吧!



此公式出自於「Make Your Own Neural Network」這本書。想不透Learning Rate在其中的作用?也搞不懂,新的weight,為何要靠這條公式調整?現在,我懂了。

感謝Apple Pencil,幫我畫出下面幾張圖,弄清了思路。此公式的目的是,不斷調整w的值,直到找到最小的E值為止。用下圖來表達,就很清楚了。



為何此公式可以找到最小的E值?我畫出下面這張表格。



它是靠斜率。斜率越大,w的調整幅度就越大,反之就愈小,非常直觀。大家應該有爬過山,下山時,是不是遇到陡坡,跨的步伐就變大,到了平地,步伐就變小。這就是表格第2行想要表達的意思。

可以試一下矇眼下山。一開始遇到的坡,斜率是3,感覺步伐變大,為3。接下來遇到斜率是1的坡,步伐就變成1。最後是斜率1/3的坡,步伐變小,為1/3。雙腳應該感覺應該接近平地了吧。

那麼,為何該公式要有Learning Rate呢?其作用在於,讓我們在下山的時候,不要走太快,除了會傷膝蓋,也會錯過一些風景。這就是表格第3行所要表達的意思。大家自己去看,我就不多做解釋了。

我要稱讚「Make Your Own Neural Network」這本書,淺顯易懂。但不能因為這樣,就隨便翻,以為自己讀完了,反而會忽略了一些值得花時間研究的東西,這是不是Learning Rate給我們的啟發呢?

-Count

沒有留言:

張貼留言