本篇要探討的是，如何挑選一個可以取代Step Function的Sigmoid Function？這個問題，似乎是有點吹毛求疵，因為專家說，使用Sigmoid Function就沒錯了，聽專家的話，就對了。但我就是好奇，發明Neural Network的人是如何知道要用Sigmoid Function？應該不是憑空想出來的。
南宋哲學家，朱熹，提倡「格物致知」。我的解釋是，光聽專家的意見，或看書是不夠的，要用批判的心態去質疑。因為透過書或專家的解釋，那是二手的，有時候自己會以為書上寫的很清楚，會容易誤以為自己真的了解，嚴重者是獲得錯誤的知識，而產生錯誤的認知，可能會影響一輩子。所以，沒有去做一些「格物致知」功夫，書讀再多也是枉然。
講了這麼多，無非是想大家知道，本人不是沒事找渣，是為了「格物致知」。古代人「格」事物，能用的工具有限。現代人，可以用的工具就很多了。
剛開始去理解Sigmoid Function時，發現有兩個部份要「格」，公式和曲線圖。更進一步「格」，發現，公式不是目的，曲線圖才是目的。發明Neural Network的人，認為Step Function太陡了，需要一個平滑的曲線。如果我是發明Neural Network的人，憑自己的才智，無法馬上想到公式，而是先畫出一個心目中希望出現的曲線出來，然後再從這個曲線，找出能夠套用它的公式。可能不只一個公式，但盡量找到一個簡單的公式給大家或電腦用。
當然，我看過這個公式長什麼樣子，已經先知道答案了，所以從曲線「格」出公式，有作幣的嫌疑。但從「格」的過程，可以幫助我了解公式的原理，而不光是死記公式。
首先，把想要的曲線畫出來。希望的曲線是，保留Step Function的大部份特性，亦即x<<0時y=0、x=0時y=1/2、x>>0時y=1，但是要平滑。
然後就用下面的表格，把公式「格」出來。
先把 y = 0, 1/2, 1 放到表格的第一列，從這一列開始「格」公式。經過步驟1和2之後，產生表格的第3列，公式就快浮出水面了。於是這個問題，就簡化為，找格∞, 1, 0的公式，這就是經由步驟3後，產生表格的第4列。
印象中，很像之前學過的y = e^x，不過它的值倒過來，是0, 1, ∞。這就是經由步驟4，產生的第5列。而符合第5列的公式，就是e^x，這就是步驟5的結果。為何選e？不選其它的數字？這可能是e有些有趣的特性，導致大部份的數學家喜歡使用它來建立公式。
接下來，我們就往表格的上方走。經由步驟6，產生e^(-x)，因為它是左右對稱的。最後是步驟7，將e^(-x)放進右下角那塊存放∞, 1, 0值的區域。於是，Sigmoid Function就被「格」出來了。
在「Make Your Own Neural Network」這本書提到，Step Function有Threshold，可是Sigmoid Function似乎沒有考慮到Threshold？這是我的疑點，下次再去「格」它。
本篇，是我去「格」Sigmoid Function的心路歷程。當然，講給大家聽，就變成「二手」的。其中一個目的，是希望讓大家知道，如何「格物致之」。當然，大家還是要去質疑，其中的對錯。
-Count
不錯的文章。
回覆刪除