Hinton：膠囊網路的專利是我的了

2020-09-24 04:21:08

作者 | 陳大鑫

昨日，Reddit上有熱心網友發現深度學習之父、圖靈獎得主Hinton等人為膠囊(神經)網路申請了專利，該專利於2017年12月15日提交，於今年9月10日在網上釋出，目前還未正式生效，但是相信這只是時間問題。

LSTM 之父Jürgen Schmidhuber一直在懟三巨頭說他們不是深度學習真正的發明人，不管事情真相如何，但是這次，Hinton可以自信地說：膠囊網路的專利是我的了！

從上面專利圖示可以看出，第一發明人即是Hinton本人，其他兩位發明人也均是膠囊網路最初發表在NIPS 2017上論文的共同作者：

接下來首先簡單瞭解一下這項專利及其膠囊網路。

1 專利&膠囊網路

專利摘要:

本專利適用於為接收網路輸入以及進行網路輸出用到膠囊網路的神經網路方法、系統、裝置，包括在計算機儲存介質上編碼的計算機程式。

這裡說的的程式具體涵蓋多大範圍呢？

在專利[0112]一段有詳細說明：這裡的計算機程式指的是隻要是任何形式任何語言，能被程式、軟體、軟體應用、APP、軟體模組、指令碼、程式碼等等描述出來的........

接著說網路，以上所述的神經網路包括順序排列的多個網路層、包括多個膠囊網路層被配置為接收各個輸入和輸出：

1、由序列中特定膠囊網路層之前的先前膠囊網路層的膠囊生成的輸出：

2、 在前一膠囊網路層的膠囊層和特定膠囊層之間的最終路由因子（routing factors），其中最終路由因子由路由子系統生成。

特定膠囊層中的每個特定膠囊被配置為基於所接收的輸入確定特定膠囊輸出，其中所述的特定膠囊網路層輸出的尺寸大於1:

完整專利圖示：

膠囊網路簡述

Hinton在2017年提出了CapsNet，其設想啟發自腦皮層微柱結構，旨在解決CNN的資訊丟失問題。

平移對稱性原本是CNN的優點，但CNN將其泛化到了物體本身，從而導致不保持相對位置的元素組合也能被識別為同一物體。

如下圖所示，左邊和右邊都能被CNN識別為一張人臉。池化操作也會導致資訊丟失，Hinton曾經說過，“卷積神經網路中使用的池化操作是一個很大的錯誤，它執行良好的事實是一場災難” 。

CapsNet可以保留影像的所有資訊，不僅包括位置，還有姿勢、紋理等等，其中動態路由演算法可以讓網路的低層和高層之間更好地傳遞資訊，保留影像區域性和全域性之間的關係，從而克服上圖中的問題。

膠囊網路（CapsNet）包含一個編碼器和一個解碼器。

編碼器架構：

解碼器架構：

此外，新增重構分支也使得CapsNet更加魯棒，CapsNet在MNIST上獲得了很好的表現：

CapsNet內部的動態路由演算法:

CapsNet的計算量更大，在MNIST上的表現更好，但是在較大的資料集比如CIFAR-10上表現明顯差於CNN。

更多有關膠囊網路的介紹，請移步“Hinton AAAI2020 演講：這次終於把膠囊網路做對了”一文。

2 AI專利回顧

谷歌AI專利

同樣是Hinton，在2019年6月的時候，Hinton所在的谷歌公司為Hinton在2012 年提出的對防止過擬合有很好的效果的Dropout演算法申請了專利且已經生效。

在Google Patents上Dropout專利詳情頁面中我們可以看到Dropout技術目前的專利權受讓人（Current Assignee，即專利所有權人）歸谷歌所有:

2020年6月，谷歌又申請了一項AI演算法專利：《Using embedding functions with a deep network》，這一次的主要大牛是Jeffrey Dean。

Hinton本人專利

其實從網站patents.justia.com上可以看到，Hinton本人共申請了24項AI演算法專利，大部分的專利受讓人都是谷歌，以下是最近的兩個專利，第一個便是膠囊網路：

DeepMind公佈的AI專利

以下列舉一些DeepMind申請過的包含RNN在內的專利，自 2016 年 9 月至 12 月期間幾乎每週都有 1 份申請：

• Generating Audio using neural networks

• Processing sequences using convolutional neural networks

• Generating video frames using neural networks

• Neural networks for selecting actions to be performed by a robotic agent"

• Processing text sequences using neural networks

• Training action selection using neural networks

• Reinforcement learning systems

• Scene understanding and generation using neural networks

• Recurrent neural networks

• Sequence transduction neural networks

• Reinforcement learning with auxiliary tasks

• Environment navigation using reinforcement learning

以上資料來源：

https://ipkitten.blogspot.com/2018/06/deepmind-first-major-ai-patent-filings.html

3 專利相關討論

在Reddit上，有網友質疑：

AI演算法背後不就是一些數學公式嗎，這也能被申請專利？

圖注：膠囊網路所涉及的數學公式

而隨即就有網友回覆到:

一切科學和工程背後都是數學，照你這樣說，大家都不用申專利了......

仔細回想一下，如果微積分也能申請專利且沒有年限，那牛頓和萊布尼茨的棺材板可就真的壓不住了，這倆人不得富到天上去~

害！要是真這樣算起來，那發明阿拉伯數字的古印度人、二維碼的發明人、網際網路的發明人等等豈不是血虧......

那有靠演算法專利賺到錢的嗎？

谷歌的PageRank演算法就是最好的例子，當然，這項專利只是鋪墊，一家公司的成功涉及到的方面非常複雜，不是說單單隻靠演算法專利就能賺到大錢的。

2019年7 月 10 日，Google AI 負責人Jeff Dean，以及谷歌幾位研究人員在日本東京有一次分享會。

在分享會現場，Jeff Dean 親自為谷歌為多個AI演算法申請專利的情況首次進行了說明，他表示：

這些AI演算法的專利是防禦性質的，主要是為了防止谷歌研究人員的成果被他人申請專利後進行碰瓷，這樣做是為了避免產生經濟損失。

Jeff Dean 明確表示：

谷歌不會利用這些專利進行盈利，也不會使用AI演算法的專利來攻擊別的公司。

這不禁讓人想起了谷歌眾所周知的不作惡原則：

令人遺憾的是，在18年的時候，谷歌因與五角大樓開展了軍事合作：

谷歌員工抗議成不願成為“殺人武器”，谷歌不作惡的原則在隨後也被廢除。

所以說，谷歌不會用AI演算法專利進行盈利的保證也不可一直當真，畢竟商業的本質，你懂得......

最後，AI科技評論曾在今年一月份報導過“谷歌獲批GAN專利，一整套對抗訓練網路被收入囊中”，其中，專利發明人有“花書”作者、GAN發明人（存疑）Ian J. Goodfellow，Szegedy, Christian，谷歌同樣作為受讓人擁有專利權。

南京大學人工智慧學院院長周志華教授曾對此評論道：

此類演算法模型工作在國內基本申請不到專利，通常被判為“智力活動不屬於專利保護範圍”，需要包裝成一個“具體裝置”才能通過，然而一旦具體到某個裝置上，其保護範圍呵呵。。。我國的專利審批應該跟美國對等起來，否則將來吃大虧。