IC693MDL645LT 第一個深度神經網絡，其主要特點包括：
使用ReLU作為激活函數；
提出在全連接層使用Dropout避免過擬合。注：當BN提出后，Dropout就被BN替代了；
由于GPU顯存太小，使用了兩個GPU，做法是在通道上分組；。
使用局部響應歸一化(Local Response Normalization --LRN)，在生物中存在側抑制現象，即被激活的神經元會抑制周圍的神經元。在這里的目的是讓局部響應值大的變得相對更大，并抑制其它響應值相對比較小的卷積核。例如，某特征在這一個卷積核中響應值比較大，則在其它相鄰卷積核中響應值會被抑制，這樣一來卷積核之間的相關性會變小。LRN結合ReLU，使得模型提高了一點多個百分點；
IC693MDL645LT
IC693MDL645LT
豫公網安備41010502000017號 
