24/76AlexNet

AlexNet

几何学
抽取特征。
描述几何。（例如多相机）
凸优化。
漂亮定理。
如果假设满足了，效果很好。

特征工程是关键。
特征描述子：SIFT，SURF。
视觉词袋（聚类）。
最后用SVM。

AlexNet是更大更深的LeNet，10×参数个数，260×计算复杂度。
新增了丢弃法，ReLu，最大池化层和数据增强。
AlexNet赢下了2012ImageNet竞赛后，标志着新的一轮神经网络热潮的开始。

import torch
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
from d2l import torch as d2l
from torch import nn
import matplotlib.pyplot as plt
net=nn.Sequential(
    nn.Conv2d(1,96,kernel_size=11,stride=4,padding=1),nn.ReLU(),
    nn.MaxPool2d(kernel_size=3,stride=2),
    nn.Conv2d(96,256,kernel_size=5,padding=2),nn.ReLU(),
    nn.MaxPool2d(kernel_size=3,stride=2),
    nn.Conv2d(256,384,kernel_size=3,padding=1),nn.ReLU(),
    nn.Conv2d(384,384,kernel_size=3,padding=1),nn.ReLU(),
    nn.Conv2d(384,256,kernel_size=3,padding=1),nn.ReLU(),
    nn.MaxPool2d(kernel_size=3, stride=2),nn.Flatten(),
    nn.Linear(6400,4096),nn.ReLU(),nn.Dropout(p=0.5),
    nn.Linear(4096,4096),nn.ReLU(),nn.Dropout(p=0.5),
    nn.Linear(4096,10)
)

X=torch.randn(1,1,224,224)
for layer in net:
    X=layer(X)
    print(layer.__class__.__name__,'Output shape:\t',X.shape)

#fashionMNist重调大小
batch_size=128
train_iter,test_iter=d2l.load_data_fashion_mnist(batch_size,resize=224)

lr=0.01
num_epochs=10
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu(0))
plt.show()

#loss 0.331, train acc 0.880, test acc 0.883
#1389.2 examples/sec on cuda:0

#10：43开始，差不多十分钟
# loss 0.326, train acc 0.881, test acc 0.880
#1393.1 examples/sec on cuda:0