深度学习技术栈 —— 用Pytorch搭建神经网络识别数字(Kaggle实战)

发布时间:2024年01月20日

一、项目信息

Kaggle比赛地址:Digit Recognizer - Kaggle

1.1 参考文章

1.1 参考文章或视频链接
[1] 纯手写:《纯Python搭建神经网络并进行数字识别 》
[2] Keras:《用Keras搭建神经网络 》
[3] Kaggle金牌Pytorch,本文的代码来源:Pytorch Tutorial for Deep Learning Lovers
如果你访问较慢的话,我也上传了一份到CSDN中,0积分******

二、搭建过程

2.1 逻辑回归

这种方式非常的原始

2.2 Artificial Neural Network (ANN)

也就是全连接神经网络,只不过多加了几层。

2.3 Convolutional Neural Network (CNN)

卷积神经网络,在第2000轮迭代时,就达到了98%的准确率。

2.4 训练过程总结

详细代码过程我就不再赘述了,网上有很多关于逻辑回归,神经网络及CNN的代码与讲解。

# (1) creating the model class.
model = CNNModel() # Create CNN

# (2) creating loss func.
error = nn.CrossEntropyLoss() # Cross Entropy Loss 

# (3) creating a optimizer.
learning_rate = 0.1
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate) # SGD Optimizer

# 训练过程
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
        
        # Variable是 PyTorch 中的一个类,用于表示张量(Tensor),即深度学习中的多维数据。
        train = Variable(images.view(100,1,28,28))
        labels = Variable(labels)
        
        # Clear gradients。清空梯度,固定套路模板。
        optimizer.zero_grad()
        
        # Forward propagation,根据你模型的不同,这里千变万化。
        outputs = model(train)
        
        # Calculate softmax and ross entropy loss。监督学习中计算误差,固定套路模板。
        loss = error(outputs, labels)
        
        # 当调用loss.backward()函数时,它会计算损失函数对每个参数的梯度,
        # 并将梯度存储在参数的grad属性中。然后,optimizer.step()函数会访问参数的grad属性,并根据学习率来更新参数的值
        # Calculating gradients。误差的反向传播,固定套路模板。
        loss.backward() # This loss value is used to output, but why need to be backward?
        
        # Update parameters。根据梯度值,更新权重参数,固定套路模板。
        optimizer.step()

总结下来总共有四步是雷打不动的。

# 训练过程
for epoch in range(num_epochs):
    for i, (images, labels) in enumerate(train_loader):
    		# data...
   
    	# 1.清空梯度
        optimizer.zero_grad()
		
			# your model operation
		
		# 2.计算误差
        loss = error(outputs, labels)
      
        # 3.反向传播
        loss.backward()
      
        # 4.更新权重矩阵
        optimizer.step()

---------------------------------------------------------------------------------------------------------------------------------------------------------------------

文章来源:https://blog.csdn.net/weixin_44327736/article/details/135588878
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。