模型训练出现 loss = nan

发布时间:2023年12月21日

问题:模型不管怎么调参数,损失均为 nan

换了模型层,换了损失函数,还检查了 loss 的计算方式。还在其他地方验证了 loss 计算正确。

问题定位:

我是在对数据集做了新的不同预处理才出现问题的,训练以前的预处理数据集不会出现此情况。
1.排除预处理 -------将保留两位小数注释掉,仍然出现 loss = nan,说明小数点不是引起的问题的关键原因
2.排除预处理 -------滤波函数注释掉,不会出现 loss = nan,说明问题出现在滤波函数。
3.排除特别信号--------引入单个信号不会出现 loss 问题,引入整个数据集出现 loss = nan,说明可能是某段信号出现问题或者模型拟合不了整个数据集。

重新预处理数据集进行滤波,发现数据集中某个信号会出现代码警告,当时以为问题不大现在看就是这里的问题:

04015采集完成  44001  44001
C:\Users\xxx\.conda\envs\py110_py38\lib\site-packages\pywt\_thresholding.py:23: RuntimeWarning: invalid value encountered in true_divide
  thresholded = (1 - value/magnitude)
04043采集完成  105912  105912

现在将出现问题的信号04043 隔离训练。
发现只要将 04043号信号送入模型就会出现 loss = nan,其他信号均不会出现 loss = nan

解决问题

进入报错位置,思考是 小波变换库 pywt 阈值函数出现了问题,下面第三行代码处,出现了 除 0错误。

  # 进入文件
.conda\envs\py110_py38\lib\site-packages\pywt\_thresholding.py:23

  # 查看代码
with np.errstate(divide='ignore'):
    # divide by zero okay as np.inf values get clipped, so ignore warning.
    thresholded = (1 - value/magnitude)
    thresholded.clip(min=0, max=None, out=thresholded)
    thresholded = data * thresholded
   
 # 直接修改库代码
 thresholded = (1 - value/magnitude)  修改为  thresholded = (1 - value/(magnitude + 1e-09))

重新生成滤波数据集,问题解决。

04015采集完成  44001  44001
04043采集完成  105912  105912

数据集生成过程,不再报错,现在送入模型 loss 重新出现。科研的光芒!!!!!!!!

Epoch:1  , ACC on test:0.3064353168, loss:0.0006997338 time:111.33 s
Epoch:2  , ACC on test:0.4708186388, loss:0.0006386279 time:76.33 s
Epoch:1  , ACC on test:0.6548216343, loss:0.0006988451 time:92.72 s
Epoch:2  , ACC on test:0.4710667729, loss:0.0006125508 time:83.54 s
Epoch:3  , ACC on test:0.9052868485, loss:0.0004726056 time:84.26 s

问题解决!!!!!!!

文章来源:https://blog.csdn.net/LQ_001/article/details/135130828
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。