Learning to See in the Dark_CVPR2018

发布时间:2023年12月29日

论文地址

参考资料
https://cchen156.github.io/SID.html
【笔记记录于20231229 周五 16:25】
BR:资料看到这里差不多了,找代码测试效果。
队友反馈代码用的tensorflow 1.0 的包,太老没法测试,打算还是趁着元旦找找资料

Abstract

1、低光照图像的挑战:低光子计数导致了低信噪比。
2、本文工作针对性解决极端低光成像问题,更具体的:照明严重受限(如月光)&短曝光(理想情况是视频速率)。
3、构建了短曝光+长曝光 raw 数据集。

BR:貌似是 AIISP 的先驱

1、Introduction

在这里插入图片描述
环境照度小于 0.1 lux 时,(a)完全看不到内容,(b)场景的内容可辨别,但图像暗淡&有噪声&颜色失真。(ISO 增大,图像变亮,噪声也放大)

本文方法
1、使用深度学习网络解决低照图像去噪问题,取代了 raw 图的 ISP 处理流程(包括颜色变换、去马赛克、降噪和图像增强)。端到端训练避免噪声放大和误差积累。
2、构建低照 raw 数据集。成对数据,分别进行短曝光和长曝光(TBD:长曝光也是raw数据吗??)
3、方法测试结果:低光图像亮度提升高达300倍,成功降噪&色彩转换正确。(PUZZLE:是真的吗?)

2、Related Work

图像去噪

  • 小波域处理、稀疏编码、核范数最小化和三维变换域滤波(BM3D):通常基于特定的图像先验,如平滑性、稀疏性、低秩或自相似性
  • 深度学习方法(stacked sparse denoising auto-encoders (SSDA)、trainable nonlinear reaction diffusion (TNRD) ):在合成数据集上表现不错,但真实数据集比不过 BM3D
  • 多图去噪方法:对来自同一场景的一组图像进行降噪。它通常有效,但 pipeline 很复杂,包括参考图像选择(lucky image)和图像之间的密集对应估计。

弱光图像增强

  • 直方图均衡
  • 伽马校正:提升暗部的亮度&压缩亮部
  • 逆暗通道先验、小波变换、Retinex模型和照度图估计

噪声图像数据集

  • RENOIR dataset:对真实噪声图像进行基准去噪。有文献指出,RENOIR 的图像对表现出空间错位
  • 在低光照条件下使用 burst image 来降低噪声,但相关数据集不包含可靠的地面真值数据
  • Google HDR+ dataset:不针对极弱光成像,数据集中的大多数图像都是在白天拍摄的。
  • Darmstadt Noise Dataset :旨在解决去噪界对真实数据的需求,但这些图像是在白天捕获的,不适合评估低光图像处理。
  • 据我们所知,目前还没有包含原始低光图像和相应地面真实度的公共数据集。So here we come.

3、See-in-the-Dark Dataset

1、共 5094 张短曝光 raw 图,每张都有对应的长曝光真值
2、收集了短曝光图像序列来评估 burst 去噪方法(TBD:不懂)
在这里插入图片描述

4、Method

4.1 Pipeline

在这里插入图片描述

1、本文方法在 raw sensor data上操作,输出 RGB 图
2、卷积层用 FCN 实现,验证方法可行后做了优化,替换为多尺度上下文聚合网络 CAN(muti-scale context aggregation network)和 Unet。

  • 残差连接的方式测试效果一般,没采用。
  • GPU 上处理全分辨率图(TBD:这也可以?)
  • 默认框架 Unet

3、amplification ratio γ 决定输出图像的亮度,见下图。 γ 是外部参数,可以人为设定(和相机的 ISO 一样)

在这里插入图片描述

4.2 Training

文章来源:https://blog.csdn.net/lwqian102112/article/details/135280636
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。