ICLR作为机器学习领域的顶级国际会议,每年都吸引了全球众多顶尖学者和研究者的目光。2024的ICLR会议,将在5月7日至11日在奥地利的维也纳会展中心举行,现在会议论文审稿结果也已经出来了!
本届ICLR 2024共收到了7262篇提交论文,整体接收率约为31%,今天就从中选了10篇高分论文分享给大家,一起来看看机器学习领域最近的研究成果吧,这些论文不仅代表了当前学术研究的最高水平,也预示了未来人工智能技术的发展趋势!
扩散模型中的泛化来自于几何自适应的谐波表示
简述:本文发现,经过去噪训练的深度神经网络(DNN)即使在非重叠数据子集上也能学习到几乎相同的密度,这表明DNN具有强大的泛化能力,这种能力可能源于DNN架构和/或训练算法的强大归纳偏差,与数据分布属性一致。分析还显示,去噪器执行了收缩操作以适应底层图像结构,这些结构呈现沿轮廓和均匀区域的振荡谐波模式。即使在低维流形数据上训练,去噪器也显示出对这些几何自适应谐波表示的偏好。
复兴通道维度傅里叶变换用于图像增强
简述:本文提出了一种图像增强新方法,通过在通道维度上应用傅里叶变换来增强图像,包含三个步骤:在通道维度进行傅里叶变换,对结果进行处理,然后转换回空间域。研究人员还提出了三种不同的通道变换实现方式,并显示了它们与现有增强网络的无缝集成能力。在多项图像增强任务上的测试表明,这种方法能够显著提升性能,并建立高效模型。
贝叶斯线性逆问题的蒙特卡罗引导扩散
简述:本文中,研究人员利用基于分数的生成模型(SGM)的特定结构来解决一系列中间的线性逆问题,这些问题随着噪声水平的降低逐渐接近原始逆问题的目标后验。研究人员使用顺序蒙特卡洛(SMC)方法从这些后验序列中采样,提出的MCGDiff算法在理论上得到了证明,并在处理病态的贝叶斯逆问题时的数值模拟中展现了优于竞争基线的效果。
SDXL:改进高分辨率图像合成的潜在扩散模型
简述:本文提出了一种新的文本到图像合成潜在扩散模型SDXL,它比之前的Stable Diffusion版本拥有三倍大的UNet结构、新增的文本编码器以及更多的注意力机制。SDXL通过新颖的调节方案得到优化,能在不同比例下训练,并通过额外的图像精细化模型提升生成图像的质量。实验证明,SDXL在性能上有了大幅提升,能和顶尖的图像生成模型抗衡。
SyncDreamer:从单视图图像生成多视图一致性图像
简述:本文提出了SyncDreamer,一种新型的从单个视角图像生成多视角一致图像的扩散模型。为了解决保持几何和颜色连贯性的挑战,研究人员模拟了多视角图像的联合概率分布,并使用3D感知的特征注意力机制同步所有生成图像的中间状态。实验表明,SyncDreamer能够生成高度一致的图像,适用于新视角合成、文本到3D和图像到3D等3D生成任务。
视觉Transformer需要寄存器
简述:本文指出视觉Transformer(ViT)在有监督和自监督学习中出现的一些问题,特别是在图像的低信息区域产生的伪像,并提出了一种简单方法,通过添加额外令牌到输入序列来解决这些问题。这种方法提高了有监督和自监督模型的效果,为自监督视觉模型在密集视觉预测任务上创造了新纪录,并使得大型模型的对象发现成为可能。此外,它还改善了下游视觉处理中的特征图和注意力图的平滑性。
ClimODE:基于物理信息的神经常微分方程的气候预测
简述:本文提出了一个新的气候预测模型ClimODE,它结合了物理信息和神经ODE(神经网络和常微分方程)来模拟天气变化。与传统的数据驱动黑盒模型不同,ClimODE考虑了潜在的物理规律,并能够在预测中提供不确定性量化。这种方法在全球和区域气候预测方面超越了现有的技术,同时使用了更少的参数。
iTransformer:反相变压器对时间序列预测有效
简述:本文提出了iTransformer模型,它通过创新地调整了自注意力机制和前馈网络的作用。在这个模型中,注意力机制专注于抓取变量之间的相互关系,而前馈网络则负责提取每个变量的非线性特征。iTransformer在众多真实数据集上展现了优异性能,证明了其作为时间序列预测的强有力基础架构。
开放环境中鲁棒半监督学习的基准
简述:本文重新审视了稳健的半监督学习(SSL),指出以往研究只关注了局部稳健性。研究人员引入了稳健性分析曲线(RAC)及其度量来建立全新的研究框架,并用三种开放环境下的基准测试衡量不同SSL算法的性能。实验和理论分析显示了如何提高SSL算法在开放环境中的稳健性。
可微分轨迹优化作为强化和模仿学习的策略类
简述:本文提出了一种新的强化学习和模仿学习策略DiffTOP,通过可微轨迹优化来生成动作。这种方法允许端到端学习成本和动力学函数,解决了模型基于强化学习中的目标不匹配问题,并在模仿学习中通过测试时轨迹优化来计算动作,优于仅依赖策略网络的方法。DiffTOP在多个高维输入任务上超越了先前的最先进方法。
码字不易,欢迎大家点赞评论收藏!
关注下方《享享学AI》
回复【高分论文】获取完整论文
👇
?