二、基于图像和结构化数据多模态融合的回归预测网络【框图讲解+源码】

发布时间：2023年12月26日

整理读研期间做的项目与日常小实验
本篇未完待续…代码部分整理后补充

0. 背景

实验室有一些材料的SEM（扫描电镜）图像、也有对应的组分信息（结构化数据，包含类别特征和连续的数值特征），以及对应的力学性能指标。
当时看多模态论文比较多，便想着既然有数据，正好可以用这些数据练习一下，于是，搭建一个多模态融合的模型，融合图像信息和材料的组分信息两种模态的数据信息，进行回归预测。

1. 网络结构

搭建的多模态融合模型框架如下图所示：
在这里插入图片描述

网络模型如下图所示：

网络结构

2. 结构分析

2.1 CBAM模块

CBAM模块如下：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2.2 网络A结构

在这里插入图片描述

2.3 网络B结构

在这里插入图片描述

2.4 AdaptiveFusion结构

(1) 结构1

在这里插入图片描述
在这里插入图片描述

(2) 结构2

Concat or Sum

(3) 结构3

MHSA
在这里插入图片描述

3. 代码

pass

附录1、CNN卷积层特征图可视化

下图为SEM图像中间特征层的可视化效果：
在这里插入图片描述
实现代码可以参考下面：
【卷积神经网络卷积层提取的特征图可视化】

pass
文章来源:https://blog.csdn.net/rayso9898/article/details/135232732
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章