基于PCA-WA（Principal Component Analysis-weight average）的图像融合方法 Matlab代码及示例

摘要：

????????高效地将多通道的图像数据压缩（如高光谱、多光谱成像数据）至较低的通道数，对提高深度学习（DL）模型的训练速度和预测至关重要。本文主要展示利用PCA降维结合weight-average的图像融合方法。文章主要参考了题为“Noninvasive Detection of Salt Stress in Cotton Seedlings by Combining Multicolor Fluorescence–Multispectral Reflectance Imaging with EfficientNet-OB2”在论文中使用的方法。

论文源：Noninvasive Detection of Salt Stress in Cotton Seedlinmbining Multicolor Fluorescence–Multispectral Reflectance Imaging with EfficientNet-OB2 | Plant Phenomics (science.org)

PCA-WA简介：

PCA-WA（主成分分析-加权平均）是一种图像融合方法，结合了主成分分析（PCA，principal component analysis）和加权平均（WA，weight average）两种技术。

优点：

1. 保留主要信息：通过PCA方法，可以提取出源图像中的主要成分，即包含最多信息的特征。这有助于在融合过程中保留关键信息，使得融合后的图像在保留重要特征方面表现较好。
2. 降低维度：PCA方法可以将高维数据降维，从而减少计算量和存储需求。这在处理大规模图像数据时尤为重要，可以加快处理速度和节省存储空间。

缺点：

1. 对源图像质量敏感：PCA-WA方法的性能在很大程度上取决于源图像的质量。如果源图像存在噪声、模糊或对比度低等问题，那么融合后的图像质量可能会受到影响。
2. 可能产生光谱失真：在使用PCA进行降维时，可能会丢失一些光谱信息。这可能导致融合后的图像在光谱特性上与源图像存在差异，从而产生光谱失真现象。

注意事项

数据预处理：在进行数据融合之前需要将数据进行对应的校正，避免后续噪声污染

输入数据：为M*N*C的double矩阵也就是校正后的图像浮点数值。需要事先将这些变量存储为.mat文件。储存变量命为a

操作示范

首先是输入的文件：如图，PCA需要所有处理的样本信息，所以按照格式将所有样本整理好

单个样本的信息如图：我测试的数据是自己采集的4K分辨率且有14个通道的多源光谱数据，变量统一为a，其中几个未融合的通道的图像可以展示如下

?使用PCA-WA算法进行图像融合后，生成的图像会存放至预设的文件夹中

融合后的数据，前三个主成分占95%的贡献率，所以融合后为3个主成分通道。手动将这些数据归一化映射至uint8（0-255）展示如下：融合后数据量得到了充分的压缩。

代码

主脚本代码FusionProject

clear all

获得PCA-WA融合的数据
WA图像融合，全称为Weighted Averaging图像融合，
也叫简单加权融合或者像素加权平均法，是一种图像融合方法。
这种方法的基本思想是将多源信道采集到的关于同一目标的图像
数据经过处理和计算，将各自信道中的有利信息提取出来，然后综合成
一幅高质量的图像。

在具体实现时，WA图像融合通过对来自不同图像的对应像素进行加权平均，
以得到融合后图像中的每个像素值。这种方法具有简单易实现、运算速度快
的优点，并能提高融合图像的信噪比。然而，它也存在一些缺点，比如可能
会削弱图像中的细节信息，降低图像的对比度，并在一定程度上使图像中的
边缘变得模糊。

为了改进这些缺点，可以采用一些优化方法，
如主成分分析（Principal Component Analysis，PCA）来优化权值的选择，
从而得到一幅亮度方差最大的融合图像。

%输入部分（根据自己的需求修改这部分内容）

%要处理文件所在的文件夹
% （多个文件夹则输入多个文件夹，要包含所有样本，PCA计算才准确）,样本变量名均为a
% 注意地址要单引号标志
DealPath{1}='F:\Test\A';
DealPath{2}='F:\Test\B';

%处理好的文件输出位置，对应你输入文件的数量
OutputPath{1}='C:\Users\ljy\Desktop\Test1\A';
OutputPath{2}='C:\Users\ljy\Desktop\Test1\B';

%%图片的基本信息
%通道数
ChannelNum=14;
%红色荧光(F740)所在的通道
fluo_CNum=4;
%图像输出的分辨率
outputReso=[300 400];

orinPath=cd();
%%这一过程可能很漫长，运行时间主要取决于你的样本量、数据大小、CPU性能及硬盘速度。
%%1000个样本跑一个小时以上是正常的


%%阶段1：获取数据的通道均值
fileNum=length(DealPath);
allData=[];
%启用红色荧光分割图像，（如果前期工作已经校正及图像分割了，请关闭）
% 其他数据把分割关掉（1改为0）
for i=1:fileNum
    allData=[allData;AverageChannelData(DealPath{i},ChannelNum,[0,fluo_CNum])];
end

%阶段二：PCA分析

%归一化
[ynum,~]=size(allData);
stdr =std(allData); %计算标准差，计算每一列的标准差
averageD=mean(allData,1);

for i=1:ynum
    data2(i,:)=allData(i,:)-averageD(1,:);
end
%sr是预处理后的数据，使原始数据每个参数除于其标准差
sr =data2./repmat(stdr,size(allData,1),1);

%% PCA

%获取主成分系数
[coeff,~,~,~,explained,~]= pca(sr);

%分析占 95% 解释性的主成分
for i=1:ChannelNum
    if sum(explained(1:i))>95
        numP=i
        break
    end
end



%阶段3融合图像
for i=1:fileNum
    srcDir=dir(DealPath{i}); %获得选择的文件夹
    [numFile,~]=size(srcDir);
    for j=3 :numFile
        names_Fir=srcDir(j).('name');
        newfile_Fir=[DealPath{i},'\',names_Fir];%数据文件名
        load(newfile_Fir);
        %图像归一化
        for cn=1:numP
            Nora(:,:,cn)=(a(:,:,cn)-averageD(cn))./stdr(cn);
        end
        %融合
        FusionPic=imresize(FusionPic_WA_PCA(Nora,coeff),outputReso);
        cd(OutputPath{i});
        save(names_Fir,"FusionPic");%储存
        cd(orinPath);
    end
end

附带自定义函数

T_SGM

%阈值分割函数,获得分割的蒙版

%输入：img：图像(灰度图像）  
% ThresH:阈值
% （为0时为二值化分割,为1时为迭代法全局阈值分割，为2时为全局阈值Otsu法阈值分割，三为基于形态学元素的局部分割,4为指定阈值分割）
%pluse：补充数据，当ThresH为3时，pluse表示形态学的元素的半径，其值越大，分割区域越大，为4时为分割的数

function output=T_SGM(img,ThresH,pluse)

img=im2double(img);%图像二值化

if ThresH==0
    output =im2double(imbinarize(I));
elseif ThresH==1
    T=0.5*(min(img(:))+max(img(:)));
    done=false;
    while ~done
       	g=(img>=T);%建立区域g，为大于阈值的部分
       	Tn=0.5*(mean(img(g))+mean(img(~g)));%当图像中g的区域与非g的区域的均值接近于目标阈值时，分割完成
       	done = abs(T-Tn)<0.1;
       	T=Tn;
    end
    output=imbinarize(img,T);
elseif ThresH==2
    Th=graythresh(img);%阈值
    output=imbinarize(img,Th);
elseif ThresH==3
    se=strel('disk',pluse);%建立形态学 结构元素
    ft=imtophat(img,se);%使用结构元素进行滤波
    Thr=graythresh(ft);%早对滤波后的图像进行阈值取值
    output = imbinarize(ft,Thr);
elseif ThresH==4
    output=imbinarize(img,pluse);
end


end

?SelecValueOfPic

function [actualaverageValue,actualNum,segama,K,S] = SlecValueOfPic(img,range,method)
%SLECVALUEOFPIC
%输入一张分割后的灰度图片；根据这这张图片的像素值统计（除零外），取中间range值的范围的内容；并返回这个范围的平均值；
%这个取值的逻辑是取像素值中间的分布，以个数划分，如10个像素取60%取平均，就是取中间值的6个像素的平均；这种方法可以提高图像反射率的数值的鲁棒性，将噪点和背景的反射屏蔽掉一部分；

%   actualavergeValue:最后输出的平均值
%   img：输入的图像
%   range：范围，大小为0-1之间；（折合百分数）
%   method:方法 1为中位数法 2为正太分布法 3为平均数法
%   actualnum:为成像面积
%   segama:偏度

segama=0;
K=0;
S=0;
if method==1
    staticD=imhist(img);
    allN=sum(staticD(2:256,1));
    rangeN=ceil(allN*range);
    thresholdNum=ceil((allN-rangeN)/2);

    thresholdValue=0;%初始化
    thresholdValueHigh=0;
    actualNum=0;

    for i=2:256%计算区间，为0的背景不算；
        nowSum=sum(staticD(2:i,1));

        if nowSum>thresholdNum
            if thresholdValue==0
                thresholdValue=i;%获得了最低门槛；
            end
        end
        if nowSum>(thresholdNum+rangeN)
            if thresholdValueHigh==0
                thresholdValueHigh=i;%获得了最高门槛；
            end
        end
    end
    allV=0;
    if thresholdValue~=0
        for j=thresholdValue:thresholdValueHigh%计算这个像素区间的平均值
            repreValue=staticD(j,1)*(j-1);%统计是从零开始统计；
            allV=allV+repreValue;
        end
        actualNum=sum(staticD(thresholdValue:thresholdValueHigh,1));
        actualaverageValue=allV/rangeN;
    else
        actualNum=0;
        actualaverageValue=0;
    end

elseif method==2%正太分布估计，此时actualnum为偏度
    [r,c]=find(img);
    [actualaverageValue,segama] = normfit(img(find(img)));
    K=kurtosis(img(find(img)));%峰度
    S=skewness(img(find(img)));%偏度
    [actualNum,~]=size(r);

elseif method==3%平均,正太分布和平均效果一致（如果符合正太分布的话);
    [r,c]=find(img);
    actualaverageValue = mean(img(find(img)),'all');
    [actualNum,~]=size(r);
end

end

Map_uint8

function U8_p =Map_uint8(doubleP,num_min,num_max)
band_div=(num_max-num_min)/256;
U8_p=(doubleP-num_min)/band_div;
MapMax=find(U8_p(:,:)>255);
MapMin=find(U8_p(:,:)<0);
U8_p(MapMax)=255;
U8_p(MapMin)=0;
U8_p=uint8(U8_p);
end

FusionPic_WA_PCA

function FusionPic=FusionPic_WA_PCA(IMGmat,PCAdet)

%输入：IMGmat 为基本处理（校正）后的成像数据（储存格式为matlab data *.mat）
%               大小为M（图像高度）*N（图像宽度）*C（图像通道数）
%输入： PCAdet 为PCA的降维数据，为PCA-WA的权重提供参考


[y,x,cnum]=size(IMGmat);
FusionPic=zeros(y,x,cnum);
%数据叠加
for i=1:cnum
    for j=1:cnum
        FusionPic(:,:,i)=FusionPic(:,:,i)+PCAdet(i,j)*IMGmat(:,:,j);
    end
end

?DeleNos_dot

%输入 mask为2值化图像
%在特定区域内的分割若达不到比例，则进行消除

function output=DeleNos_dot(mask,length,Percent)

numDiv=ceil(Percent*length^2);
[ysize,xsize]=size(mask);

for i=length:xsize-length%用区域蒙版的量做判断消除杂点
    for j=length:ysize-length
        if mask(j,i)==1
            if sum(sum(mask(j-3:j+3,i-3:i+3)))<numDiv
                mask(j,i)=0;
            end
        end
    end
end
output=mask;

AverageOneSample

function data = AverageOneSample(Sample,EX)
%主要是求图像校正后，分割后的平均值
%EX为1*2的double 分别代表范围和取值的方法 默认【0.6，3】

%[actualaverageValue,actualNum,segama,K,S] = slecValueOfPic(img,range,method)
%SLECVALUEOFPIC
%输入一张分割后的灰度图片；根据这这张图片的像素值统计（除零外），取中间range值的范围的内容；并返回这个范围的平均值；
%   actualavergeValue:最后输出的平均值
%   img：输入的图像
%   range：范围，大小为0-1之间；
%   method:方法 1为中位数法 2为正太分布法 3为平均数法，基本上2和3一致
%   actualnum:为成像面积
%   segama:偏度

[x,y,z]=size(Sample);
for i=1:z
    [data(i,1),data(i,2),~,~,~] = SlecValueOfPic(Sample(:,:,i),EX(1),EX(2));
end



end

AverageChannelData

%检查文件数量是否匹配
function allData=AverageChannelData(aimPath,numchannel,IFSGM)

%输入部分
%aimPath：采集目标的路径
%aimPath='F:\23新疆大田数据校正后\SSS';%目标路径，得用单引号"
%IFSGM 大小为1*2，(1,1)若为1则执行基于荧光的分割，(1,2)为红色荧光所在的位置

orinPath=cd();%函数执行所在的路径，默认原路径
%目标文件
srcDir=dir(aimPath); %获得选择的文件夹
[numFile,~]=size(srcDir);
data=zeros(numchannel,2);
for j=3 :numFile
    names_Fir=srcDir(j).('name');
    newfile_Fir=[aimPath,'\',names_Fir];%数据文件名
    load(newfile_Fir);
    if IFSGM(1,1)==1
        tureMask=T_SGM(Map_uint8(a(:,:,3),min(min(a(:,:,3))),max(max(a(:,:,3)))),4,0.045);%图像分割
        tureMask2=DeleNos_dot(tureMask,10,0.2);%清理噪点
        [yn,xn,zn]=size(a);
        b=zeros(yn,xn,zn);
        for i=1:14
            b(:,:,i)=a(:,:,i).*tureMask2;
        end
    else
        b=a;
    end
    data = AverageOneSample(b,[0.6,3]);
    allData(j-2,1:14)=data(1:14,1)';
end


end