立即注册
查看: 1049|回复: 5

[资料] 基于孪生卷积神经网络的图像融合

已绑定手机
发表于 2022-2-28 15:52:33 | 显示全部楼层 |阅读模式 来自 广东省深圳市
摘 要: 传统的图像融合算法多有计算复杂程度高、不能有效提取图像纹理等不足, 为了弥补以上传统算法, 提出 了一种基于孪生卷积神经网络 (Siamese Convolutional Neural Network, Siamese CNN) 的图像融合方法. 首先, 用孪生卷积神经网络生成一个权重图, 该权重图包含了来自两个待融合图像的全部像素信息. 然后, 用图像金字塔对像 素以多尺度的方式进行融合, 并且采用了局部相似性策略自适应调整分解系数的融合模式. 最后, 和现存的几种图像融合的方法进行了对比. 实验证明, 该方法有较好的融合效果, 具有一定的可实用性.

1、引言
图像融合是将在同一场景下的不同聚焦的两幅或 者多幅图像的信息进行冗余互补, 从而形成一张具有 完整信息的图像. 图像融合在许多领域都具有广泛的 应用, 例如在医学医疗方面和遥感图像的融合等方面. 现如今, 存在的图像融合方法有很多种, 其中比较常用 的方法是基于分辨率分解的图像融合, 基于分辨率分 解的方法又有多种, 例如基于图像金字塔分解的方法、基于小波变换的方法、基于相位一致性和方向 对比度的非子采样轮廓线变换的融合方法、基于稀 疏表示的同时进行正交匹配跟踪的融合方法等等, 但 是上述的方法中的一些方法对采集的图像有很大的要 求, 这就意味着对采集图像的传感器有着很大的负担, 而且有些方法在计算上很复杂. 基于以上不足, 本文提出来了一种基于孪生卷积神经网络的图像融合方法. 卷积神经网络 (Convolutional Neural Network,CNN)是人工神经网络和深度学习这两者的完美结 合, 其通过反向传播算法来训练其中的权值, 进而实 现我们所想要的结果. 卷积神经网络有很多优点, 例如, 有比较好的容错性能、自适应性能、比较好的自学能 力等等. 由于卷积神经网络以上的优点, 将原来传统的 卷积神经网络改进为孪生卷积神经网络, 孪生卷积神 经网络在实质上就是一个双通道的卷积神经网络, 并 且为了计算简单, 本文算法将其中的一个卷积层换成了残差网络层.

2、Siamese 网络
“Siamese”网络是 Bromley J、Guyon I 等在 1993 年在第一次提出来的[10]. 又在 2005 年由 Chopra S、 Hadse R 等进行了补充, 在其文章中用孪生网络进行 了人脸相似性判别, 将 Siamese 网络分成两部分, 前半 部分用于特征提取, 将两张图片输入进网络中输出两 个特征向量, 后半部分用构造的特征向量进行距离度 量, 计算输入图像的相似度以判别人脸的相似性. 后又 由 Zagoruyko S 和 Komodakis N 在文献中以 Siamese 网络为原始基础进行了改进, 首次将空间金字 塔池化 (Spatial Pyramid Pooling, SPP) 和 Siamese 网络
进行了结合. Siamese 网络可以理解成是一种衡量相似性的算 法, 当要分类的类别很多但是每一个类别所对应的样 本数目很少的时候可以用于分类. Siamese 网络在近年 来多应用于人脸识别以及相似度检测. 本文所提的方 法是基于 Siamese 网络进行特征的提取从而生成一个 特征向量. Siamese 网络有两个分支, 并且两个分支的 权重和结构是一样的. Siamese 网络具体的结构如 图 1 所示, 将原图片 X1、X2 送入到系统当中, 判断 X1 和 X2 是否是同一图片, W 是系统共享的学习参数, GW{X1} 和 GW{X2}是生成低维空间中的 X1 和 X2 的两点映射, 这样就可以通过计算 GW{X1}和 GW{X2}两者之间的距离来判断 X1 和 X2 是否是同一张图片了。
1.jpg

3、本文所用网络
3.1 本文所用的孪生卷积神经网络
本文所采用的 Siamese 网络是文献中提及网 络模型的改进版, 本文网络用了两个完全相同的卷积神经网络, 其中这两个网络是权值共享. 图 2 给出的是图像融合算法的前一部分特征提取 的网络图, 这是一个 Siamese CNN网络图, 其中左右 两边的两个部分在结构上是完全一样的, 并且共享相同的参数, 即权重和偏置.
2.jpg
本文网络是由两个卷积层, 两个池化层, 一个残差 块以及一个全连接层组成的. 在本文中我们将原本孪 生网络中的一个卷积层换成了残差网络, 所用的残 差网络的结构如图 3 所示. 输入的 patch 为 16×16, 即 卷积层和池化层的通道数都是 16(即卷积模板为 16 种), 其卷积核的大小为 3×3, 池化窗口尺寸为 2×2, 卷积方式为零填充 (zero padding), 卷积层的激活函数 为 Relu, 并且子 CNN 输出的是 256 维特征向量, 每个 池化层包括跨信道归一单元. 首先将输入的 patch 的空 间大小调整为 16×16, 然后对网络进行训练以最大损失 函数为优化目标 (损失函数如式 (1), 采用随机梯度下 降 (Stochastic Gradient Descent, SGD)的方法使其最 大损失函数最小化; 第二步将拼接完成的 512 个特征 图直接连接在二维向量上面; 最后, 将连接生成的这个 二维向量作为输入, 输出给一个双向的 Softmax 层, 其 中 Softmax 可以用于分类, 输出的是类别的概率分布, 网络在 Softmax 层生成了两类的概率分布, 这两个类 别分别对应的是归一化之后的权重分配的结果. 由于 本文的网络是具有全连接的, 所以输入和输出的数据都是固定尺寸的。

更多详细内容请下载附件查看
游客,如果您要查看本帖隐藏内容请回复

已绑定手机
发表于 2022-5-24 08:40:22 | 显示全部楼层 来自 湖南省
谢谢分享!
已绑定手机
发表于 2022-5-30 08:36:44 | 显示全部楼层 来自 浙江省杭州市
好资料,看看
已绑定手机
发表于 2022-10-10 18:01:18 | 显示全部楼层 来自 四川省成都市
孪生卷积神经网络
已绑定手机
发表于 2023-3-9 17:07:23 | 显示全部楼层 来自 广东省深圳市
孪生卷积神经网络 1
已绑定手机
发表于 2023-7-14 08:13:52 | 显示全部楼层 来自 广东省东莞市
谢谢分享,学习一下!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

合作/建议

TEL: 19168984579

工作时间:
周一到周五 9:00-11:30 13:30-19:30
  • 扫一扫关注公众号
  • 扫一扫打开小程序
Copyright © 2013-2024 一牛网 版权所有 All Rights Reserved. 帮助中心|隐私声明|联系我们|手机版|粤ICP备13053961号|营业执照|EDI证
在本版发帖搜索
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表