资讯
论坛
词条
众包
招聘
商城
下载
问答
博客
工程师家园
帮助
搜索
登录
立即注册
一牛网论坛
一流研发工程师学习交流分享电子技术的论坛!
工作时间
周一到周五 9:00-11:30 13:30-19:30
热线电话
19168984579
论坛客服
QQ:
2064607811
微信:
19168984579
商城客服
QQ:
1911822682
微信:
18924675756
手机|智能终端
MTK/联发科
高通平台
紫光展锐
瑞芯微RK
全志平台
SigmaStar/Mstar
海思平台
匠芯创
联咏科技
珠海海奇
国科微
翱捷ASR平台
其它平台
维修论坛
通讯|射频技术
射频技术
5G技术
天线技术论坛
红外技术论坛
美格智能
移远通信
鼎桥通信
瑞识科技
射频IC库
卫星通讯&定位
蓝牙
wifi
NB-IoT
通讯技术
微波&雷达技术
NFC
USB技术论坛
RFID
ZigBee
Lora
433
对讲技术
有线通讯与控制
通讯协议
开元通讯
激光
嵌入式
鸿蒙OS论坛
Freescale论坛
xmos
开阳半导体
基合半导体
平头哥半导体
富士康半导体
紫光同创
暖芯迦
Marvell
树莓派
翼辉OS论坛
UCOS技术论坛
VxWorks论坛
君正论坛
瑞昱论坛
亿智论坛
齐感论坛
Amlogic论坛
龙芯论坛
FlyThings
炬芯论坛
nxp论坛
乐鑫论坛
OpenWRT
arm开发
linux
keil技术论坛
FPGA
DSP
LVGL
PLC
Python
乐升半导体
其他
单片机
ST技术论坛
IC设计
兆易创新/GD单片机
PWM技术论坛
Arduino技术论坛
伟诠电子
国民技术
芯科|silicon labs
英飞凌|Infineon
51单片机
新唐单片机
TI技术论坛
赛元微单片机
单片机C语言
ATMEL单片机
西门子单片机
华大单片机
Intel单片机
Freescale单片机
Thomson单片机
ADI单片机
Microchip单片机
武汉新芯
瑞盟
单片机基础
航顺单片机
CPLD
灵动微单片机
美信技术论坛
人工智能AI论坛
自动驾驶
元宇宙
神经网络
NLP
机器学习
算法
智能机器人
AR/VR
NVIDIA|英伟达
版块导航
forumnav
论坛
一牛网电子研发工程师交流论坛
芯片词条
MTK/高通/海思/瑞芯微/全志/展讯/射频/蓝牙/单片机/WIFI/电源/晶晨/瑞昱等系列芯片
开发板/模块
MTK/海思/全志/瑞芯微/蓝牙/高通等系列开发板/核心板
摄像头
摄像头模块
问答
整合一牛网论坛所有电子工程师开发问题
直播预告
屏/TP
原厂合作入口
机械防抖摄像头
18-30倍可变焦模组
5G相关方案定制
T31/T40方案定制
全志方案定制
展讯4G/5G方案定制
Ai硬件方案
PD超级快充方案
MTK4G/5G方案
wifi/cpe相关方案
RK相关方案
摄像头和测温模块
FPGA高清视频方案
高通方案
显示屏方案
AMLOGIC相关方案
高精度定位模组
联咏相关方案
一牛网
»
论坛
›
人工智能AI论坛
›
神经网络
›
基于双流卷积神经网络的改进人体行为识别算法 ...
查看:
814
|
回复:
2
[资料]
基于双流卷积神经网络的改进人体行为识别算法
United
当前离线
积分
11915
United
已绑定手机
发表于 2022-2-27 13:00:01
|
显示全部楼层
|
阅读模式
来自
广东省深圳市
摘要:近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络 (convolutional neural network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息;针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧 RGB 图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入 Flow_Net 模型;最终将两个模型的 Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN 在人体行为识别任务上的有效性。
人体行为识别的目的是分析并理解视频中的人体的动 作和行为,与静态图像中二维空间的物体识别不同,行为 识别主要研究如何感知目标对象在图像序列中的时空运动 变化,将人体行为的表现形式从二维空间拓展到了三维时 空。人体行为识别有着重要的理论意义且在很多领域有着 重要的应用价值,如智能监控、视频检索和人机交互等。 随着大规模数据集的涌现,传统算法已经很难满足如 今大数据处理的需求,深度学习成为近几年国内外的研究 热点。深度学习是机器学习领域的重点研究问题,它模拟 人脑认知机制的多层次模型结构,通过组合低层特征形成 更为抽象的高层特征来获得数据更有效的特征表示,相比传统的人工提取特征更适合目标的检测和识别。
卷积神经网络是深度学习模型的典型代表,应用最为广泛,已经成为目前图像识别和语音分析等领域的一个应用热点。在人体行为识别方面,基于卷积神经网络的研究也有很多新进展。Ji等人在传统 CNN 基础上加入时间信息构成三维CNN,将灰度、垂直和水平方向梯度、垂直和水平方向光流信息作为多通道输入,对于多个连续帧通过三维卷积操作实现视频数据在时间和空间维度的特征计算;Karpathy 等人提出双分辨率的CNN 模型,使用原始分辨率和低分辨率的视频帧分别作为输入,学习两个 CNN 模型,并在最后两个全连接层实现数据融合,以实现视频的最终特征描述用于后续识别;Karen 等人提出双流 CNN 模型,将视频数据分成空间静态帧数据流和时域帧间动态数据流,分别将原始单帧 RGB 图像和多帧堆叠的光流图像分别作为两个CNN 模型的输入进行特征提取,最后使用SVM分类器进行行为识别;Cheron 等人提出使用根据人体姿势的关节点分割的单帧 RGB图像和光流图像分别作为两个CNN模型的输入进行特征提取,并使用特征融合策略将视频数据转换为固定维度的特征向量,最后使用SVM分类器进行行为识别。
本文借鉴文献 【4】 中双流卷积神经网络模型中的"双流"概念,提出了一种基于改进双流卷积神经网络的人体行为识别模型,将 VGGNet_16模型应用于双流卷积神经网络的空间流 CNN,替换原始的类 AlexNet 模型,从而加深网络结构;将 Flow__Net 模型应用于双流卷积神经网络的时间流CNN,替换原始的类 AlexNet 模型,使得模型更适用于提取光流图的特征,然后将空间流CNN模型和的时间流CNN模型的输出结果进行加权融合后作为双流 CNN 模型的输出结果,最终得到一个多模型融合的人体行为识别方法。
1、双流卷积神经网络1.1 卷积神经网络
卷积神经网络是一种特殊设计的深层模型,最早应用于图像识别领域。CNN 模型通过卷积和下采样操作自动学习图像特征,并把特征提取和分类输出合并为一个整体,从而获得更高的识别效率和更佳的性能表现。CNN 的核心思想是局部感受野、权值共享以及空间下采样,这使得网络的权值参数个数大幅减少,并获得了对图像位移、尺度、形变的不变性。典型的 CNN 网络结构如图1所示。
这是一个简单的卷积神经网络,共有七层网络结构,其中基础层有卷积层、下采样层和全连接层,卷积层和下采样层是实现特征提取的关键,输出层采用 Softmax 分类器作类别判断。
1.2 双流CNN网络结构
双流卷积神经网络的结构示意图如图 2 所示,该模型的核心在于空间流CNN 和时间流CNN 构成的"双流"结构,其中∶空间流 CNN 以视频的单帧 RGB 图像作为输入,实现人体在空间域上表观信息的特征描述;而时间流 CNN 则是以多帧叠加后的光流图像作为输入,得到关于行为的运动特征表述,从而达到时间和空间互补的目的。针对给定的视频行为样本,首先分别通过时间流 CNN 和空间流CNN 进行特征提取,最终将两个分支的分类结果进行加权融合,以得到关于视频中人体行为类别的最终决策结果。
原始双流卷积神经网络模型结构设计基本 上和 AlexNet 模型是同一种思路,包括5层卷积层和3层全连接层,网络的输入图像尺寸被固定为 224×224。与 AlexNet 相比,原始双流CNN 包含更多的卷积滤波器,第一层卷积层的卷积核尺寸缩小为7×7,卷积步长减小为2,其他层次的参数都与 AlexNet相同。
随着对深度学习研究的深入,现在的网络结构发展呈现出层次结构更深,卷积核尺寸更小,滤波器数量更多,卷积操作步长更小的趋势,这些转变应用在物体检测任务上并获得了较好的效果。目前应用较广泛的深层次卷积神经网络结构有GoogleNet 和 VGGNet 和 ResNet 等。
本文选用 VGGNet一16 模型作为空间流CNN 模型,VGGNet一16是在数据库 ImageNet 上训练得到的具有 1000 个分类 的模 型,在 2014 年 大 规模 视觉 识别挑战赛(ILSVRC)中获得了第二名的成绩。VGGNet一16 模型继承了AlexNet模型的网络框架,采用了16 层的深度网络,包含 13个卷积层和 3层全连接层,与 AlexNet 模型相比,VGGNet一16模型使用了更深的网络,且所有卷积层都使用大小为3×3的卷积核,卷积步长也缩小到1,能够模仿出更大的感受野,且减少了自由参数数目。
更多详细内容请下载附件查看
游客,如果您要查看本帖隐藏内容请
回复
技术词条:
神经网络
点击查看更多芯片型号
相关帖子
•
基于混合遗传算法和神经网络的软硬件划分算法
•
神经网络与深度学习资料
•
亿智MX3520 H.264视频编码datasheet详细资料
•
神经网络的工作原理及应用介绍
•
人工智能发展白皮书:技术架构篇
•
5G Advanced的上行链路增强功能详解
•
51单片机常见模块范例演练(六):神经网络
•
基于FPGA及神经网络SSD算法目标检测系统设计
•
基于FPGA的数字识别-实时视频处理的定点卷积神经网络实现
•
中国智能语音行业研究报告(2020)
回复
举报
yls1596357
当前离线
积分
87
yls1596357
已绑定手机
发表于 2023-3-9 17:14:12
|
显示全部楼层
来自
广东省深圳市
基于双流卷积神经网络的改进人体行为识别算法 666
回复
顶
踩
举报
阿尼古
当前离线
积分
5731
阿尼古
已绑定手机
发表于 2023-9-15 07:29:18
|
显示全部楼层
来自
四川省成都市
感谢分享
回复
顶
踩
举报
返回列表
发布新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
使用Markdown编辑器编辑
使用富文本编辑器编辑
回帖后跳转到最后一页
关于我们
关于我们
加入我们
新闻动态
联系我们
服务支持
官方商城
隐私声明
常见问题
论坛总则
合作/建议
TEL: 19168984579
工作时间:
周一到周五 9:00-11:30 13:30-19:30
扫一扫关注公众号
扫一扫打开小程序
Copyright © 2013-2024
一牛网
版权所有
All Rights Reserved.
帮助中心
|
隐私声明
|
联系我们
|
手机版
|
粤ICP备13053961号
|
营业执照
|
EDI证
发布新帖
我的帖子
110520000元
项目累计金额
3911个
对接项目数量
接项目
发需求
最新回复
基合MOD6320-T WirelessHD发射模块datasheet/规格书下载
MOD6320-T WirelessHD发射模块DataSheet
MTK_Usb_Driver_v1.0.8 驱动
MTK平台最新工具(ATE/META/flash/Muti-flash/usb-all)
SSC30KD/SSC30KQ IP Camera SoC处理器datasheet
功能强大星海SVIP免狗版免费用,小米oppo高通解锁酷派算法...
最新热帖
MTK/联发科MT6877(天玑900)MTK5G芯片规格书/datasheet
QXDM 4 破解版下载
RK3588S数据手册Datasheet、Tablet Demo原理图&PCB
紫光展锐Simba_R8.22.2953工具下载
Rockchip RK3588 TRM资料, Rock5B和官方Toybrick-RK3588x原理图
UNISOC UDX710 1.35GHz Cortex-A55内核嵌入式5G通信处理器datasheet
热门博客
更多
DAC8228FPZ
DAC8222 双通道12位双缓冲乘法CMOS D/A转换器
DAC8426AR/883C 特性
QPA2640T 20-40 GHz 8瓦GaN放大器
QPB0220N 2-18 GHz宽带GaN SSPA 中文资料规格书PDF数据手册引脚图图片价格参数功能特
KMFN60012M-B21规格书
登录
注册
手机|智能终端
(135)
MTK/联发科
(38)
MTK硬件
MTK软件
MTK工具
高通平台
(25)
高通硬件
高通软件
高通工具
紫光展锐
(24)
RDA平台
硬件资料
软件资料
工具下载
瑞芯微RK
(23)
全志平台
(10)
全志A系列
全志D系列
全志B系列
全志F系列
全志H系列
全志R系列
全志V系列
全志T系列
全志VR系列
全志工具
全志X系列
SigmaStar/Mstar
(2)
海思平台
(5)
匠芯创
联咏科技
(1)
SoC
显示驱动
珠海海奇
国科微
(3)
翱捷ASR平台
其它平台
(2)
其它平台软件
(1)
其它平台硬件
(1)
维修论坛
(2)
手机刷机包
苹果APPLE
三星SAMSUNG
其他品牌
维修经验交流
通讯|射频技术
(21)
射频技术
(10)
5G技术
(2)
5G技术分享
5G应用/产品
5G规划/政策
天线技术论坛
(2)
红外技术论坛
美格智能
移远通信
鼎桥通信
瑞识科技
射频IC库
(1)
卫星通讯&定位
蓝牙
(2)
NORDIC技术论坛
上海博通
盛芯微
恒玄科技
汇顶科技|GOODIX
其他
富芮坤|FREQCHIP
伦茨科技
wifi
(4)
NB-IoT
通讯技术
微波&雷达技术
NFC
USB技术论坛
RFID
ZigBee
Lora
433
对讲技术
有线通讯与控制
通讯协议
开元通讯
激光
嵌入式
(27)
鸿蒙OS论坛
Freescale论坛
xmos
开阳半导体
基合半导体
(2)
平头哥半导体
富士康半导体
紫光同创
暖芯迦
Marvell
树莓派
翼辉OS论坛
UCOS技术论坛
VxWorks论坛
君正论坛
(3)
瑞昱论坛
(11)
亿智论坛
齐感论坛
Amlogic论坛
龙芯论坛
FlyThings
炬芯论坛
nxp论坛
乐鑫论坛
OpenWRT
(4)
arm开发
(1)
linux
keil技术论坛
FPGA
(1)
DSP
LVGL
(1)
PLC
(3)
Python
乐升半导体
其他
(1)
单片机
(5)
ST技术论坛
(3)
意法半导体STM
意法半导体STL
ST意法半导体
IC设计
兆易创新/GD单片机
PWM技术论坛
Arduino技术论坛
伟诠电子
国民技术
芯科|silicon labs
英飞凌|Infineon
(1)
51单片机
新唐单片机
TI技术论坛
(1)
赛元微单片机
单片机C语言
ATMEL单片机
ATmega8系列
ATmega16系列
AVR系列
AT系列
西门子单片机
华大单片机
Intel单片机
Freescale单片机
Thomson单片机
ADI单片机
Microchip单片机
武汉新芯
瑞盟
单片机基础
航顺单片机
CPLD
灵动微单片机
美信技术论坛
人工智能AI论坛
(3)
自动驾驶
元宇宙
神经网络
NLP
机器学习
算法
智能机器人
(3)
AR/VR
NVIDIA|英伟达
显示屏|触摸屏
(0)
Quanta|广达
SVA|上广电
BOE|京东方
AUO|友达光电
SAMSUNG|三星电子
CMO|奇美电子
gooddisplay|大连佳显
newvision|新相微电子
analogix|硅谷数模
sharp|夏普
lnnoLux|群创光电
天马
Eink|元太科技
GOODiX|汇顶科技
Sitronix|矽创电子
ILItek|奕力科技
LG
Atmel
永嘉微电
HOLTEK|合泰
视涯技术
格科微
SOLOMON SYSTECH
RENESAS|瑞萨
Himax|奇景光电
FocalTech|敦泰
JDI
旭曜科技
墨水屏
龙讯
联阳
Capstone|瑞奇达
Algoltek安格
显示控制
段码|点阵
其他
物联网应用
(1)
医疗电子
(1)
智能家居
无人机专区
智能产品
智能车专区
智能硬件
智能软件
工业设计
其他
Camera|视频技术
(14)
Camera摄像头
镁光Camera
扫描头
视频技术
格科微Camera
(3)
OV Camera
(3)
Sony Camera
(5)
安森美Camera
东芝Camera
原相Camera
三星Camera
思比科Camera
(1)
DB/东部Camera
SET Camera
富瀚微Camera
思特威Camera
(2)
鸿图微Camera
晶相 Camera
BYD/比亚迪Camera
美信Camera
现代Camera
松翰Camera
奇景Camera
NEXTCHIP
传感器论坛
(1)
光敏传感器
气敏传感器
力敏传感器
热敏传感器
磁敏传感器
湿敏传感器
声敏传感器
距离传感器
图像传感器
其他传感器
(1)
电源|电池|充电技术
(3)
芯达茂微电子
力芯微
恒率科技
智芯微电子
森利威尔
POE技术
开关电源技术
BMS
电池技术
(1)
充电技术
LDO DC-DC
(1)
电平转换IC库
移动电源技术
其他电源技术
(1)
元器件|物料库
(21)
Memory|存储芯片
(6)
连接器/接插件
长江连接器
其他
二/三极管
集成电路(IC)
(13)
加密&解密ic
LED二极管
晶体&振荡器
(1)
晶体管
其他元器件
(1)
其它规格书
阻容感库
TOMIISHI
电阻/电感
LED驱动IC
音频IC
安耐科
宏晶微
台湾鑫创
汇顶
上海智浦欣
顺芯
胜翼
瑞盟
普瑞
AKM|旭化成微
艾为电子
欧胜微
YAMAHA|雅马哈
耐福
凌云科技
音频IC库
移动应用开发
(0)
Android应用开发
Android源码
Android资料
开源&组件&框架
Android视频教程
android开发
Framework
IOS开发交流
iOS经验问答
iOS视频教程
iOS资料下载
Swift开发
php论坛
Java
保护器件
(0)
雷卯电子
电路保护器件
仪器|仪表|实验设备
(12)
安捷伦
安立/Anritsu
横河
TEK/泰克
星河亮点
罗德与施瓦茨
(12)
是德
advantest/爱德万
福禄克/Fluke
柯卡美能达
艾法斯
中承科技
其他品牌
PCB论坛
(3)
EDA软件与应用
(1)
PADS|Powerpcb
Allegro|OrCAD
Mentor|其它EDA
Altium|Protel
genesis|cam论坛
EDA软件下载
DFx经验交流
3D PCB
专业评审
学员专区
PCB技术资源区
(1)
原理图|SCH
PCB作品文件
Layout设计指南
EDA技术论坛
参考设计
制作工艺
(1)
PCB生产工艺
FPC专区
SMT专区
绿色无铅
夹具模具
生产设备
基础知识
(1)
硬件基础知识
(1)
软件基础知识
区块链技术
EMI|EMC|仿真
ESD
EMI
EMC
EMI器件库
活动与公告
(5)
公告专区
(1)
活动专区
灌水专区
(4)
一牛开源
(0)
新移开源
悬赏互助
—
—
—
展
开
版
块
导
航
在本版发帖
搜索
扫一扫添加微信客服
QQ客服
返回顶部
快速回复
返回顶部
返回列表