基于Zynq-7000的图像拼接技术的系统设计构架与实现效果 - FPGA/A

摘 要： 针对安防监控与智慧交通领域无盲区视频摄录的需求，基于Zynq-7000平台优势进行宽幅视频处理软硬件系统的设计。通过研究基于嵌入式系统的多路视频实时拼接技术，设计并实现了以XC7Z020芯片为核心的视频处理板卡，在双核ARM Cotex-A9硬核处理器端服务程序协同调度下，基于片内FPGA硬件加速能力实现多通道视频实时采集与预处理、投影变换、图像融合，进而形成完整宽幅视频画面，通过远程客户端实现定制化的视频摄录功能。测试结果表明，该系统是兼具稳定的性能和灵活区域部署能力的便携式解决方案。

引言

宽幅视频拼接是基于计算机视觉和图形处理技术的整合，其本质就是图像拼接技术，必然与图像传感器技术及图像算法研究密切相关[1]，但其对于实时性的较高要求，使得在该领域的技术实践同样需要关注平台的处理性能。目前市面上普遍采用的主要有通过单目鱼眼镜头捕获全景图像的嵌入式平台方案，以及多通道图像采集拼接形成全景的通用计算机平台方案。前者对于镜头工艺要求高且存在较大的畸变，而后者凭借性能优势获得好的效果，但设备体积庞大且价格昂贵[2]。

针对以上情况，本文提出了一种基于AP SoC（All Programmable System on Chip，全可编程的片上系统）多通道视频无缝拼接的宽幅视频处理解决方案。结合用户场景分析，提出具有扩展能力的宽幅视频处理技术，预置多路扩展接口随时增减摄像头以调整视野宽度，满足多种现场宽视角摄录需求。

1 系统总体构架

宽幅视频处理系统由本地视频处理系统端和远程摄录客户端两部分组成，系统总体框图如图1所示。便携式视频处理系统根据监控需求进行配置与部署，远程客户端进行实时定制视野区域摄录。

 

本地视频处理系统作为设计的主体部分，由视频采集、图像处理、核心调度、用户交互、本地显示、网络通信六个模块组成。多通道视频流采集模块采用DMA方式将图像数据送入内存缓冲队列；图像处理模块包含视频处理的若干流程，在核心调度模块控制下，借助可编程逻辑并行加速完成宽幅图像的处理与存储；用户交互模块和本地显示模块协同完成设备配置与宽幅画面预览；网络通信模块作为视频传输的重要接口，用于监听网络请求与宽幅视频分发服务。

2 系统硬件设计

视频处理核心板卡硬件系统结构框图如图2所示。系统主要由存储器模块、网络通信模块、视频采集接口模块、本地显示模块、串行终端模块、用户交互模块、时钟模块、电源模块和JTAG调试模块组成。

 

2.1 XC7Z020片上系统

XC7Z020芯片是Xilinx公司Zynq-7000系列AP SoC，在FPGA架构中集成了双核ARM Cotex-A9硬核处理器系统，包含USB、SPI、SDIO等丰富的外设控制器，实现了PS（Processing System）硬核知识产权的性能和低功耗特性以及PL（Programmable Logic）可编程逻辑的灵活性[3]。借助AXI（Advanced eXtensible Interface，高级扩展总线）互联技术实现PS与PL之间的高性能的数据交换，为工程技术人员在图像处理领域实践提供了全新的实现途径。

2.2 存储器模块

存储器模块分为内存和掉电存储两个部分。XC7Z020芯片内置支持多协议标准的硬核内存控制器，挂载两片DDR3内存芯片MT41K128M16，构建起容量为512 MB、时钟频率为533 MHz的内存储器。选用飞索公司的32 MB QSPI Flash芯片S25FL256SAG以及SD闪存卡两种掉电存储方式，用于FPGA上电配置以及软件系统的引导。

2.3 视频采集模块

选用三组OV5640摄像头模块围绕单视点相背放置。摄像头内置白平衡、色彩校正、降噪等预处理功能，简化了后端FPGA系统的设计负担。720P输出模式下可达40 f/s以上帧率，其采用DVP(Digital Video Port，数字视频接口)输出，通过SCCB（Serial Camera Control Bus，串行摄像头控制总线）进行初始化配置。

2.4 本地显示模块

选用ADI公司的高清多媒体收发器ADV7511芯片，集成HDMI 1.4发送器，最大支持1080p@60Hz视频传输。芯片集成I2C控制器用于管理接入的显示设备信息。

2.5 网络通信模块

　　　　　　　　　　　　　 查看评论 回复