Heracles 发表于 2019-9-30 08:46:10

多路MIPI视频合成案例

MIPI的英文全称是Mobile Industry Processor Interface,取了英文的首字母为简称,意思是移动行业处理器接口。MIPI并不是一个单一的要求或者协议,而是一整套的协议以及标准,包含了各种子系统独特的要求,这整个的规定和标准,我们称之为MIPI协议。MIPI协议是移动设备接口行业的领军者,它提倡一个开放的移动接口标准。随着移动设备的发展,我们可以发现移动设备屏幕的尺寸越来越大,并且分辨率越来越高,人们对画面的显示色彩饱和画质度清晰度都有了相当高的要求。相对应的MIPI协议就需要向着高频率带宽和高传输速率发展,并且更要降低功耗,减小噪声,才可以跟的上时代的发展,满足人们的需求,可以说MIPI 将来的发展前景还是非常广阔的。明德扬基于对技术的掌握,将MIPI协议实现在了无人机上,一起来用案例认识下MIPI基于FPGA的使用。先跟大家分享一下项目结构图http://www.mdy-edu.com/Uploads/2019-08-23/5d5f97fccfe9c.jpg
此项目做的是四路MIPI图像数据,两路数据左右拼接之后,得到了两路摄像头的数据,再按照MIPI CSI协议传输给海思方案芯片,主要实现了D-PHY协议解析、CSI协议解析、图像拼接、CSI协议打包和D-PHY协议打包等功能。输入的分辨率最高支持1280*800,输出的分辨率可以达到2560*800;理论上可以支持60帧/秒的帧率;输入使用了MIPI D-PHY协议和CSI协议,输出使用了MIPI D-PHY协议和CSI协议;实现芯片LATTICE   LCMXO3LF-6900E-5MG256C,这里我们做了创新与突破,官方给出的数据此芯片最多只可以实现2路MIPI图像数据,但是我们能实现6路MIPI图像数据。在此项目上我们还进行了一定的技术上的革新。首先传统想要实现四路MIPI输入以及两路MIPI输出,需要两片FPGA芯片才可以,但是经过工程师研究与创新,我们可以使用一个芯片就达到此效果,在成本上节约了一半。其次是IP核的节省,官方一般为一路MIPI对应一个D-PHY的IP核,明德扬工程师改造后实现两路MIPI使用一个D-PHY。并且明德扬工程师设计出了基于MIPI协议能实现合作方需求的D-PHY协议,打破了官方至多只能实现2路MIPI输入和1路MIPI输出的禁锢。最后此项目输入分辨率为1280*1024*60;输出为2560*1024*60。低成本,高成就,真正做到了科技是第一生产力。刚刚有提到我们重新设计了D-PHY协议,实现了四路MIPI图像的接收。下面跟大家分享一下独有的TOP层次源代码。PLL0为时钟产生模块。这里的时钟系统需要用心设计,否则会有不稳定的现象。http://www.mdy-edu.com/Uploads/2019-08-23/5d5f98467c58f.jpg下图为CSI协议解析,4路图像对应4份CSI解析代码。http://www.mdy-edu.com/Uploads/2019-08-23/5d5f985b51e26.jpg本项目还实现GAMMA校正功能,以下是GAMMA校正代码。http://www.mdy-edu.com/Uploads/2019-08-23/5d5f986b7bb8c.jpgCSI协议封装代码,一共有两个。http://www.mdy-edu.com/Uploads/2019-08-23/5d5f988617374.jpg发送侧的D-PHY代码,两路MIPI图像共用一个D-PHY。http://www.mdy-edu.com/Uploads/2019-08-23/5d5f989a717a0.jpg并且本项目资源占用率还是很低的。http://www.mdy-edu.com/Uploads/2019-08-23/5d5f98a729402.jpghttp://www.mdy-edu.com/Uploads/2019-08-23/5d5f98b2855d0.jpg调试助手打印的图像信息,表现还是非常好的。可以看到已经正确地接收了77224帧,共运行了约1小时,丢帧为11(注意,此处丢帧说的是上电后同步时的丢帧,之后处于稳定运行状态。)http://www.mdy-edu.com/Uploads/2019-08-23/5d5f98cd7c33d.jpg最后我们一起看下硬件实物展示效果吧。图像经过摄像头采集显示在显示器上,显示器上最上方为FPGA输出图像,左边和邮编都是拼接后2560*800的图像。



http://www.mdy-edu.com/Uploads/2019-08-23/5d5f98dcd52c8.jpghttp://www.mdy-edu.com/Uploads/2019-08-23/5d5f98f50b91e.jpg

案例看完了,相信大家都对MIPI协议有了基本的了解,想要学习更多,就持续关注我吧!

lijun1093878959 发表于 2020-10-23 09:38:37

有源代码吗?

明德扬周老师 发表于 2020-10-23 11:31:34

lijun1093878959 发表于 2020-10-23 09:38
有源代码吗?

有的,可以买
页: [1]
查看完整版本: 多路MIPI视频合成案例