RK3588-Camera:MIPI-CSI调试之通路解析-环球快消息
一、简介
专栏总目录
【资料图】
本文介绍RK3588平台的Camera:MIPI-CSI调试之通路解析
MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface 简称MIPI)联盟。MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。
目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化,从而减少手机设计的复杂程度和增加设计灵活性。
CSI & DSI
• CSI ( Camera Serial Interface ):摄像头接口
• DSI ( Display Serial Interface ):显示接口
二、 名词解释:
ISP ( Image Signal Processor ): 即图像信号处理模块, 主要作用是对前端图像传感器输出的信号做后期处理,依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节。VICAP( Video capture ):视频捕获单元三、RK3588 的camera通路:
多sensor支持:
单路硬件isp最多支持4路复用,isp复用情况支持分辨率如下:2路复用:最大分辨率3840x2160,dts对应配置2路rkisp_vir设备。3路或4路复用:最大分辨率2560x1536,dts对应配置3或4路rkisp_vir设备。硬件支持最多采集7路sensor:6mipi + 1dvp,多sensor软件通路如下:下图是RK3588 camera连接链路示意图,可以支持7路camera。
四、 链路解析:
图中:mipi camera2---> csi2_dphy1 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
对应节点:imx415 ---> csi2_dphy0 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
链接关系:sensor---> csi2 dphy---->mipi csi host--->vicap
实线链路解析: Camera sensor ---> dphy ---> 通过mipi_csi2模块解析mipi协议---> vicap ( rkcif节点代表vicap )
虚线链路解析:vicap ---> rkcif_mipi_lvds2_sditf ---> isp
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
五、RK3588硬件通路框图
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。六、详细解析:
imx415 : Camera sensorcsi2_dphy0 : rk3588支持2个dphy硬件,这里我们称之为dphy0_hw/dphy1_hw ,,两个dphy硬件都可以工作在full mode 和split mode两种模式下。当使用dphy0_hw:
full mode:节点名称使用csi2_dphy0,最多支持4 lane。当dphy0_hw使用full mode时,链路需要按照csi2_dphy1这条链路来配置,但是节点名称csi2_dphy1需要修改为csi2_dphy0,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy1(使用0/1 lane)、csi2_dphy2(使用2/3 lane),每个phy最多支持2 lane。当使用dphy1_hw:
full mode:节点名称使用csi2_dphy3,最多支持4 lane。当dphy1_hw使用full mode时,链路需要按照csi2_dphy4这条链路来配置,但是节点名称csi2_dphy4需要修改为csi2_dphy3,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy4(使用0/1 lane)、csi2_dphy5(使用2/3 lane),每个phy最多支持2 lane。dcphy:rk3588支持两个dcphy,节点名称分别为csi2_dcphy0/csi2_dcphy1。每个dcphy硬件支持RX/TX同时使用,对于camera输入使用的是RX。支持DPHY/CPHY协议复用;需要注意的是同一个dcphy的TX/RX只能同时使用DPHY或同时使用CPHY。其他dcphy参数请查阅rk3588数据手册。
使用上述mipi phy节点,需要把对应的物理节点配置上。(csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw)
每个mipi phy都需要一个csi2模块来解析mipi协议,节点名称分别为mipi0_csi2~mipi5_csi2。
rk3588所有camera数据都需要通过vicap,再链接到isp。rk3588仅支持一个vicap硬件,这个vicap支持同时输入6路mipi phy,及一路dvp数据,所以我们将vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7个节点,各个节点的绑定关系需要严格按照框图的节点序号配置。
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。
直通与回读模式:•直通:指数据经过vicap采集,直接发送给isp处理,不存储到ddr。需要注意的是hdr直通时,只有短帧是真正的直通,长帧需要存在ddr,isp再从ddr读取。
•回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。
•在dts配置时,一个isp硬件,如果只配置一个虚拟节点,默认使用直通模式,如果配置了多个虚拟节点默认使用回读模式。
七、单路Camera的dts配置说明:( 以imx415摄像头为例 )
案例场景:这里使用的是csi2_dphy0的单路camera配置:链路配置: imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2&i2c3 {status = "okay";imx415: imx415@1a {status = "okay";compatible = "sony,imx415";reg = < 0x1a >;clocks = < &cru CLK_MIPI_CAMARAOUT_M3 >;clock-names = "xvclk";pinctrl-names = "default";pinctrl-0 = < &mipim0_camera3_clk >;power-domains = < &power RK3588_PD_VI >;pwdn-gpios = < &gpio1 RK_PB0 GPIO_ACTIVE_HIGH >;reset-gpios = < &gpio4 RK_PA0 GPIO_ACTIVE_LOW >;rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "CMK-OT2022-PX1";rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";port {imx415_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam0 >;data-lanes = < 1 2 3 4 >;};};};camera_imx219: camera-imx219@10 {status = "disabled";compatible = "sony,imx219";reg = < 0x10 >;clocks = < &clk_cam_24m >;clock-names = "xvclk";rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "rpi-camera-v2";rockchip,camera-module-lens-name = "default";port {imx219_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam1 >;data-lanes = < 1 2 >;};};};};&csi2_dphy0_hw {status = "okay";};&csi2_dphy0 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipidphy0_in_ucam0: endpoint@1 {reg = < 1 >;remote-endpoint = < &imx415_out0 >;data-lanes = < 1 2 3 4 >;};mipidphy0_in_ucam1: endpoint@2 {reg = < 2 >;remote-endpoint = < &imx219_out0 >;data-lanes = < 1 2 >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;csidphy0_out: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi2_csi2_input >;};};};};&mipi2_csi2 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_input: endpoint@1 {reg = < 1 >;remote-endpoint = < &csidphy0_out >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_output: endpoint@0 {reg = < 0 >;remote-endpoint = < &cif_mipi2_in0 >;};};};};&rkcif {status = "okay";};&rkcif_mipi_lvds2 {status = "okay";port {cif_mipi2_in0: endpoint {remote-endpoint = < &mipi2_csi2_output >;};};};&rkcif_mipi_lvds2_sditf {status = "okay";port {mipi_lvds2_sditf: endpoint {remote-endpoint = < &isp0_vir0 >;};};};&rkcif_mmu {status = "okay";};&rkisp0 {status = "okay";};&isp0_mmu {status = "okay";};&rkisp0_vir0 {status = "okay";port {#address-cells = < 1 >;#size-cells = < 0 >;isp0_vir0: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi_lvds2_sditf >;};};};&pinctrl {camera {cam_pwdn_gpio: cam-pwdn-gpio {rockchip,pins = < 1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up >;};};};
八、 调试技巧
8.1 i2c设备的通用调试命令:查看设备是否挂载到i2c总线下:
i2cdetect -y 3
8.2 摄像命令
Linux系统摄像命令:gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160, framerate=30/1 ! xvimagesink
Android系统:
Android系统自带相机APP。点击APP,看摄像画面是否正常显示。
8.3 imx415 相关的log信息
dmesg | grep imx415
8.4 查看拓扑结构
media-ctl -d /dev/media0 -p
审核编辑:汤梓红
标签:
- RK3588-Camera:MIPI-CSI调试之通路解析-环球快消息
- RK3588-MIPI屏幕调试笔记:RK3588-MIPI-DSI之LCD上电初始化时序 世界今头条
- 全球快看:埃塞俄比亚选手包揽兰州马拉松男女冠军
- 定位筋间距不大于多少?_定位筋_环球快消息
- 环球热推荐:公共管理在职研究生有用吗_公共管理在职研究生
- 马总追妻又翻车_马总
- hospital怎么读_in hospital
- 红领巾心向党4k手抄报_红领巾心向党手抄报简单内容
- 经期可以吃螃蟹和虾吗?(经期可以吃螃蟹)
- 当前热议!桃子功效和营养价值(桃子功效)
- 天天百事通!疑犯追踪第三季第9集视频解说(疑犯追踪第三季)
- 混凝土裂缝的原因及处理方法有哪些(混凝土裂缝)
- 滚动:新月形沙丘判断风向简易图(新月形沙丘判断风向)
- 鹿鞭酒怎么泡酒配方(鹿鞭酒怎么泡)|全球播资讯
- 全球连线|洪都拉斯外长雷纳:期待洪中两国共促高水平双边合作、共拓发展机遇
- 存在管理基金未托管等多项违规,众信德隆股权投资被出具警示函-热点聚焦
- 快播:这些地方发生数十次战斗!俄国防部:乌军1天内损失多达1240名士兵和39辆坦克,装甲车被摧毁视频公布
- 当前关注:李尚福会见泰国陆军司令
- 开展!这场追本溯源的一“字”之约等你来聚
- 每日视点!世界新动态:全新途观曝光!外观神似小途锐 这颜值可不输豪车?
- 床垫甲醛多少超标(床垫甲醛释放量国家检测标准是多少) 全球观点
- 二十碳五烯酸需求量(二十碳五烯酸)|天天热门
- 天天观热点:北京门头沟举办“文化和自然遗产日”非遗宣传展示活动
- 全球观速讯丨AI前哨 | OpenAI联合创始人Sam Altman:安全性很重要 不会很快有GPT-5
- 中国代表敦促日方勿让福岛核污染水危害人类健康 焦点滚动
- 关于铁路计次票、定期票 如何购买使用
- 临床医学研究生报考条件知乎(临床医学研究生报考条件)
- 金陵十二钗判词及人物(金陵十二钗判词)
- 当前聚焦:黄瓜汁怎么榨好喝儿童(黄瓜汁怎么榨好喝)
- 世界速看:dlan是什么意思中文(dlan是什么)
- 今日热议:12月去云南旅游必备物品清单表(12月去云南旅游必备物品)
- 【独家焦点】50多岁男人的性功能(50岁男人的性能力)
- 干红葡萄酒兑什么饮料好喝?
- 饮酒配什么蔬菜好吃?_天天速看料
- 环球热点评!红酒最佳伴侣是指什么?
- 谷歌反垄断案将如何影响人工智能技术的未来市场格局?
- 常见恶性肿瘤联合筛查启动
- 全球新动态:天津发布促进港产城高质量融合发展政策措施 多重维度推动港产城互联互补互促
- 天狗吞月的故事简短20字_天狗吞月的故事
- 新消息丨跖疣就是hpv携带者吗_脚上长的跖疣怎么办
- 阳萎早谢该怎么办_阳萎怎么办
- 世界今热点:歌颂祖国的诗词名句有哪些_歌颂祖国的诗词名句
- 热讯:香港金六福珠宝怎么样_香港金六福珠宝
- 焦点!错嫁残颜全文阅读_错嫁残颜
- 乔欣终于不扮乖乖女,一袭黄色高开叉礼服大秀曼妙身材,性感时髦 世界观热点
- 当前快看:秋冬想要曼妙的身材,让三木教你用一条腰带来提升气质,时髦高级
- 炎炎夏日,女子选择清凉舒适的吊带衫,尽显温柔气质和曼妙身姿
- 美国一列车脱轨,23节车厢严重损毁|速看料
- 面对突如其来的粉丝接机,老戏骨全程冷漠脸,最后直接cue蔡徐坤
- 【世界时快讯】恭喜!香港知名女星宣布二胎产子,富豪丈夫抱着儿子像抱着孙子
- 天狗吞月的故事简短20字_天狗吞月的故事|世界短讯
- 跖疣就是hpv携带者吗_脚上长的跖疣怎么办|世界今亮点
- 阳萎早谢该怎么办_阳萎怎么办 全球短讯
- 歌颂祖国的诗词名句有哪些_歌颂祖国的诗词名句-天天新动态
- 香港金六福珠宝怎么样_香港金六福珠宝
- 错嫁残颜全文阅读_错嫁残颜
- 非遗融入生活 文化自信自强 天天日报
- 全球滚动:市商务局做强港口关联产业 推动“通道经济”向“港口经济”转型
- 天津发布促进港产城高质量融合发展政策措施 多重维度推动港产城互联互补互促
- 李小璐身后,那些进入她世界里的人,只不过都是过客而已-热推荐
- 网暴将受严惩,依法精准打击,就问你怕不怕|环球今热点
- 环球实时:“两展一节”在京启动,北京茶业交易中心平台预计年底运行
- 非遗“破墙”,居民沉浸式体验“我在上博修文物”
- 焦点精选!逐步打造“15分钟社区就业服务圈”,浦东这个镇全面推进村居就业服务示范工作
- 环球微动态丨“快闪”表演、政策咨询……“12367”移民管理品牌宣传进社区文明实践活动举行
- 我是大运火炬手丨丁宁:大运会既是赛场,更是世界青年的交流展示平台
- 广州番禺警方通报“一男子在女厕门口偷拍”
- 央行研究局局长王信:统筹用好支持绿色低碳发展的价格型和非价格型工具
- 速看!因自来水厂停电,河南信阳市商城县城停水 全球时快讯
- 《仙剑三》翻拍:情怀有多不值钱?
- 天天热点!明明很漂亮,却让人不想追剧,从李沁到鞠婧祎,问题出在哪?
- 当前播报:济南海关查获禁止进口固体废物23吨
- 当前关注:头狼:黄金下周1970-73区域布局空
- 打新套利动辄千万,“万人摇”乱象丛生,楼市限价将“退出”?_最资讯
- 女子跳水比赛直播在线观看_女子跳水比赛直播_当前独家
- 未安装flash控件无法上传图片怎么办_未安装flash控件无法上传图片|每日热议
- 焦点热议:黑精灵王的遮脸男孩TXT_黑精灵王的遮脸男孩
- 北京斗武概括150字_北京斗武概括-天天热议
- 八戒日付网打码_我要日付网
- 文字竖排数字横排怎么设置_word文字竖排数字横排 环球微动态
- 【世界聚看点】一台无人机相当于25名工人,江陵县水稻种植运用无人机撒播
- 让“沉睡”的档案“复活”,走近黄石公安“兰台人”
- 爱心满满,湖北交投全力护航高考-环球热头条
- 四川阿坝州茂县发生3.2级地震
- 6月9日,杭州市区二手房成交124套 世界新视野
- 每日看点!钱报健康小站|一到夏天皮肤就瘙痒,不妨试试中医止痒
- 每日热闻!在智慧港口见证大湾区经济活力
- 我国科学家利用“九章”光量子计算原型机求解图论问题
- 观速讯丨我国成功发射龙江三号试验卫星
- 全球时讯:严正化不敢看《车贞淑医生》首播,被夸后中断录影爆哭半小时
- 郑裕美、李善均恐怖悬疑新电影《梦游》,坎城首映后获外媒大赞 全球看点
- 《黑暗荣耀》郑星一将演出古装电影新作《战,乱》,与车胜元、朴正民、姜栋元合作 天天快资讯
- 环球短讯!恐怖《午夜迷途》现身全国院线电影推介会, “翁丁原始部落”引发群体震颤
- 《透明侠侣》转运曲《好事会发生》,史策王皓出租车甜蜜穿越透明浪漫宇宙
- 商圈+公园!预计10月,内江这里将添新地标
- 飞龙股份: 关于收到储能项目定点通知书的公告
- 世龙实业: 关于深圳证券交易所2022年年报问询函的回复公告|每日消息
- 世界观天下!世龙实业: 关于完成工商变更登记并换发营业执照的公告
- Netflix订户数量大幅上升,打击密码共享成果显现|每日聚焦
- 德云社违反卫生管理, 未取得卫生许可证被罚3万