立即注册
查看: 233|回复: 1

[瑞芯微RK资料] ArmSoM Rockchip系列产品 通用教程 之 Camera 使用

已绑定手机
ARMSOM是一个嵌入式开源硬件品牌,致力于打造国内一流的嵌入式开源社区,为开发爱好者提供交流共享平台
发表于 2024-3-19 15:40:39 | 显示全部楼层 |阅读模式 来自 广东省深圳市
Camera 使用1. Camera 简介[color=var(--ifm-link-color)]​
  • ArmSoM系列产品使用的是mipi-csi接口的摄像头
  • ArmSoM-Sige7支持双摄同显: camera-interface-dbc83c21a3c2ee097d6621a71de864bd.png

2. RK3588硬件通路框图[color=var(--ifm-link-color)]​
camera-hardware-phy-5e1410dba074cecdc1d450ffcc6bcbf2.png
  • rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。
  • 回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。

3. RK3588 的camera通路:​
多sensor支持:
  • 单路硬件isp最多支持4路复用,isp复用情况支持分辨率如下:
  • 2路复用:最大分辨率3840x2160,dts对应配置2路rkisp_vir设备。
  • 3路或4路复用:最大分辨率2560x1536,dts对应配置3或4路rkisp_vir设备。
  • 硬件支持最多采集7路sensor:6mipi + 1dvp,多sensor软件通路如下:
下图是RK3588 camera连接链路示意图,可以支持7路camera。 camera-entity-90dd38c717f99cff792a16cbf1231195.png
4. 链路解析:​
image
  • 图中:mipi camera2---> csi2_dphy1 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
  • 对应节点:IMX415 ---> csi2_dphy0 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
  • 链接关系:sensor---> csi2 dphy---->mipi csi host--->vicap
  • 实线链路解析: Camera sensor ---> dphy ---> 通过mipi_csi2模块解析mipi协议---> vicap ( rkcif节点代表vicap )
  • 虚线链路解析:vicap ---> rkcif_mipi_lvds2_sditf ---> isp
提示
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。


5. ArmSoM-Sige7双路Camera调试​
这里以imx415摄像头为例,解析ArmSoM-Sige7双路Camera调试
5.1 原理图​
Camera1:CSI0_MIPI: camera-sch-a151d965a91cc3c3ec603161768aed09.png
Camera2: CS1_MIPI: camera-sch1-a5458ac922908a53ece1726b50a7f2e7.png
5.2 双路Camera的dts配置:​
  • 链路配置1: imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2
  • 链路配置2: imx415 —> csi2_dphy3 —> mipi4_csi2 —> rkcif_mipi_lvds4—>rkcif_mipi_lvds4_sditf —>rkisp1_vir1
  1. &i2c3 {
  2.     status = "okay";

  3.     imx415: imx415@1a {
  4.         status = "okay";
  5.         compatible = "sony,imx415";
  6.         reg = <0x1a>;
  7.         clocks = <&cru CLK_MIPI_CAMARAOUT_M3>;
  8.         clock-names = "xvclk";
  9.         pinctrl-names = "default";
  10.         pinctrl-0 = <&mipim0_camera3_clk>;
  11.         power-domains = <&power RK3588_PD_VI>;
  12.         pwdn-gpios = <&gpio1 RK_PB0 GPIO_ACTIVE_HIGH>;
  13.         reset-gpios = <&gpio4 RK_PA0 GPIO_ACTIVE_LOW>;
  14.         rockchip,camera-module-index = <0>;
  15.         rockchip,camera-module-facing = "back";
  16.         rockchip,camera-module-name = "CMK-OT2022-PX1";
  17.         rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";
  18.         port {
  19.             imx415_out0: endpoint {
  20.                 remote-endpoint = <&mipidphy0_in_ucam0>;
  21.                 data-lanes = <1 2 3 4>;
  22.             };
  23.         };
  24.     };
  25. };

  26. &i2c4 {
  27.     status = "okay";
  28.     pinctrl-names = "default";
  29.     pinctrl-0 = <&i2c4m1_xfer>;
  30.     imx415_1: imx415_1@1a {
  31.         status = "okay";
  32.         compatible = "sony,imx415";
  33.         reg = <0x1a>;
  34.         clocks = <&cru CLK_MIPI_CAMARAOUT_M2>;
  35.         clock-names = "xvclk";
  36.         pinctrl-names = "default";
  37.         pinctrl-0 = <&mipim0_camera2_clk>;
  38.         power-domains = <&power RK3588_PD_VI>;
  39.         pwdn-gpios = <&gpio3 RK_PA2 GPIO_ACTIVE_HIGH>;
  40.         reset-gpios = <&gpio3 RK_PA0 GPIO_ACTIVE_LOW>;
  41.         rockchip,camera-module-index = <1>;
  42.         rockchip,camera-module-facing = "back";
  43.         rockchip,camera-module-name = "CMK-OT2022-PX1";
  44.         rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";
  45.         port {
  46.             imx415_out3: endpoint {
  47.                 remote-endpoint = <&mipidphy3_in_ucam3>;
  48.                 data-lanes = <1 2 3 4>;
  49.             };
  50.         };
  51.     };

  52. };

  53. &csi2_dphy0_hw {
  54.     status = "okay";
  55. };

  56. &csi2_dphy1_hw {
  57.     status = "okay";
  58. };

  59. &csi2_dphy0 {
  60.     status = "okay";

  61.     ports {
  62.         #address-cells = <1>;
  63.         #size-cells = <0>;

  64.         port@0 {
  65.             reg = <0>;
  66.             #address-cells = <1>;
  67.             #size-cells = <0>;

  68.             mipidphy0_in_ucam0: endpoint@1 {
  69.                 reg = <1>;
  70.                 remote-endpoint = <&imx415_out0>;
  71.                 data-lanes = <1 2 3 4>;
  72.             };

  73.         };

  74.         port@1 {
  75.             reg = <1>;
  76.             #address-cells = <1>;
  77.             #size-cells = <0>;

  78.             csidphy0_out: endpoint@0 {
  79.                 reg = <0>;
  80.                 remote-endpoint = <&mipi2_csi2_input>;
  81.             };
  82.         };
  83.     };
  84. };

  85. &csi2_dphy3 {
  86.     status = "okay";

  87.     ports {
  88.         #address-cells = <1>;
  89.         #size-cells = <0>;

  90.         port@0 {
  91.             reg = <0>;
  92.             #address-cells = <1>;
  93.             #size-cells = <0>;

  94.             mipidphy3_in_ucam3: endpoint@1 {
  95.                 reg = <1>;
  96.                 remote-endpoint = <&imx415_out3>;
  97.                 data-lanes = <1 2 3 4>;
  98.             };

  99.         };

  100.         port@1 {
  101.             reg = <1>;
  102.             #address-cells = <1>;
  103.             #size-cells = <0>;

  104.             csidphy3_out: endpoint@0 {
  105.                 reg = <0>;
  106.                 remote-endpoint = <&mipi4_csi2_input>;
  107.             };
  108.         };
  109.     };
  110. };

  111. &mipi2_csi2 {
  112.     status = "okay";

  113.     ports {
  114.         #address-cells = <1>;
  115.         #size-cells = <0>;

  116.         port@0 {
  117.             reg = <0>;
  118.             #address-cells = <1>;
  119.             #size-cells = <0>;

  120.             mipi2_csi2_input: endpoint@1 {
  121.                 reg = <1>;
  122.                 remote-endpoint = <&csidphy0_out>;
  123.             };
  124.         };

  125.         port@1 {
  126.             reg = <1>;
  127.             #address-cells = <1>;
  128.             #size-cells = <0>;

  129.             mipi2_csi2_output: endpoint@0 {
  130.                 reg = <0>;
  131.                 remote-endpoint = <&cif_mipi2_in0>;
  132.             };
  133.         };
  134.     };
  135. };

  136. &mipi4_csi2 {
  137.     status = "okay";

  138.     ports {
  139.         #address-cells = <1>;
  140.         #size-cells = <0>;

  141.         port@0 {
  142.             reg = <0>;
  143.             #address-cells = <1>;
  144.             #size-cells = <0>;

  145.             mipi4_csi2_input: endpoint@1 {
  146.                 reg = <1>;
  147.                 remote-endpoint = <&csidphy3_out>;
  148.             };
  149.         };

  150.         port@1 {
  151.             reg = <1>;
  152.             #address-cells = <1>;
  153.             #size-cells = <0>;

  154.             mipi4_csi2_output: endpoint@0 {
  155.                 reg = <0>;
  156.                 remote-endpoint = <&cif_mipi_in4>;
  157.             };
  158.         };
  159.     };
  160. };

  161. &rkcif {
  162.     status = "okay";
  163. };

  164. &rkcif_mipi_lvds2 {
  165.     status = "okay";

  166.     port {
  167.         cif_mipi2_in0: endpoint {
  168.             remote-endpoint = <&mipi2_csi2_output>;
  169.         };
  170.     };
  171. };

  172. &rkcif_mipi_lvds2_sditf {
  173.     status = "okay";

  174.     port {
  175.         mipi_lvds2_sditf: endpoint {
  176.             remote-endpoint = <&isp0_vir2>;
  177.         };
  178.     };
  179. };

  180. &rkcif_mipi_lvds4 {
  181.     status = "okay";

  182.     port {
  183.         cif_mipi_in4: endpoint {
  184.             remote-endpoint = <&mipi4_csi2_output>;
  185.         };
  186.     };
  187. };

  188. &rkcif_mipi_lvds4_sditf {
  189.     status = "okay";

  190.     port {
  191.         mipi4_lvds_sditf: endpoint {
  192.             remote-endpoint = <&isp1_vir1>;
  193.         };
  194.     };
  195. };

  196. &rkcif_mmu {
  197.     status = "okay";
  198. };

  199. &rkisp0 {
  200.     status = "okay";
  201. };

  202. &isp0_mmu {
  203.     status = "okay";
  204. };

  205. &rkisp0_vir2 {
  206.     status = "okay";

  207.     port {
  208.         #address-cells = <1>;
  209.         #size-cells = <0>;

  210.         isp0_vir2: endpoint@0 {
  211.             reg = <0>;
  212.             remote-endpoint = <&mipi_lvds2_sditf>;
  213.         };
  214.     };
  215. };

  216. &rkisp1 {
  217.     status = "okay";
  218. };

  219. &isp1_mmu {
  220.     status = "okay";
  221. };

  222. &rkisp1_vir1 {
  223.     status = "okay";

  224.     port {
  225.         #address-cells = <1>;
  226.         #size-cells = <0>;

  227.         isp1_vir1: endpoint@0 {
  228.             reg = <0>;
  229.             remote-endpoint = <&mipi4_lvds_sditf>;
  230.         };
  231.     };
  232. };


  233. &pinctrl {
  234.     camera {
  235.         cam_pwdn_gpio: cam-pwdn-gpio {
  236.             rockchip,pins = <1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up>;
  237.         };
  238.     };
  239. };
复制代码


6. 调试技巧
6.1 查看Camera是否挂载到i2c总线下
  1. i2cdetect -y 3
复制代码

6.2 查看拓扑结构
  1. media-ctl -d /dev/media0 -p
复制代码


6.3 imx415 相关的log信息
  1. dmesg | grep imx415
复制代码

6.4 查看sys文件系统中文件信息​
内核会为摄像头在目录/sys/class/video4linux下分配设备信息描述文件
  1. armsom@armsom:~$  grep imx415 /sys/class/video4linux/v*/name
  2. /sys/class/video4linux/v4l-subdev2/name:m00_b_imx415 3-001a
  3. /sys/class/video4linux/v4l-subdev7/name:m01_b_imx415 4-001a
复制代码
查找Camera对应的vedio节点:
  1. armsom@armsom:~$ grep "" /sys/class/video4linux/v*/name | grep mainpath
  2. /sys/class/video4linux/video22/name:rkisp_mainpath
  3. /sys/class/video4linux/video31/name:rkisp_mainpath
复制代码

可以看到,在ArmSoM-Sige7中,双Camera的节点对应的是:video22和video31
6.5 查找所有摄像头设备
  1. armsom@armsom:~$ v4l2-ctl --list-devices
  2. rkisp-statistics (platform: rkisp):
  3.         /dev/video29
  4.         /dev/video30
  5.         /dev/video38
  6.         /dev/video39

  7. rkcif-mipi-lvds2 (platform:rkcif):
  8.         /dev/media0
  9.         /dev/media1

  10. rkcif (platform:rkcif-mipi-lvds2):
  11.         /dev/video0
  12.         /dev/video1
  13.         /dev/video2
  14.         /dev/video3
  15.         /dev/video4
  16.         /dev/video5
  17.         /dev/video6
  18.         /dev/video7
  19.         /dev/video8
  20.         /dev/video9
  21.         /dev/video10

  22. rkcif (platform:rkcif-mipi-lvds4):
  23.         /dev/video11
  24.         /dev/video12
  25.         /dev/video13
  26.         /dev/video14
  27.         /dev/video15
  28.         /dev/video16
  29.         /dev/video17
  30.         /dev/video18
  31.         /dev/video19
  32.         /dev/video20
  33.         /dev/video21

  34. rkisp_mainpath (platform:rkisp0-vir0):
  35.         /dev/video22
  36.         /dev/video23
  37.         /dev/video24
  38.         /dev/video25
  39.         /dev/video26
  40.         /dev/video27
  41.         /dev/video28
  42.         /dev/media2

  43. rkisp_mainpath (platform:rkisp1-vir1):
  44.         /dev/video31
  45.         /dev/video32
  46.         /dev/video33
  47.         /dev/video34
  48.         /dev/video35
  49.         /dev/video36
  50.         /dev/video37
  51.         /dev/media3
复制代码


其中/dev/video22和/dev/video31都是摄像头的设备。
6.6 查看设备的预览支持格式​
如下是video22节点: imx415 摄像头的查询结果:
  1. armsom@armsom:~$ v4l2-ctl -d /dev/video22 --list-formats-ext
  2. ioctl: VIDIOC_ENUM_FMT
  3.         Type: Video Capture Multiplanar

  4.         [0]: 'UYVY' (UYVY 4:2:2)
  5.                 Size: Stepwise 32x32 - 3840x2160 with step 8/8
  6.         [1]: 'NV16' (Y/CbCr 4:2:2)
  7.                 Size: Stepwise 32x32 - 3840x2160 with step 8/8
  8.         [2]: 'NV61' (Y/CrCb 4:2:2)
  9.                 Size: Stepwise 32x32 - 3840x2160 with step 8/8
  10.         [3]: 'NV21' (Y/CrCb 4:2:0)
  11.                 Size: Stepwise 32x32 - 3840x2160 with step 8/8
  12.         [4]: 'NV12' (Y/CbCr 4:2:0)
  13.                 Size: Stepwise 32x32 - 3840x2160 with step 8/8
  14.         [5]: 'NM21' (Y/CrCb 4:2:0 (N-C))
  15.                 Size: Stepwise 32x32 - 3840x2160 with step 8/8
  16.         [6]: 'NM12' (Y/CbCr 4:2:0 (N-C))
  17.                 Size: Stepwise 32x32 - 3840x2160 with step 8/8

复制代码

6.7 查看设备的所有信息:
  1. armsom@armsom:~$ v4l2-ctl --all --device /dev/video22
  2. Driver Info:
  3.         Driver name      : rkisp_v6
  4.         Card type        : rkisp_mainpath
  5.         Bus info         : platform:rkisp0-vir0
  6.         Driver version   : 2.3.0
  7.         Capabilities     : 0x84201000
  8.                 Video Capture Multiplanar
  9.                 Streaming
  10.                 Extended Pix Format
  11.                 Device Capabilities
  12.         Device Caps      : 0x04201000
  13.                 Video Capture Multiplanar
  14.                 Streaming
  15.                 Extended Pix Format
  16. Media Driver Info:
  17.         Driver name      : rkisp0-vir0
  18.         Model            : rkisp0
  19.         Serial           :
  20.         Bus info         :
  21.         Media version    : 5.10.160
  22.         Hardware revision: 0x00000000 (0)
  23.         Driver version   : 5.10.160
  24. Interface Info:
  25.         ID               : 0x03000007
  26.         Type             : V4L Video
  27. Entity Info:
  28.         ID               : 0x00000006 (6)
  29.         Name             : rkisp_mainpath
  30.         Function         : V4L2 I/O
  31.         Pad 0x01000009   : 0: Sink
  32.           Link 0x0200000a: from remote pad 0x1000004 of entity 'rkisp-isp-subdev' (Unknown V4L2 Sub-Device): Data, Enabled
  33. Priority: 2
  34. Format Video Capture Multiplanar:
  35.         Width/Height      : 3840/2160
  36.         Pixel Format      : 'NM12' (Y/CbCr 4:2:0 (N-C))
  37.         Field             : None
  38.         Number of planes  : 2
  39.         Flags             :
  40.         Colorspace        : sRGB
  41.         Transfer Function : Rec. 709
  42.         YCbCr/HSV Encoding: Rec. 709
  43.         Quantization      : Full Range
  44.         Plane 0           :
  45.            Bytes per Line : 3840
  46.            Size Image     : 8294400
  47.         Plane 1           :
  48.            Bytes per Line : 3840
  49.            Size Image     : 4147200
  50. Selection Video Capture: crop, Left 0, Top 0, Width 3840, Height 2160, Flags:
  51. Selection Video Capture: crop_bounds, Left 0, Top 0, Width 3840, Height 2160, Flags:
  52. Selection Video Output: crop, Left 0, Top 0, Width 3840, Height 2160, Flags:
  53. Selection Video Output: crop_bounds, Left 0, Top 0, Width 3840, Height 2160, Flags:

  54. Image Processing Controls

  55.                      pixel_rate 0x009f0902 (int64)  : min=0 max=1000000000 step=1 default=1000000000 value=356800000 flags=read-only, volatile
复制代码

6.8 摄像头预览​
ArmSoM-Sige7中,双Camera的预览命令:
  • 预览摄像头1:
  1. gst-launch-1.0 v4l2src device=/dev/video22 ! video/x-raw,format=NV12,width=3840,height=2160,framerate=30/1 ! videoconvert ! autovideosink
复制代码

  • 预览摄像头2:
  1. gst-launch-1.0 v4l2src device=/dev/video31 ! video/x-raw,format=NV12,width=3840,height=2160,framerate=30/1 ! videoconvert ! autovideosink
复制代码

camera-gts-c88a1b6c185380f890b63ff9727ae42b.png
7. Camera应用程序开发​
客户可以根据自己的需求进行Camera相关的应用程序开发,如下是使用QT开发的双摄同显应用程序:
camera-two-71595472566a9b0b7224423ae58c1d23.png

已绑定手机
发表于 2024-3-20 09:50:15 | 显示全部楼层 来自 广东省深圳市
学习了                        
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

合作/建议

TEL: 19168984579

工作时间:
周一到周五 9:00-11:30 13:30-19:30
  • 扫一扫关注公众号
  • 扫一扫打开小程序
Copyright © 2013-2024 一牛网 版权所有 All Rights Reserved. 帮助中心|隐私声明|联系我们|手机版|粤ICP备13053961号|营业执照|EDI证
在本版发帖搜索
微信客服扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表