ArmSoM 适用说明与来源范围
本文为 Rockchip 平台参考,不是 ArmSoM 硬件验证报告,介绍 RKISP 模块、摄像头整体工作流及相关 API,供摄像头驱动调试使用。原稿为 Rockchip_Driver_Guide_VI_EN_v1.0.7.pdf,V1.0.7,共 133 页。本次未提供对应中文 PDF;中文、俄文均完整翻译英文原稿,三语全部使用该英文原图。
封面产品表列 RV1126/RV1109、Linux 4.19;随后适用表还列 RK3566/RK3568,以下分别保留。这不能证明所有 ArmSoM 板卡或 BSP 均适用。适配前须核实具体 SoC、Linux 4.19 原厂 SDK/BSP、ISP/ISPP/VICAP 链路、摄像头连接器和通道布线、传感器/VCM/闪光灯供电及时钟、DTS、IQ/AIQ 版本。本次未做板卡硬件验证;以下测量、日志及命令均为原文示例,不是 ArmSoM 实测。
原稿疑点不静默修正:PDF 第 6、13 页能力表对 RK356x 最大分辨率的描述不一致;部分段落使用 RV1106,而产品范围为 RV1109。hsync-acitve、pclk-ative、hieght、/dev/medio0 等原稿拼写应与目标 BSP 核对。应用示例前请查看校对记录。延迟优化中的禁用 IOMMU、提高时钟为原文方案,不是适用于所有生产环境的建议。
校对记录 · ArmSoM 官方文档 · Linux 媒体用户空间 API
原文产品范围(PDF 第 1 页)
| 芯片 | 内核版本 |
|---|---|
| RV1126/RV1109 | Linux 4.19 |
原文适用矩阵(PDF 第 2 页)
| 平台 | Linux Kernel 4.19 |
|---|---|
| RV1126 | Y |
| RV1109 | Y |
| RK3566 | Y |
| RK3568 | Y |
不同芯片的 VI 差异
| SOC | VI IP | VI 接口 | Bayer CIS 最大分辨率 | 特性 |
|---|---|---|---|---|
| RV1109 | ISP20(ISP + ISPP):1;VICAP Full:1;VICAP Lite:1 | MIPI DPHY:2 × 4 Lanes,2.5Gbps/Lane;LVDS:2 × 4 Lanes,1.0Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 3072x2048 | 最多 3 帧 HDR |
| RK3566 | ISP21 Lite:1;VICAP Full:1 | MIPI DPHY:2 × 2 Lanes 或 1 × 4 Lanes,2.5Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 4096x2304 | 不支持 HDR |
| RK3568 | ISP21:1;VICAP Full:1 | MIPI DPHY:2 × 2 Lanes 或 1 × 4 Lanes,2.5Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 4096x2304 | 最多 2 帧 HDR |
| RV1126 | ISP20(ISP + ISPP):1;VICAP Full:1;VICAP Lite:1 | MIPI DPHY:2 × 4 Lanes,2.5Gbps/Lane;LVDS:2 × 4 Lanes,1.0Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 4416x3312 | 最多 3 帧 HDR |
Camera 软件驱动目录说明
Linux Kernel-4.19
-
arch/arm/boot/dts— DTS 配置文件 -
drivers/phy/rockchip -
drivers/phy/rockchip/phy-rockchip-mipi-rx.c— MIPI DPHY 驱动 -
drivers/phy/rockchip/phy-rockchip-csi2-dphy-common.h -
drivers/phy/rockchip/phy-rockchip-csi2-dphy-hw.c -
drivers/phy/rockchip/phy-rockchip-csi2-dphy.c -
drivers/media -
drivers/media/platform/rockchip/cif -
drivers/media/platform/rockchip/isp -
drivers/media/platform/rockchip/isp/dev— 包含 probe、异步注册、时钟、pipeline、iommu 和 media/v4l2 框架 -
drivers/media/platform/rockchip/isp/capture— 包含 mp/sp/rawwr 配置、vb2 和帧中断处理 -
drivers/media/platform/rockchip/isp/dmarx— 包含 rawrd 配置、vb2 和帧中断处理 -
drivers/media/platform/rockchip/isp/isp_params— 3A 相关参数设置 -
drivers/media/platform/rockchip/isp/isp_stats— 3A 相关统计 -
drivers/media/platform/rockchip/isp/isp_mipi_luma— MIPI 数据亮度统计 -
drivers/media/platform/rockchip/isp/regs— 寄存器相关读写操作 -
drivers/media/platform/rockchip/isp/rkisp— ISP subdev 和 entity 注册 -
drivers/media/platform/rockchip/isp/csi— CSI subdev 和 MIPI 配置 -
drivers/media/platform/rockchip/isp/bridge— bridge subdev,ISP 与 ISPP 的交互桥 -
drivers/media/platform/rockchip/ispp -
drivers/media/platform/rockchip/ispp/dev— 包含 probe、异步注册、时钟、pipeline、iommu 和 media/v4l2 框架 -
drivers/media/platform/rockchip/ispp/stream— 包含 4 路视频输出配置、vb2 和帧中断处理 -
drivers/media/platform/rockchip/ispp/rkispp— ISPP subdev 和 entity 注册 -
drivers/media/platform/rockchip/ispp/params— TNR/NR/SHP/FEC/ORB 参数设置 -
drivers/media/platform/rockchip/ispp/stats— ORB 统计 -
drivers/media/i2c -
drivers/media/i2c/os04a10.c— CIS(CMOS 图像传感器)驱动
ISP 与 VICAP 的链接关系
在 RV1126/RV1109 和 RK356X 平台上,VICAP 和 ISP 是两个独立的图像处理 IP。如果 VICAP 采集的图像需要由 ISP 处理,驱动层需要生成 VICAP 对应接口的 v4l2 子设备,与 ISP 对应节点链接,为 ISP 驱动提供所需参数。ISP 驱动说明见“RKISP 驱动”,VICAP 驱动说明见“RKVICAP 驱动”。各 VICAP 接口与 ISP 的总体链接框图如下:

英文原图 1,PDF 第 7 页
RKISP 驱动
框架简述
RKISP 驱动主要基于 v4l2/media 框架,实现硬件配置、中断处理、缓冲区轮转控制,以及 MIPI DPHY、sensor 等子设备的上下电控制。
下图描述 RKISP 驱动的拓扑结构:

英文原图 2,PDF 第 8 页
| 名称 | 类型 | 说明 |
|---|---|---|
| rkisp_mainpath | v4l2_vdevcapture | 格式:YUV、RAW Bayer;支持裁剪 |
| rkisp_selfpath | v4l2_vdevcapture | 格式:YUV、RGB;支持裁剪 |
| rkisp-isp-subdev | v4l2_subdev | ISP 内部模块,支持 source/sink pad 裁剪。sink pad 的格式、尺寸等于 sensor 输入格式、尺寸;若输出为 raw Bayer,source pad 格式应等于 vdev 输出格式,否则应为 YUYV2X8。source pad 尺寸应小于或等于 sink pad。 |
| rkisp-mipi-luma | v42_vdevcapture | 提供 raw 图像亮度 |
| rkisp-statistics | v4l2_vdevcapture | 提供图像颜色统计信息 |
| rkisp-input-params | v4l2_vdevoutput | 接收 AWB、BLC 等图像增强模块参数 |
| rkisp_rawrd0_m | v4l2_vdevoutput | 从 DDR 读取 raw 图像到 ISP,通常用于 HDR 中帧 |
| rkisp_rawrd1_l | v4l2_vdevoutput | 从 DDR 读取 raw 图像到 ISP,通常用于 HDR 长帧 |
| rkisp_rawrd2_s | v4l2_vdevoutput | 从 DDR 读取 raw 图像到 ISP,通常用于 HDR 短帧 |
| rkisp-csi-subdev | v4l2_subdev | 配置 MIPI CSI |
| rkisp_rawwr0 | v4l2_vdevcapture | 将 sensor raw 图像写入 DDR,通常用于 HDR 中帧 |
| rkisp_rawwr1 | v4l2_vdevcapture | 将 sensor raw 图像写入 DDR,通常用于 HDR 长帧 |
| rkisp_rawwr2 | v4l2_vdevcapture | 将 sensor raw 图像写入 DDR,通常用于 HDR 短帧 |
| rkisp_rawwr3 | v4l2_vdevcapture | 将 sensor raw 图像写入 DDR |
| rockchip-mipi-dphy-rx | v4l2_subdev | 配置 MIPI-DPHY |
| rkisp-bridge-ispp | v4l2_subdev | ISP 向 ISPP 输出 YUV 图像 |
| rkispp_input_image | v4l2_vdevoutput | 从 DDR 读取 YUV 图像到 ISPP |
| rkisp-isp-subdev | v4l2_subdev | sink pad 的格式与尺寸等于 ISP 输出。最大支持 4416x3312,最小 66x258。 |
| rkispp_m_bypass | v4l2_vdev capture |
全分辨率 YUV 格式 |
| rkispp_scale0 | v4l2_vdev capture |
全分辨率或缩放 YUV;缩放比例 [1 8];YUV422 最大宽度 3264,YUV420 最大宽度 2080。 |
| rkispp_scale1 | v4l2_vdev capture |
全分辨率或缩放 YUV;缩放比例 [2 8];最大宽度 1280。 |
| rkispp_scale2 | v4l2_vdev capture |
全分辨率或缩放 YUV;缩放比例 [2 8];最大宽度 1280。 |
ISP HDR 模式说明
RKISP2 支持接收 MIPI sensor 输出的 HDR 三帧或两帧模式。硬件通过 3 或 2 路 dmatx 将数据采集到 DDR,再通过 3 或 2 路 dmarx 读入 ISP,由 ISP 完成三帧或两帧合成。驱动链路如下:

英文原图 3,PDF 第 10 页

英文原图 4,PDF 第 10 页
CSI subdev 通过 get_fmt 获取 sensor 驱动以多个 pad format 提供的输出信息,这些信息对应 CSI 的 source pad。
MIPI sensor 驱动的具体配置请参见“驱动移植步骤”。
| 名称 | 名称 | 说明 |
|---|---|---|
| rkisp-isp-subdev | Sensor pad0 | ISP 采集 sensor vc0(默认)输出的宽、高、格式,常用于线性模式。 |
| rkisp_rawwr0 | Sensor pad1 |
Rawwr0 采集 sensor vcX 输出的宽、高与格式 |
| rkisp_rawwr1 | Sensor pad2 |
Rawwr1 采集 sensor vcX 输出的宽、高与格式 |
| rkisp_rawwr2 | Sensor pad3 |
Rawwr2 采集 sensor vcX 输出的宽、高与格式 |
| rkisp_rawwr3 | Sensor pad4 |
Rawwr3 采集 sensor vcX 输出的宽、高与格式 |
RKVICAP 驱动
框架说明
RKVICAP 驱动主要基于 v4l2/media 框架,实现硬件配置、中断处理、缓冲区轮转控制,以及 MIPI DPHY、sensor 等子设备的上下电控制。
RV1126/RV1109 的 VICAP 有两个 IP 核,分别称为 VICAP FULL 和 VICAP LITE。VICAP FULL 有 dvp/mipi/lvds 三个接口;dvp 可以与 mipi 或 lvds 同时工作,但 mipi 与 lvds 不能同时工作。VICAP LITE 仅有 lvds 接口,可与 VICAP FULL 接口同时工作。VICAP FULL 的 dvp 接口对应 rkvicap_dvp 节点,mipi/lvds 接口对应 rkvicap_mipi_lvds 节点;VICAP LITE 对应 rkvicap_lite_mipi_lvds 节点。各节点可独立采集。
RK356X 的 VICAP 仅有单核,包含 dvp 和 mipi 两个接口。dvp 对应 rkvicap_dvp 节点,mipi 对应 rkvicap_mipi_lvds 节点(名称与 RV1126/RV1109 的 VICAP FULL 相同),各节点可以独立采集。
为将 VICAP 采集的数据同步给 ISP 驱动,需要把 VICAP 驱动生成的逻辑 sditf 节点连接到 ISP 生成的虚拟节点设备。DVP 对应 rkvicap_dvp_sditf,VICAP FULL 的 mipi/lvds 对应 rkvicap_mipi_lvds_sditf,VICAP LITE 对应 rkvicap_lite_sditf。
各接口的具体 DTS 链接方法请参见“CIS 设备注册(DTS)”。
下图描述 RKVICAP 驱动设备的拓扑结构:

英文原图 5,PDF 第 12 页
芯片版本差异
| SOC | VI IP | VI 接口 | Bayer CIS 最大分辨率 | 特性 |
|---|---|---|---|---|
| RV1109 | ISP20(ISP + ISPP):1;VICAP Full:1;VICAP Lite:1 | MIPI DPHY:2 × 4 Lanes,2.5Gbps/Lane;LVDS:2 × 4 Lanes,1.0Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 3072x2048 | 最多 3 帧 HDR |
| RK3566 | ISP21 Lite:1;VICAP Full:1 | MIPI DPHY:2 × 2 Lanes 或 1 × 4 Lanes,2.5Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 4096x3072 | 不支持 HDR |
| RK3568 | ISP21:1;VICAP Full:1 | MIPI DPHY:2 × 2 Lanes 或 1 × 4 Lanes,2.5Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 4096x3072 | 最多 2 帧 HDR |
| RV1126 | ISP20(ISP + ISPP):1;VICAP Full:1;VICAP Lite:1 | MIPI DPHY:2 × 4 Lanes,2.5Gbps/Lane;LVDS:2 × 4 Lanes,1.0Gbps/Lane;DVP:BT601 / BT656 / BT1120;pclk:150MHz | 4416x3312 | 最多 3 帧 HDR |
CIS(CMOS 图像传感器)驱动
CIS 设备注册(DTS)
单路注册
MIPI 接口
原文在此写 RV1126 和 RV1106 平台:有两个独立完整的标准物理 MIPI CSI2 DPHY,在 DTS 中对应 csi_dphy0 和 csi_dphy1(见 RV1126.dtsi),特性如下。RV1106 与前文 RV1109 的型号不一致,保留原稿并待核对。
最多 4 条数据 lane;
最高速率 2.5Gbps/lane;
RK356X 平台只有一个标准物理 MIPI CSI2 DPHY,可工作在 full mode 和 split mode,逻辑上分为 csi2_dphy0/csi2_dphy1/csi2_dphy2 三个 DPHY(见 rk3568.dtsi)。特性如下:
完整模式(Full mode)
只使用 csi2_dphy0;csi2_dphy0 与 csi2_dphy1/csi2_dphy2 互斥,不能同时使用;
最多 4 条数据 lane;
最高速率 2.5Gbps/lane;
拆分模式(Split mode)
只使用 csi2_dphy1 和 csi2_dphy2,与 csi2_dphy0 互斥,不能同时使用;
csi2_dphy1 和 csi2_dphy2 可同时使用;
csi2_dphy1 和 csi2_dphy2 各最多 2 条数据 lane;
csi2_dphy1 对应物理 DPHY 的 lane0/lane1;
csi2_dphy2 对应物理 DPHY 的 lane2/lane3;
最高速率为 2.5Gbps/lane。
具体 DTS 用例见下面的示例。
连接到 ISP
RV1126/RV1106 平台(原文型号)
下面以 RV1126 ISP 与 os04a10 为例。
链接关系:sensor->csi_dphy->isp->ispp
arch/arm/boot/dts/RV1126-evb-v10.dtsi
配置要点
data-lanes 必须指定所用 lane 数量,否则无法识别为 MIPI 类型;
cam_ircut0: cam_ircut {
status = "okay";
compatible = "rockchip,ircut";
ircut-open-gpios = <&gpio2 RK_PA7 GPIO_ACTIVE_HIGH>;
ircut-close-gpios = <&gpio2 RK_PA6 GPIO_ACTIVE_HIGH>;
rockchip,camera-module-index = <1>;
rockchip,camera-module-facing = "front";
};
os04a10: os04a10@36 {
// Need to be consistent with the matching string in the driver
compatible = "ovti,os04a10";
reg = <0x36>;// sensor I2CDevice address, 7 bits
clocks = <&cru CLK_MIPICSI_OUT>;// sensor clickinConfiguration
clock-names = "xvclk";
power-domains = <&power RV1126_PD_VI>;
pinctrl-names = "rockchip,camera_default";
pinctrl-0 = <&mipi_csi_clk0>;// pinctl Set up
//power supply
avdd-supply = <&vcc_avdd>;
dovdd-supply = <&vcc_dovdd>;
dvdd-supply = <&vcc_dvdd>;
// power Pin assignment and effective level
pwdn-gpios = <&gpio1 RK_PD4 GPIO_ACTIVE_HIGH>;
// Module number, this number should not be repeated
rockchip,camera-module-index = <1>;
// Module orientation which are "back" and "front"
rockchip,camera-module-facing = "front";
// name of moudle
rockchip,camera-module-name = "CMK-OT1607-FV1";
// lens name
rockchip,camera-module-lens-name = "M12-4IR-4MP-F16";
//ir cut device
ir-cut = <&cam_ircut0>;
port {
ucam_out0: endpoint {
// mipi dphy port
remote-endpoint = <&mipi_in_ucam0>;
// number of mipi lane,1lane is <1>, 4lanei s <1 2 3 4>
data-lanes = <1 2 3 4>;
};
};
};
&csi_dphy0 {
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
mipi_in_ucam0: endpoint@1 {
reg = <1>;
// The port name of the sensor
remote-endpoint = <&ucam_out0>;
// mipi lane number,1lane is <1>, 4lane is <1 2 3 4>
data-lanes = <1 2 3 4>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
csidphy0_out: endpoint@0 {
reg = <0>;
// name of isp port
remote-endpoint = <&isp_in>;
};
};
};
};
&rkisp {
status = "okay";
};
&rkisp_vir0 {
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp_in: endpoint@0 {
reg = <0>;
// name of mipi dphy port
remote-endpoint = <&csidphy0_out>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
isp0_out: endpoint@1 {
reg = <1>;
// ispp port name, isp output to ispp
remote-endpoint = <&ispp0_in>;
};
};
};
};
&rkispp {
status = "okay";
};
&rkispp_vir0 {
status = "okay";
port {
#address-cells = <1>;
#size-cells = <0>;
Ispp0_in: endpoint@0 {
reg = <0>;
// isp port name, ispp input
remote-endpoint = <&isp0_out>;
};
};
};
RK356X 平台
以下以 rk3566 ISP 与 gc8034 4lane 为例说明:
链接关系:sensor->csi2_dphy0->isp。配置要点:
需要配置 data-lanes,并使能 csi2_dphy_hw 节点。
/* full mode: lane0-3 */
gc8034: gc8034@37 {
//Need to be consistent with the matching string in the driver
compatible = "galaxycore,gc8034";
status = "okay";
// sensor I2C device address, 7 bits
reg = <0x37>;
// sensor mclk Source configuration
clocks = <&cru CLK_CIF_OUT>;
clock-names = "xvclk";
//sensor Related power domain enable
power-domains = <&power RK3568_PD_VI>;
//sensor mclk pinctl set up
pinctrl-names = "default";
pinctrl-0 = <&cif_clk>;
// resetPin assignment and effective level
reset-gpios = <&gpio3 RK_PA6 GPIO_ACTIVE_LOW>;
// powerdownPin assignment and effective level
pwdn-gpios = <&gpio4 RK_PB2 GPIO_ACTIVE_LOW>;
// Module number, this number should not be repeated
rockchip,camera-module-index = <0>;
// Module orientation, there are "back" and "front"
rockchip,camera-module-facing = "back";
// moudle name
rockchip,camera-module-name = "RK-CMK-8M-2-v1";
// lens name
rockchip,camera-module-lens-name = "CK8401";
port {
gc8034_out: endpoint {
// csi2 dphy port name
remote-endpoint = <&dphy0_in>;
// csi2 dphy lane number,1lane is <1>, 4lane is <1 2 3 4>
data-lanes = <1 2 3 4>;
};
};
};
&csi2_dphy_hw {
status = "okay";
};
&csi2_dphy0 {
//csi2_dphy0 is not used simultaneously with csi2_dphy1/csi2_dphy2, mutually exclusive
status = "okay";
/*
* dphy0 only used for full mode,
* full mode and split mode are mutually exclusive
*/
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
dphy0_in: endpoint@1 {
reg = <1>;
// The port name of the sensor
remote-endpoint = <&gc8034_out>;
// csi2 dphy lane number
data-lanes = <1 2 3 4>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
dphy0_out: endpoint@1 {
reg = <1>;
// The port name of the isp
remote-endpoint = <&isp0_in>;
};
};
};
};
&rkisp {
status = "okay";
};
&rkisp_mmu {
status = "okay";
};
&rkisp_vir0 {
status = "okay";
port {
#address-cells = <1>;
#size-cells = <0>;
isp0_in: endpoint@0 {
reg = <0>;
// The port name of csi2 dphy
remote-endpoint = <&dphy0_out>;
};
};
};
连接到 VICAP
RV1126/RV1109 平台
以 MIPI os04a10 4lane 连接 VICAP 为例:
链接关系:sensor->csi dphy->mipi csi host->vicap。配置要点:
data-lanes 必须指定所用 lane 数量,否则无法识别为 MIPI 类型;DPHY 需要连接到 CSI host 节点。
os04a10: os04a10@36 {
// Need to be consistent with the matching string in the driver
compatible = "ovti,os04a10";
// sensor I2C device address, 7 bits
reg = <0x36>;
// sensor mclkSource configuration
clocks = <&cru CLK_MIPICSI_OUT>;
clock-names = "xvclk";
//sensor Related power domain enable
power-domains = <&power RV1126_PD_VI>;
avdd-supply = <&vcc_avdd>;
dovdd-supply = <&vcc_dovdd>;
dvdd-supply = <&vcc_dvdd>;
//sensor mclk pinctlset up
pinctrl-names = "rockchip,camera_default";
pinctrl-0 = <&mipicsi_clk0>;
// powerdownPin assignment and effective level
pwdn-gpios = <&gpio1 RK_PD4 GPIO_ACTIVE_HIGH>;
// Module number, this number should not be repeated
rockchip,camera-module-index = <1>;
// Module orientation, there are "back" and "front"
rockchip,camera-module-facing = "front";
// module name
rockchip,camera-module-name = "CMK-OT1607-FV1";
// lens name
rockchip,camera-module-lens-name = "M12-40IRC-4MP-F16";
// ircut name
ir-cut = <&cam_ircut0>;
port {
ucam_out0: endpoint {
// csi2 dphy port name
remote-endpoint = <&mipi_in_ucam0>;
// csi2 dphy lane number,1lane is <1>, 4lane is <1 2 3 4>
data-lanes = <1 2 3 4>;
};
};
};
&csi_dphy0 {
//csi2_dphy0 is not simultaneous use with csi2_dphy1/csi2_dphy2 , mutually exclusive
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
mipi_in_ucam0: endpoint@1 {
reg = <1>;
// The port name of the sensor
remote-endpoint = <&ucam_out0>;
// csi2 dphy lane number
data-lanes = <1 2 3 4>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
csidphy0_out: endpoint@0 {
reg = <0>;
// csi2 host port name
remote-endpoint = <&mipi_csi2_input>;
};
};
};
};
&mipi_csi2 {
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
mipi_csi2_input: endpoint@1 {
reg = <1>;
// csi2 dphy port name
remote-endpoint = <&csidphy0_out>;
// csi2 host lane number
data-lanes = <1 2 3 4>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
mipi_csi2_output: endpoint@0 {
reg = <0>;
// Port name on the vicap side
remote-endpoint = <&cif_mipi_in>;
// csi2 host lane number
data-lanes = <1 2 3 4>;
};
};
};
};
&rkcif_mipi_lvds {
status = "okay";
port {
/* MIPI CSI-2 endpoint */
cif_mipi_in: endpoint {
// csi2 hostport name
remote-endpoint = <&mipi_csi2_output>;
// vicap lane number
data-lanes = <1 2 3 4>;
};
};
};
&rkcif_mipi_lvds_sditf {
status = "okay";
port {
/* sditf endpoint */
mipi_lvds_sditf: endpoint {
//isp Virtual device port name
remote-endpoint = <&isp_in>;
//mipi csi2 dphy lane number, consistent with sensor
data-lanes = <1 2 3 4>;
};
};
};
&rkisp {
status = "okay";
};
&rkisp_vir0 {
status = "okay";
ports {
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp_in: endpoint@0 {
reg = <0>;
//Endpoint name of vicap sditf
remote-endpoint = <&mipi_lvds_sditf>;
};
};
};
};
RK356X 平台
以 gc5025 2lane 连接 rk3566 evb2 MIPI CSI2 DPHY 的 lane2/lane3 为例:
链接关系:sensor->csi2 dphy->mipi csi host->vicap。配置要点:
data-lanes 必须指定所用 lane 数量,否则无法识别为 MIPI 类型;DPHY 需要连接到 CSI host 节点;需要使能 csi2 dphy hw 节点。
/* split mode: lane:2/3 */
gc5025: gc5025@37 {
status = "okay";
// Need to be consistent with the matching string in the driver
compatible = "galaxycore,gc5025";
// sensor I2C device address, 7 bits
reg = <0x37>;
// sensor mclkSource configuration
clocks = <&pmucru CLK_WIFI>;
clock-names = "xvclk";
//sensor mclk pinctlset up
pinctrl-names = "default";
pinctrl-0 = <&refclk_pins>;
// resetPin assignment and effective level
reset-gpios = <&gpio3 RK_PA5 GPIO_ACTIVE_LOW>;
// powerdownPin assignment and effective level
pwdn-gpios = <&gpio3 RK_PB0 GPIO_ACTIVE_LOW>;
//sensor Related power domain enable
power-domains = <&power RK3568_PD_VI>;
/*power-gpios = <&gpio0 RK_PC1 GPIO_ACTIVE_HIGH>;*/
// Module number, this number should not be repeated
rockchip,camera-module-index = <1>;
// Module orientation, there are "back" and "front"
rockchip,camera-module-facing = "front";
// module name
rockchip,camera-module-name = "TongJu";
// lens name
rockchip,camera-module-lens-name = "CHT842-MD";
port {
gc5025_out: endpoint {
// csi2 dphy port name
remote-endpoint = <&dphy2_in>;
// csi2 dphy lane name,2lane is <1 2>, 4lane is <1 2 3 4>
data-lanes = <1 2>;
};
};
};
&csi2_dphy_hw {
status = "okay";
};
&csi2_dphy2 {
//csi2_dphy0 is not used simultaneously with csi2_dphy1/csi2_dphy2, mutually
exclusivee;can be used in parallel with csi2_dphy1
status = "okay";
/*
* dphy2 only used for split mode,
* can be used concurrently with dphy1
* full mode and split mode are mutually exclusive
*/
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
dphy2_in: endpoint@1 {
reg = <1>;
// The port name of the sensor
remote-endpoint = <&gc5025_out>;
// csi2 dphy lane name
data-lanes = <1 2>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
dphy2_out: endpoint@1 {
reg = <1>;
// csi2 host port name
remote-endpoint = <&mipi_csi2_input>;
};
};
};
};
&mipi_csi2 {
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
mipi_csi2_input: endpoint@1 {
reg = <1>;
// csi2 dphy port name
remote-endpoint = <&dphy2_out>;
// csi2 host lane number
data-lanes = <1 2>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
mipi_csi2_output: endpoint@0 {
reg = <0>;
// vicapport name
remote-endpoint = <&cif_mipi_in>;
// csi2 host lane number
data-lanes = <1 2>;
};
};
};
};
&rkcif_mipi_lvds {
status = "okay";
port {
cif_mipi_in: endpoint {
// csi2 hostport name
remote-endpoint = <&mipi_csi2_output>;
// vicap lane number
data-lanes = <1 2>;
};
};
};
&rkcif_mipi_lvds_sditf {
status = "okay";
port {
/* MIPI CSI-2 endpoint */
mipi_lvds_sditf: endpoint {
//isp Virtual device port name
remote-endpoint = <&isp_in>;
//mipi csi2 dphy lane number,consistent with sensor
data-lanes = <1 2>;
};
};
};
&rkisp {
status = "okay";
};
&rkisp_vir0 {
status = "okay";
ports {
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp_in: endpoint@0 {
reg = <0>;
//vicap mipi sditf port name
remote-endpoint = <&mipi_lvds_sditf>;
};
};
};
};
LVDS 接口
连接到 VICAP
RV1126/RV1109 平台
以 imx327 4lane 为例,链接关系如下:
链接关系:sensor->csi dphy->vicap。配置要点:
DPHY 不需要连接 CSI host 节点,否则无法接收数据;data-lanes 必须指定实际所用 lane 数量,否则无法接收数据;bus-type 必须设为 3,否则无法识别为 LVDS 接口,导致链接建立失败。
imx327: imx327@1a {
// Need to be consistent with the matching string in the driver
compatible = "sony,imx327";
// sensor I2C device address, 7 bits
reg = <0x1a>;
// sensor mclkSource configuration
clocks = <&cru CLK_MIPICSI_OUT>;
clock-names = "xvclk";
//sensor Related power domain enable
power-domains = <&power RV1126_PD_VI>;
avdd-supply = <&vcc_avdd>;
dovdd-supply = <&vcc_dovdd>;
dvdd-supply = <&vcc_dvdd>;
//sensor mclk pinctlset up
pinctrl-names = "default";
pinctrl-0 = <&mipicsi_clk0>;
// powerdownPin assignment and effective level
pwdn-gpios = <&gpio3 RK_PA6 GPIO_ACTIVE_HIGH>;
// resetPin assignment and effective level
reset-gpios = <&gpio1 RK_PD5 GPIO_ACTIVE_HIGH>;
// Module number, this number should not be repeated
rockchip,camera-module-index = <1>;
// Module orientation, there are "back" and "front"
rockchip,camera-module-facing = "front";
// module name
rockchip,camera-module-name = "CMK-OT1607-FV1";
// lens name
rockchip,camera-module-lens-name = "M12-4IR-4MP-F16";
// ircut name
ir-cut = <&cam_ircut0>;
port {
ucam_out0: endpoint {
// csi2 dphy port name
remote-endpoint = <&mipi_in_ucam0>;
// lvds lane number,1lane is <1>, 4lane is <4>,must be specified
data-lanes = <4>;
// Type of lvds interface, must be specified
bus-type = <3>;
};
};
};
&csi_dphy0 {
//csi2_dphy0 is not simultaneous use with csi2_dphy1/csi2_dphy2, mutually exclusive
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
mipi_in_ucam0: endpoint@1 {
reg = <1>;
// The port name of the sensor
remote-endpoint = <&ucam_out0>;
// lvds lane number,1lane is <1>, 4lane is <4>,must be specified
data-lanes = <4>;
// Type of lvds interface, must be specified
bus-type = <3>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
csidphy0_out: endpoint@0 {
reg = <0>;
// vicap liteport name
remote-endpoint = <&cif_lite_lvds_in>;
// lvds lane number,1lane is <1>, 4lane is <4>,must be specified
data-lanes = <4>;
// Type of lvds interface, must be specified
bus-type = <3>;
};
};
};
};
&rkcif_lite_mipi_lvds {
status = "okay";
port {
/* lvds endpoint */
cif_lite_lvds_in: endpoint {
// csi2 dphy port name
remote-endpoint = <&csidphy0_out>;
//csi2 dphy lvds lane name,1lane is <1>, 4lane is <4>,must be specified
data-lanes = <4>;
//Type of lvds interface, must be specified
bus-type = <3>;
};
};
};
&rkcif_lite_sditf {
status = "okay";
port {
/* lvds endpoint */
lite_sditf: endpoint {
//isp Virtual device port name
remote-endpoint = <&isp_in>;
//csi2 dphy lane number, consistent with sensor
data-lanes = <4>;
};
};
};
&rkisp {
status = "okay";
};
&rkisp_vir0 {
status = "okay";
ports {
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp_in: endpoint@0 {
reg = <0>;
//lite vicap lvds sditf port name
remote-endpoint = <&lite_sditf>;
};
};
};
};
DVP 接口:连接到 VICAP
在 RV1126/RV1106/RK356X 平台上,DVP 各相关接口的 DTS 配置相同。此处 RV1106 为原文型号,需结合前述范围核对。
BT601
以 ar0230 BT601 为例,链接关系如下:
链接关系:sensor->vicap。配置要点:
必须配置 hsync-active/vsync-active,v4l2 框架在异步注册时才能识别 BT601;未配置时会识别成 BT656。pclk-sample/bus-width 为可选项。sensor 驱动的 g_mbus_config 接口必须通过 flag 指明当前 sensor 的 hsync-acitve/vsync-active/pclk-ative 有效极性,否则无法接收数据(属性拼写按原文保留,待核)。必须引用 pinctrl,为 BT601 相关 GPIO 设置对应 IOMUX,否则无法接收数据。
g_mbus_config 接口示例代码如下:
static int ar0230_g_mbus_config(struct v4l2_subdev *sd,
struct v4l2_mbus_config *config)
{
config->type = V4L2_MBUS_PARALLEL;
config->flags = V4L2_MBUS_HSYNC_ACTIVE_HIGH |
V4L2_MBUS_VSYNC_ACTIVE_HIGH |
V4L2_MBUS_PCLK_SAMPLE_FALLING;
return 0;
}
DTS 配置示例如下:
ar0230: ar0230@10 {
// Need to be consistent with the matching string in the driver
compatible = "aptina,ar0230";
// sensor I2C device address, 7 bits
reg = <0x10>;
// sensor mclkSource configuration
clocks = <&cru CLK_CIF_OUT>;
clock-names = "xvclk";
//sensor Related power domain enable
avdd-supply = <&vcc_avdd>;
dovdd-supply = <&vcc_dovdd>;
dvdd-supply = <&vcc_dvdd>;
power-domains = <&power RV1126_PD_VI>;
// powerdownPin assignment and effective level
pwdn-gpios = <&gpio2 RK_PA6 GPIO_ACTIVE_HIGH>;
/*reset-gpios = <&gpio2 RK_PC5 GPIO_ACTIVE_HIGH>;*/
//Configure dvp related data pins and clock pins
pinctrl-names = "default";
pinctrl-0 = <&cifm0_dvp_ctl>;
// Module number, this number should not be repeated
rockchip,camera-module-index = <0>;
// Module orientation, there are "back" and "front"
rockchip,camera-module-facing = "back";
// module name
rockchip,camera-module-name = "CMK-OT0836-PT2";
// lens name
rockchip,camera-module-lens-name = "YT-2929";
port {
cam_para_out1: endpoint {
remote-endpoint = <&cif_para_in>;
};
};
};
&rkcif_dvp {
status = "okay";
port {
/* Parallel bus endpoint */
cif_para_in: endpoint {
//sensor port endpoint name
remote-endpoint = <&cam_para_out1>;
//Sensor configuration parameters
bus-width = <12>;
hsync-active = <1>;
vsync-active = <1>;
pclk-sample = <0>;
};
};
};
&rkcif_dvp_sditf {
status = "okay";
port {
/* parallel endpoint */
dvp_sditf: endpoint {
//isp Virtual device port name
remote-endpoint = <&isp_in>;
//Sensor configuration parameters
bus-width = <12>;
hsync-active = <1>;
vsync-active = <1>;
pclk-sample = <0>;
};
};
};
&rkisp {
status = "okay";
};
&rkisp_vir0 {
status = "okay";
ports {
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp_in: endpoint@0 {
reg = <0>;
//dvp sditf port name
remote-endpoint = <&dvp_sditf>;
};
};
};
};
BT656/BT1120
BT656/BT1120 的 DTS 用法相同。
以 ava fpga bt1120 为例,链接关系如下:
链接关系:sensor->vicap。配置要点:
不要配置 hsync-active/vsync-active,否则 v4l2 框架在异步注册时会识别为 BT601;
pclk-sample/bus-width 为可选项;
sensor 驱动的 g_mbus_config 接口必须通过 flag 指明当前 sensor 的 pclk-ative 有效极性,否则无法接收数据(pclk-ative 为原文拼写)。
必须实现 v4l2_subdev_video_ops 中的 querystd 接口,指明当前接口是 ATSC 接口,否则无法接收数据。
必须引用 pinctrl,为 bt656/bt1120 相关 GPIO 设置对应 IOMUX,否则无法接收数据。
g_mbus_config 接口示例代码如下:
static int avafpga_g_mbus_config(struct v4l2_subdev *sd,
struct v4l2_mbus_config *config)
{
config->type = V4L2_MBUS_BT656;
config->flags = V4L2_MBUS_PCLK_SAMPLE_RISING;
return 0;
}
querystd 接口示例如下:
static int avafpga_querystd(struct v4l2_subdev *sd, v4l2_std_id *std)
{
*std = V4L2_STD_ATSC;
return 0;
}
DTS 配置示例如下:
avafpga: avafpga@70 {
// Need to be consistent with the matching string in the driver
compatible = "ava,fpga";
// sensor I2C device address, 7 bits
reg = <0x10>;
// sensor mclkSource configuration
clocks = <&cru CLK_CIF_OUT>;
clock-names = "xvclk";
//sensor Related power domain enable
avdd-supply = <&vcc_avdd>;
dovdd-supply = <&vcc_dovdd>;
dvdd-supply = <&vcc_dvdd>;
// powerdownPin assignment and effective level
power-domains = <&power RV1126_PD_VI>;
pwdn-gpios = <&gpio2 RK_PA6 GPIO_ACTIVE_HIGH>;
/*reset-gpios = <&gpio2 RK_PC5 GPIO_ACTIVE_HIGH>;*/
//Configure dvp related data pins and clock pins
pinctrl-names = "default";
pinctrl-0 = <&cifm0_dvp_ctl>;
// Module number, this number should not be repeated
rockchip,camera-module-index = <0>;
// Module orientation, there are "back" and "front"
rockchip,camera-module-facing = "back";
// module name
rockchip,camera-module-name = "CMK-OT0836-PT2";
// lens name
rockchip,camera-module-lens-name = "YT-2929";
port {
cam_para_out2: endpoint {
remote-endpoint = <&cif_para_in>;
};
};
};
&rkcif_dvp {
status = "okay";
port {
/* Parallel bus endpoint */
cif_para_in: endpoint {
//sensor port endpoint name
remote-endpoint = <&cam_para_out2>;
//Sensor configuration parameters,Optional
bus-width = <16>;
pclk-sample = <1>;
};
};
};
&rkcif_dvp_sditf {
status = "okay";
port {
/* parallel endpoint */
dvp_sditf: endpoint {
//isp Virtual device port name
remote-endpoint = <&isp_in>;
bus-width = <16>;
pclk-sample = <1>;
};
};
};
&rkisp {
status = "okay";
};
&rkisp_vir0 {
status = "okay";
ports {
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp_in: endpoint@0 {
reg = <0>;
//dvp sditf port name
remote-endpoint = <&dvp_sditf>;
};
};
};
};
多 sensor 注册
单个硬件 ISP 虚拟出多个设备,以时分复用方式处理多个 RAW sensor 的数据。
RV1126/RV1106 平台的链接关系中,isp0->ispp0 和 isp1->ispp1 在 RV1126.dtsi 中固定配置。可选择 MIPI 输入 ISP 或 CIF 输入 ISP。RV1106 按原文保留。
例如:
sensor0->csi_dphy0->csi2->vicap->isp0->ispp0
sensor1->csi_dphy1->isp1->ispp1
示例参见 arch/arm/boot/dts/RV1109-evb-ddr3-v12-facial-gate.dts。
gc2053->csi_dphy0->csi2->cif->isp1->ispp1
ov2718->csi_dphy1->isp0->ispp0
不同分辨率时下面的配置非常重要。max-input 取各 sensor 中最大的宽、高和帧率:
&rkispp {
status = "okay";
/* the max input w h and fps of mulit sensor */
max-input = <2688 1520 30>;//Take the maximum width and height and frame rate of different sensors
};
RK3566/RK3568 平台
例如:
ov5695->dphy1->isp_vir0
gc5025->dphy2->csi2->vicap->isp_vir1
ov5695: ov5695@36 {
status = "okay";
...
port {
ov5695_out: endpoint {
remote-endpoint = <&dphy1_in>;
data-lanes = <1 2>;
};
};
};
gc5025: gc5025@37 {
status = "okay";
...
port {
gc5025_out: endpoint {
remote-endpoint = <&dphy2_in>;
data-lanes = <1 2>;
};
};
};
&csi2_dphy_hw {
status = "okay";
};
&csi2_dphy1 {
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
dphy1_in: endpoint@1 {
reg = <1>;
remote-endpoint = <&ov5695_out>;
data-lanes = <1 2>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
dphy1_out: endpoint@1 {
reg = <1>;
remote-endpoint = <&isp0_in>;
};
};
};
};
&csi2_dphy2 {
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
dphy2_in: endpoint@1 {
reg = <1>;
remote-endpoint = <&gc5025_out>;
data-lanes = <1 2>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
dphy2_out: endpoint@1 {
reg = <1>;
remote-endpoint = <&mipi_csi2_input>;
};
};
};
};
&mipi_csi2 {
status = "okay";
ports {
#address-cells = <1>;
#size-cells = <0>;
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
mipi_csi2_input: endpoint@1 {
reg = <1>;
remote-endpoint = <&dphy2_out>;
data-lanes = <1 2>;
};
};
port@1 {
reg = <1>;
#address-cells = <1>;
#size-cells = <0>;
mipi_csi2_output: endpoint@0 {
reg = <0>;
remote-endpoint = <&cif_mipi_in>;
data-lanes = <1 2>;
};
};
};
};
&rkcif_mipi_lvds {
status = "okay";
port {
cif_mipi_in: endpoint {
remote-endpoint = <&mipi_csi2_output>;
data-lanes = <1 2>;
};
};
};
&rkcif_mipi_lvds_sditf {
status = "okay";
port {
mipi_lvds_sditf: endpoint {
remote-endpoint = <&isp1_in>;
data-lanes = <1 2>;
};
};
};
&rkisp {
status = "okay";
/* the max input w h and fps of mulit sensor */
max-input = <2592 1944 30>;
};
&rkisp_vir0 {
status = "okay";
ports {
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp0_in: endpoint@0 {
reg = <0>;
remote-endpoint = <&dphy1_out>;
};
};
};
};
&rkisp_vir1 {
status = "okay";
ports {
port@0 {
reg = <0>;
#address-cells = <1>;
#size-cells = <0>;
isp1_in: endpoint@0 {
reg = <0>;
remote-endpoint = <&mipi_lvds_sditf>;
};
};
};
};
CIS 驱动说明
Camera sensor 通过 I2C 与主控交互。当前 sensor 驱动按 I2C 设备驱动实现,同时通过 v4l2 subdev 方式与主控驱动交互。
数据类型简述
struct i2c_driver
[说明]
定义 I2C 设备驱动信息。
[定义]
struct i2c_driver {
……
/* Standard driver model interfaces */
int (*probe)(struct i2c_client *, const struct i2c_device_id *);
int (*remove)(struct i2c_client *);
……
struct device_driver driver;
const struct i2c_device_id *id_table;
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| @driver | 设备模型驱动主要包含驱动名和匹配 DTS 注册设备的 of_match_table。of_match_table 的 compatible 与 DTS 中 compatible 匹配时调用 .probe。 |
| @id_table | 驱动支持的 I2C 设备列表。内核不通过 of_match_table 和 DTS 注册设备匹配时,使用此表匹配。 |
| @probe | 设备绑定回调 |
| @remove | 设备解绑回调 |
[示例]
#if IS_ENABLED(CONFIG_OF)
static const struct of_device_id os04a10_of_match[] = {
{ .compatible = "ovti,os04a10" },
{},
};
MODULE_DEVICE_TABLE(of, os04a10_of_match);
#endif
static const struct i2c_device_id os04a10_match_id[] = {
{ "ovti,os04a10", 0 },
{ },
};
static struct i2c_driver os04a10_i2c_driver = {
.driver = {
.name = OS04A10_NAME,
.pm = &os04a10_pm_ops,
.of_match_table = of_match_ptr(os04a10_of_match),
},
.probe = &os04a10_probe,
.remove = &os04a10_remove,
.id_table = os04a10_match_id,
};
static int __init sensor_mod_init(void)
{
return i2c_add_driver(&os04a10_i2c_driver);
}
static void __exit sensor_mod_exit(void)
{
i2c_del_driver(&os04a10_i2c_driver);
}
device_initcall_sync(sensor_mod_init);
module_exit(sensor_mod_exit);
struct v4l2_subdev_ops
[说明]
定义 subdev 的 ops 回调。
[定义]
struct v4l2_subdev_ops {
const struct v4l2_subdev_core_ops *core;
……
const struct v4l2_subdev_video_ops *video;
……
const struct v4l2_subdev_pad_ops *pad;
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .core | 定义 subdev 的 core ops 回调 |
| .video | v4l 设备以视频模式打开时使用的回调 |
| .pad | v4l2-subdev pad 级操作 |
[示例]
static const struct v4l2_subdev_ops os04a10_subdev_ops = {
.core = &os04a10_core_ops,
.video = &os04a10_video_ops,
.pad = &os04a10_pad_ops,
};
struct v4l2_subdev_core_ops
[说明]
定义 subdev 的 core ops 回调。
[定义]
struct v4l2_subdev_core_ops {
……
int (*s_power)(struct v4l2_subdev *sd, int on);
long (*ioctl)(struct v4l2_subdev *sd, unsigned int cmd, void *arg);
#ifdef CONFIG_COMPAT
long (*compat_ioctl32)(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg);
#endif
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .s_power | 设置子设备进入省电模式(on == 0)或正常运行模式(on == 1)。 |
| .ioctl | 在 V4L2 core 的 ioctl() 系统调用处理末尾调用,支持驱动私有 ioctl。 |
| .compat_ioctl32 | 32 位程序使用 64 位内核时调用,以调整用户空间与内核间传递的数据。原文重复该说明。 |
[示例]
static const struct v4l2_subdev_core_ops os04a10_core_ops = {
.s_power = os04a10_s_power,
.ioctl = os04a10_ioctl,
#ifdef CONFIG_COMPAT
.compat_ioctl32 = os04a10_compat_ioctl32,
#endif
};
目前通过以下私有 ioctl 查询模组信息,以及查询和设置 OTP 信息。
| 私有 ioctl | 说明 |
|---|---|
| RKMODULE_GET_MODULE_INFO | 获取模组信息,参见 struct rkmodule_inf。 |
| RKMODULE_AWB_CFG | 切换 sensor AWB 补偿;模组未烧录 golden AWB 时可在此设置,详见 struct rkmodule awb_cfg(原文标识)。 |
| RKMODULE_LSC_CFG | 切换 sensor LSC 补偿,参见 struct rkmodule_lsc_cfg。 |
| PREISP_CMD_SET_HDRAE_EXP | HDR 曝光设置,参见 struct preisp_hdrae_exp_s。 |
| RKMODULE_SET_HDR_CFG | 设置 HDR 模式,实现普通/HDR 切换。驱动须适配普通和 HDR 两组配置,详见 struct rkmodule_hdr_cfg。 |
| RKMODULE_GET_HDR_CFG | 获取当前 HDR 模式,详见 struct rkmodule_hdr_cfg。 |
| RKMODULE_SET_CONVERSION_GAIN | 设置线性模式转换增益,如支持该功能的 imx347、os04a10;sensor 不支持时可不实现。 |
struct v4l2_subdev_video_ops
[说明]
v4l 设备以视频模式打开时使用的回调。
[定义]
struct v4l2_subdev_video_ops {
……
int (*s_stream)(struct v4l2_subdev *sd, int enable);
……
int (*g_frame_interval)(struct v4l2_subdev *sd,
struct v4l2_subdev_frame_interval *interval);
int (*g_mbus_config)(struct v4l2_subdev *sd,
struct v4l2_mbus_config *cfg);
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .g_frame_interval | VIDIOC_SUBDEV_G_FRAME_INTERVAL ioctl 的处理回调 |
| .s_stream | 通知驱动视频流即将开始或已经停止 |
| .g_mbus_config | 获取支持的 mediabus 配置 |
[示例]
static const struct v4l2_subdev_video_ops os04a10_video_ops = {
.s_stream = os04a10_s_stream,
.g_frame_interval = os04a10_g_frame_interval,
.g_mbus_config = os04a10_g_mbus_config,
};
struct v4l2_subdev_pad_ops
[说明]
v4l2-subdev 的 pad 级操作。
[定义]
struct v4l2_subdev_pad_ops {
……
int (*enum_mbus_code)(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_mbus_code_enum *code);
int (*enum_frame_size)(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_frame_size_enum *fse);
int (*get_fmt)(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_format *format);
int (*set_fmt)(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_format *format);
int (*enum_frame_interval)(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_frame_interval_enum *fie);
int (*get_selection)(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_selection *sel);
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| . enum_mbus_code | VIDIOC_SUBDEV_ENUM_MBUS_CODE ioctl 的处理回调 |
| . enum_frame_size | VIDIOC_SUBDEV_ENUM_FRAME_SIZE ioctl 的处理回调 |
| .s_fmt | VIDIOC_SUBDEV_S_FMT ioctl 的处理回调 |
| .g_fmt | VIDIOC_SUBDEV_G_FMT ioctl 的处理回调 |
| .enum_frame_interval | VIDIOC_SUBDEV_ENUM_FRAME_INTERVAL() ioctl 的处理回调 |
| .get_selection | VIDIOC_SUBDEV_G_SELECTION() ioctl 的处理回调 |
[示例]
static const struct v4l2_subdev_pad_ops os04a10_pad_ops = {
.enum_mbus_code = os04a10_enum_mbus_code,
.enum_frame_size = os04a10_enum_frame_sizes,
.enum_frame_interval = os04a10_enum_frame_interval,
.get_fmt = os04a10_get_fmt,
.set_fmt = os04a10_set_fmt,
};
struct v4l2_ctrl_ops
[说明]
驱动需要提供的 control 操作。
[定义]
struct v4l2_ctrl_ops {
int (*s_ctrl)(struct v4l2_ctrl *ctrl);
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .s_ctrl | 实际设置新的 control 值 |
[示例]
static const struct v4l2_ctrl_ops os04a10_ctrl_ops = {
.s_ctrl = os04a10_set_ctrl,
};
RKISP 驱动要求使用框架提供的用户控制。Camera sensor 驱动必须实现以下控制功能,参见“CIS 驱动 V4L2-controls 列表”(原文引用末尾带 1)。
struct xxxx_mode
[说明]
sensor 支持的各模式信息。
此结构常见于 sensor 驱动,但不是 v4l2 标准的强制要求。
[定义]
struct xxxx_mode {
u32 bus_fmt;
u32 width;
u32 height;
struct v4l2_fract max_fps;
u32 hts_def;
u32 vts_def;
u32 exp_def;
const struct regval *reg_list;
u32 hdr_mode;
u32 vc[PAD_MAX];
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .bus_fmt | Sensor 输出格式,参见 MEDIA_BUS_FMT 表 |
| .width | 有效图像宽度,须与当前 sensor 配置输出宽度一致。 |
| .height | 有效图像高度,须与当前 sensor 配置输出高度一致。 |
| .max_fps | 图像 FPS,denominator/numerator 即 fps。 |
| hts_def | 默认 HTS,等于有效图像宽度 + HBLANK。 |
| vts_def | 默认 VTS,等于有效图像高度 + VBLANK。 |
| exp_def | 默认曝光时间 |
| *reg_list | 寄存器列表 |
| .hdr_mode | Sensor 工作模式:线性、两帧合成 HDR、三帧合成 HDR。 |
| .vc[PAD_MAX] | 配置 MIPI VC 通道 |
[示例]
enum os04a10_max_pad {
PAD0, /* link to isp */
PAD1, /* link to csi rawwr0 | hdr x2:L x3:M */
PAD2, /* link to csi rawwr1 | hdr x3:L */
PAD3, /* link to csi rawwr2 | hdr x2:M x3:S */
PAD_MAX,
};
static const struct os04a10_mode supported_modes[] = {
{
.bus_fmt = MEDIA_BUS_FMT_SBGGR12_1X12,
.width = 2688,
.height = 1520,
.max_fps = {
.numerator = 10000,
.denominator = 300372,
},
.exp_def = 0x0240,
.hts_def = 0x05c4 * 2,
.vts_def = 0x0984,
.reg_list = os04a10_linear12bit_2688x1520_regs,
.hdr_mode = NO_HDR,
.vc[PAD0] = V4L2_MBUS_CSI2_CHANNEL_0,
}, {
.bus_fmt = MEDIA_BUS_FMT_SBGGR12_1X12,
.width = 2688,
.height = 1520,
.max_fps = {
.numerator = 10000,
.denominator = 225000,
},
.exp_def = 0x0240,
.hts_def = 0x05c4 * 2,
.vts_def = 0x0658,
.reg_list = os04a10_hdr12bit_2688x1520_regs,
.hdr_mode = HDR_X2,
.vc[PAD0] = V4L2_MBUS_CSI2_CHANNEL_1,
.vc[PAD1] = V4L2_MBUS_CSI2_CHANNEL_0,//L->csi wr0
.vc[PAD2] = V4L2_MBUS_CSI2_CHANNEL_1,
.vc[PAD3] = V4L2_MBUS_CSI2_CHANNEL_1,//M->csi wr2
},
};
struct v4l2_mbus_framefmt
[说明]
媒体总线上的帧格式。
[定义]
struct v4l2_mbus_framefmt {
__u32 width;
__u32 height;
__u32 code;
__u32 field;
__u32 colorspace;
__u16 ycbcr_enc;
__u16 quantization;
__u16 xfer_func;
__u16 reserved[11];
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| width | 帧宽度 |
| height | 帧高度 |
| code | 参见 MEDIA_BUS_FMT 表 |
| field | V4L2_FIELD_NONE:帧输出模式;V4L2_FIELD_INTERLACED:场输出模式。 |
[示例]
struct rkmodule_base_inf
[说明]
模组基础信息,上层使用它匹配 IQ。
[定义]
struct rkmodule_base_inf {
char sensor[RKMODULE_NAME_LEN];
char module[RKMODULE_NAME_LEN];
char lens[RKMODULE_NAME_LEN];
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| sensor | Sensor 名称,从 sensor 驱动获取。 |
| module | 模组名称,从 DTS 配置获取,以模组资料为准。 |
| lens | 镜头名称,从 DTS 配置获取,以模组资料为准。 |
[示例]
struct rkmodule_fac_inf
[说明]
模组 OTP 出厂信息。
[定义]
struct rkmodule_fac_inf {
__u32 flag;
char module[RKMODULE_NAME_LEN];
char lens[RKMODULE_NAME_LEN];
__u32 year;
__u32 month;
__u32 day;
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| flag | 该组信息是否有效 |
| module | 模组名:从 OTP 读取编号,再由编号确定名称。 |
| lens | 镜头名:从 OTP 读取编号,再由编号确定名称。 |
| year | 生产年份,例如 12 表示 2012 年。 |
| month | 生产月份 |
| day | 生产日期 |
[示例]
struct rkmodule_awb_inf
[说明]
模组 OTP AWB 测量信息。
[定义]
struct rkmodule_awb_inf {
__u32 flag;
__u32 r_value;
__u32 b_value;
__u32 gr_value;
__u32 gb_value;
__u32 golden_r_value;
__u32 golden_b_value;
__u32 golden_gr_value;
__u32 golden_gb_value;
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| flag | 该组信息是否有效 |
| r_value | 当前模组 AWB R 测量信息 |
| b_value | 当前模组 AWB B 测量信息 |
| gr_value | 当前模组 AWB GR 测量信息 |
| gb_value | 当前模组 AWB GB 测量信息 |
| golden_r_value | 典型模组 AWB R 测量信息,未烧录则设为 0。 |
| golden_b_value | 典型模组 AWB B 测量信息,未烧录则设为 0。 |
| golden_gr_value | 典型模组 AWB GR 测量信息,未烧录则设为 0。 |
| golden_gb_value | 典型模组 AWB GB 测量信息,未烧录则设为 0。 |
[示例]
struct rkmodule_lsc_inf
[说明]
模组 OTP LSC 测量信息。
[定义]
struct rkmodule_lsc_inf {
__u32 flag;
__u16 lsc_w;
__u16 lsc_h;
__u16 decimal_bits;
__u16 lsc_r[RKMODULE_LSCDATA_LEN];
__u16 lsc_b[RKMODULE_LSCDATA_LEN];
__u16 lsc_gr[RKMODULE_LSCDATA_LEN];
__u16 lsc_gb[RKMODULE_LSCDATA_LEN];
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| flag | 该组信息是否有效 |
| lsc_w | LSC 表实际宽度 |
| lsc_h | LSC 表实际高度 |
| decimal_bits | LSC 测量信息的小数位数,无此信息则设为 0。 |
| lsc_r | LSC R 测量信息 |
| lsc_b | LSC B 测量信息 |
| lsc_gr | LSC GR 测量信息 |
| lsc_gb | LSC GB 测量信息 |
[示例]
struct rkmodule_af_inf
[说明]
模组 OTP AF 测量信息。
[定义]
struct rkmodule_af_inf {
__u32 flag; // Whether this group of information is a valid flag
__u32 vcm_start; // vcm start current
__u32 vcm_end; // vcm termination current
__u32 vcm_dir; // vcm measurement direction
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| flag | 该组信息是否有效 |
| vcm_start | VCM 起始电流 |
| vcm_end | VCM 终止电流 |
| vcm_dir | VCM 判定方向 |
[示例]
struct rkmodule_inf
[说明]
模组信息。
[定义]
struct rkmodule_inf {
struct rkmodule_base_inf base;
struct rkmodule_fac_inf fac;
struct rkmodule_awb_inf awb;
struct rkmodule_lsc_inf lsc;
struct rkmodule_af_inf af;
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| base | 模组基本信息 |
| fac | 模组 OTP 出厂信息 |
| awb | 模组 OTP AWB 测量信息 |
| lsc | 模组 OTP LSC 测量信息 |
| af | 模组 OTP AF 测量信息 |
[示例]
struct rkmodule_awb_cfg
[说明]
模组 OTP AWB 配置信息。
[定义]
struct rkmodule_awb_cfg {
__u32 enable;
__u32 golden_r_value;
__u32 golden_b_value;
__u32 golden_gr_value;
__u32 golden_gb_value;
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| enable | 是否启用 AWB 校正 |
| golden_r_value | 典型模组 AWB R 测量信息 |
| golden_b_value | 典型模组 AWB B 测量信息 |
| golden_gr_value | 典型模组 AWB GR 测量信息 |
| golden_gb_value | 典型模组 AWB GB 测量信息 |
[示例]
struct rkmodule_lsc_cfg
[说明]
模组 OTP LSC 配置信息。
[定义]
struct rkmodule_lsc_cfg {
__u32 enable;
} __attribute__ ((packed));
[关键成员]
| 成员名称 | 说明 |
|---|---|
| enable | 是否启用 LSC 校正 |
[示例]
struct rkmodule_hdr_cfg
[说明]
HDR 配置信息。
[定义]
struct rkmodule_hdr_cfg {
__u32 hdr_mode;
struct rkmodule_hdr_esp esp;
} __attribute__ ((packed));
struct rkmodule_hdr_esp {
enum hdr_esp_mode mode;
union {
struct {
__u32 padnum;
__u32 padpix;
} lcnt;
struct {
__u32 efpix;
__u32 obpix;
} idcd;
} val;
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| hdr_mode | NO_HDR=0 //普通模式 HDR_X2=5 //HDR 两帧模式 HDR_X3=6 //HDR 三帧模式 |
| struct rkmodule_hdr_esp | HDR 特殊模式 |
| enum hdr_esp_mode | HDR_NORMAL_VC=0 //普通虚拟通道模式 HDR_LINE_CNT=1 //行计数模式 (AR0239) HDR_ID_CODE=2 //标识码模式 (IMX327) |
[示例]
struct preisp_hdrae_exp_s
[说明]
HDR 曝光参数。
[定义]
struct preisp_hdrae_exp_s {
unsigned int long_exp_reg;
unsigned int long_gain_reg;
unsigned int middle_exp_reg;
unsigned int middle_gain_reg;
unsigned int short_exp_reg;
unsigned int short_gain_reg;
unsigned int long_exp_val;
unsigned int long_gain_val;
unsigned int middle_exp_val;
unsigned int middle_gain_val;
unsigned int short_exp_val;
unsigned int short_gain_val;
unsigned char long_cg_mode;
unsigned char middle_cg_mode;
unsigned char short_cg_mode;
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| long_exp_reg | 长帧曝光寄存器值 |
| long_gain_reg | 长帧增益寄存器值 |
| middle_exp_reg | 中帧曝光寄存器值 |
| middle_gain_reg; | 中帧增益寄存器值 |
| short_exp_reg | 短帧曝光寄存器值 |
| short_gain_reg | 短帧增益寄存器值 |
| long_cg_mode | 长帧转换增益:0 LCG,1 HCG |
| middle_cg_mode | 中帧转换增益:0 LCG,1 HCG |
| short_cg_mode | 短帧转换增益:0 LCG,1 HCG |
[说明]
preisp_hdrae_exp_s 结构中只需关注“关键成员”所述的几个参数。曝光和增益值转换为寄存器值的公式在 IQ XML 中,具体转换请参考 IQ XML 格式说明。转换增益功能要求 sensor 自身支持;不支持时无需关注 conversion 参数。对于 HDR2X,应将传入的中帧和短帧参数设置到 sensor 两帧输出对应的曝光参数寄存器。
[示例]
API 简述
xxxx_set_fmt
[说明]
设置 sensor 输出格式。
[语法]
static int xxxx_set_fmt(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_format *fmt)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| *cfg | subdev pad 信息结构指针 | 输入 |
| *fmt | pad 级 media bus 格式结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_get_fmt
[说明]
获取 sensor 输出格式。
[语法]
static int xxxx_get_fmt(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_format *fmt)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| *cfg | subdev pad 信息结构指针 | 输入 |
| *fmt | pad 级 media bus 格式结构指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
参见 MEDIA_BUS_FMT 表。
xxxx_enum_mbus_code
[说明]
枚举 sensor 输出总线格式。
[语法]
static int xxxx_enum_mbus_code(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_mbus_code_enum *code)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| *cfg | subdev pad 信息结构指针 | 输入 |
| *code | media bus 格式枚举结构指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
下表汇总各种图像类型的对应格式,参见 MEDIA_BUS_FMT 表。
xxxx_enum_frame_sizes
[说明]
枚举 sensor 输出尺寸。
[语法]
static int xxxx_enum_frame_sizes(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_frame_size_enum *fse)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| *cfg | subdev pad 信息结构指针 | 输入 |
| *fse | media bus 帧尺寸结构指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_g_frame_interval
[说明]
获取 sensor 输出帧率。
[语法]
static int xxxx_g_frame_interval(struct v4l2_subdev *sd,
struct v4l2_subdev_frame_interval *fi)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| *fi | pad 级帧率结构指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_s_stream
[说明]
设置流的输入和输出。
[语法]
static int xxxx_s_stream(struct v4l2_subdev *sd, int on)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| on | 1:开启流输出;0:停止流输出。 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_runtime_resume
[说明]
sensor 上电时的回调函数。
[语法]
static int xxxx_runtime_resume(struct device *dev)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *dev | device 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_runtime_suspend
[说明]
sensor 下电时的回调函数。
[语法]
static int xxxx_runtime_suspend(struct device *dev)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *dev | device 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_set_ctrl
[说明]
设置各个 control 的值。
[语法]
static int xxxx_set_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2_ctrl 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxx_enum_frame_interval
[说明]
枚举传感器支持的帧间隔参数。
[语法]
static int xxxx_enum_frame_interval(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_frame_interval_enum *fie)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | 子设备实例 | 输入 |
| *cfg | pad 配置参数 | 输入 |
| *fie | 帧间隔参数 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_g_mbus_config
[说明]
获取支持的总线配置。例如使用 MIPI 且传感器支持多种 MIPI 传输模式时,可根据传感器当前使用的 MIPI 模式上报参数。
[语法]
static int xxxx_g_mbus_config(struct v4l2_subdev *sd,
struct v4l2_mbus_config *config)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *config | 总线配置参数 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_get_selection
[说明]
配置裁剪参数。ISP 输入宽度要求 16 对齐,高度要求 8 对齐。若传感器输出分辨率不满足对齐要求或不是标准分辨率,可实现此函数裁剪输入 ISP 的分辨率。
[语法]
static int xxxx_get_selection(struct v4l2_subdev *sd,
struct v4l2_subdev_pad_config *cfg,
struct v4l2_subdev_selection *sel)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | 子设备实例 | 输入 |
| *cfg | pad 配置参数 | 输入 |
| *sel | 裁剪参数 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
驱动移植步骤
1. 实现标准 I2C 子设备驱动部分。
1.1 按照 struct i2c_driver 的说明实现以下成员:
struct driver.name
struct driver.pm
struct driver. of_match_table
probe 函数
remove 函数
1.2 probe 函数实现详解:1). 获取 CIS 设备资源,主要解析 DTS 文件定义的资源,参见 CIS 设备注册(DTS)。
1.1) RK 私有资源定义采用 rockchip, camera-module-xxx 命名。驱动将这部分资源上报给用户态 camera_engine,以确定 IQ 效果参数的匹配关系。
1.2) CIS 设备资源定义:RK 相关参考驱动通常包含以下项目:
| 成员名称 | 说明 |
|---|---|
| CIS 工作参考时钟 | 外部独立晶振方案不必获取;RK 参考设计通常由 AP 输出时钟,此方案须获取,通常名为 xvclk。 |
| CIS 控制 GPIO | 例如 Resst 引脚、Powerdown 引脚(Resst 为原文拼写)。 |
| CIS 控制电源 | 按实际硬件设计获取匹配的软件电源控制资源,如 gpio、regulator。 |
1.3) CIS 设备 ID 检查。通过上述步骤获取必要资源后,建议驱动读取设备 ID,检查硬件是否正确;但此步骤不是必需的。
1.4) 初始化 CIS v4l2 设备和媒体实体;
v4l2 子设备:v4l2_i2c_subdev_init。RK CIS 驱动要求 subdev 具有独立设备节点,供用户态 rk_aiq 访问并通过该节点控制曝光;
媒体实体:media_entity_init
2. 按 struct v4l2_subdev_ops 的说明实现 v4l2 子设备驱动,主要实现以下 3 个成员:
struct v4l2_subdev_core_ops
struct v4l2_subdev_video_ops
struct v4l2_subdev_pad_ops
2.1 按 struct v4l2_subdev_core_ops 的说明实现其回调函数,主要包含以下回调:
.s_power.ioctl
.compat_ioctl32
ioctl 主要实现的 RK 私有控制命令包括:
| 成员名称 | 描述 |
|---|---|
| RKMODULE_GET_MODULE_INFO | 将 DTS 定义的模组信息(如名称)通过该命令上传 camera_engine。 |
| RKMODULE_AWB_CFG | 启用模组 OTP 时,camera_engine 通过此命令传入典型模组 AWB 标定值;CIS 驱动与当前模组 AWB 值比较,生成 R/B Gain 并写入 CIS MWB 模块。 |
| RKMODULE_LSC_CFG | 启用模组 OTP 时,camera_engine 通过该命令控制启用 LSC 标定值。 |
| PREISP_CMD_SET_HDRAE_EXP | HDR 曝光设置参见本文 struct preisp_hdrae_exp_s。 |
| RKMODULE_SET_HDR_CFG | 设置 HDR 模式,实现普通/HDR 切换。驱动须适配两组配置,详见本文 struct rkmodule_hdr_cfg。 |
| RKMODULE_GET_HDR_CFG | 获取当前 HDR 模式,参见 struct rkmodule_hdr_cfg。 |
| RKMODULE_SET_CONVERSION_GAIN | 设置线性模式转换增益,如 imx347、os04a10。高转换增益可改善低照度信噪比;sensor 不支持时可不实现。 |
2.2 按 struct v4l2_subdev_video_ops 的说明实现其回调函数,主要包含以下回调:
| 成员名称 | 说明 |
|---|---|
| .s_stream | 切换数据流。MIPI CLK 为连续模式时必须在该回调开启流;提前开启会导致无法识别 MIPI LP 状态。 |
| .g_frame_interval | 获取帧间隔(帧率) |
| .g_mbus_config | 获取总线配置。MIPI sensor 支持不同 lane 配置或 HDR 时,返回当前工作模式的 MIPI 配置。 |
2.3 按 struct v4l2_subdev_pad_ops 的说明实现其回调函数,主要包含以下回调:
| 成员名称 | 说明 |
|---|---|
| .enum_mbus_code | 枚举当前 CIS 驱动支持的数据格式 |
| .enum_frame_size | 枚举当前 CIS 驱动支持的分辨率 |
| .get_fmt | RKISP 通过此必需回调获取 CIS 输出格式。Bayer raw、SOC yuv、BW raw sensor 的类型参见 MEDIA_BUS_FMT 表;场输出支持参见 struct v4l2_mbus_framefmt。 |
| .set_fmt | 设置 CIS 驱动输出格式和分辨率,必须实现。 |
| .enum_frame_interval | 枚举 sensor 支持的帧间隔,包含分辨率信息。 |
| .get_selection | 配置裁剪;ISP 输入宽度须 16 对齐,高度须 8 对齐。 |
2.4 按 struct v4l2_ctrl_ops 的说明实现,主要包含以下回调:
| 成员名称 | 说明 |
|---|---|
| .s_ctrl | RKISP 和 camera_engine 通过不同命令实现 CIS 曝光控制。 |
参照 CIS 驱动 V4L2-controls 列表实现各个 control ID。以下 ID 属于信息获取类,按标准整数菜单控件实现:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_LINK_FREQ | 参见 CIS 驱动 V4L2 controls 标准定义;RKISP 通过此命令获取 MIPI 总线频率。 |
| V4L2_CID_PIXEL_RATE | MIPI 总线:pixel_rate = link_freq * 2 * nr_of_lanes / bits_per_sample。 |
| V4L2_CID_HBLANK | 参见 CIS 驱动 V4L2 controls 的标准定义。 |
| V4L2_CID_VBLANK | 参见 CIS 驱动 V4L2 controls 的标准定义。 |
RK camera_engine 通过上述命令获取计算曝光所需的信息,涉及以下公式:
公式
line_time = HTS / PIXEL_RATE;
PIXEL_RATE = HTS * VTS * FPS
HTS = sensor_width_out + HBLANK;
VTS = sensor_height_out + VBLANK;
以下 ID 属于控制类,RK camera_engine 通过此类命令控制 CIS:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_VBLANK | 调整 VBLANK,从而调整帧率和最大曝光时间。 |
| V4L2_CID_EXPOSURE | 设置曝光时间,单位为曝光行数。 |
| V4L2_CID_ANALOGUE_GAIN | 设置曝光增益,实际总增益 = 模拟增益 × 数字增益;单位为增益寄存器值。 |
3. CIS 驱动不涉及硬件数据接口信息的定义。CIS 设备与 AP 之间的接口连接关系通过 DTS 设备节点的 port 表示,参见 CIS 设备注册(DTS)中的 Port 信息说明。
- CIS 参考驱动列表。
VCM 驱动
VCM 设备注册(DTS)
RK VCM 驱动私有参数说明:
| 名称 | 说明 |
|---|---|
| 起始电流 | VCM 刚好推动镜头从可动行程近端开始运动(模组远焦)时,驱动 IC 输出的电流定义为起始电流。 |
| 额定电流 | VCM 刚好将镜头推至可动行程远端(模组近焦)时,驱动 IC 输出电流定义为额定电流。 |
| VCM 电流输出模式 | VCM 运动产生振荡。驱动 IC 电流变化须考虑振荡周期,以尽量减小振荡;输出模式决定电流达到目标值所需时间。 |
vm149c: vm149c@0c { // vcm driver configuration, this set up is required when supporting AF
compatible = "silicon touch,vm149c";
status = "okay";
reg = <0x0c>;
rockchip,vcm-start-current = <0>;// Starting current of the motor
rockchip,vcm-rated-current = <100>; // Motor rated current
rockchip,vcm-step-mode = <4>; // Current output mode of motor drive IC
rockchip,camera-module-index = <0>; // Module number
rockchip,camera-module-facing = "back"; // Module orientation, there are "back" and "front"
};
ov13850: ov13850@10 {
......
lens-focus = <&vm149c>; // vcm driver set up, need to have this set up when supporting AF
......
};
VCM 驱动说明
数据类型简述
struct i2c_driver
[说明]
定义 I2C 设备驱动信息。
[定义]
struct i2c_driver {
……
/* Standard driver model interfaces */
int (*probe)(struct i2c_client *, const struct i2c_device_id *);
int (*remove)(struct i2c_client *);
……
struct device_driver driver;
const struct i2c_device_id *id_table;
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| @driver | 设备模型驱动主要包含驱动名和匹配 DTS 注册设备的 of_match_table。of_match_table 的 compatible 与 DTS 中 compatible 匹配时调用 .probe。 |
| @id_table | 驱动支持的 I2C 设备列表。内核不通过 of_match_table 和 DTS 注册设备匹配时,使用此表匹配。 |
| @probe | 设备绑定回调 |
| @remove | 设备解绑回调 |
[示例]
static const struct i2c_device_id vm149c_id_table[] = {
{ VM149C_NAME, 0 },
{ { 0 } }
};
MODULE_DEVICE_TABLE(i2c, vm149c_id_table);
static const struct of_device_id vm149c_of_table[] = {
{ .compatible = "silicon touch,vm149c" },
{ { 0 } }
};
MODULE_DEVICE_TABLE(of, vm149c_of_table);
static const struct dev_pm_ops vm149c_pm_ops = {
SET_SYSTEM_SLEEP_PM_OPS(vm149c_vcm_suspend, vm149c_vcm_resume)
SET_RUNTIME_PM_OPS(vm149c_vcm_suspend, vm149c_vcm_resume, NULL)
};
static struct i2c_driver vm149c_i2c_driver = {
.driver = {
.name = VM149C_NAME,
.pm = &vm149c_pm_ops,
.of_match_table = vm149c_of_table,
},
.probe = &vm149c_probe,
.remove = &vm149c_remove,
.id_table = vm149c_id_table,
};
module_i2c_driver(vm149c_i2c_driver);
struct v4l2_subdev_core_ops
[说明]
定义 subdev 的 core ops 回调。
[定义]
struct v4l2_subdev_core_ops {
……
long (*ioctl)(struct v4l2_subdev *sd, unsigned int cmd, void *arg);
#ifdef CONFIG_COMPAT
long (*compat_ioctl32)(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg);
#endif
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .ioctl | 在 V4L2 core 的 ioctl() 系统调用处理末尾调用,支持驱动私有 ioctl。 |
| .compat_ioctl32 | 32 位程序使用 64 位内核时调用,以调整用户空间与内核间传递的数据。原文重复该说明。 |
[示例]
static const struct v4l2_subdev_core_ops vm149c_core_ops = {
.ioctl = vm149c_ioctl,
#ifdef CONFIG_COMPAT
.compat_ioctl32 = vm149c_compat_ioctl32
#endif
};
当前使用以下私有 ioctl 查询电机运动的时间信息。
RK_VIDIOC_VCM_TIMEINFO
struct v4l2_ctrl_ops
[说明]
驱动需要提供的 control 操作。
[定义]
struct v4l2_ctrl_ops {
int (*g_volatile_ctrl)(struct v4l2_ctrl *ctrl);
int (*try_ctrl)(struct v4l2_ctrl *ctrl);
int (*s_ctrl)(struct v4l2_ctrl *ctrl);
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .g_volatile_ctrl | 获取 control 新值,通常用于持续变化的 volatile(通常只读)control,例如当前信号强度。 |
| .s_ctrl | 实际设置新 control 值,s_ctrl 必须实现。调用时持有 ctrl->handler->lock,其他调用者不能访问该 handler 的 controls。 |
[示例]
static const struct v4l2_ctrl_ops vm149c_vcm_ctrl_ops = {
.g_volatile_ctrl = vm149c_get_ctrl,
.s_ctrl = vm149c_set_ctrl,
};
vm149c_get_ctrl 和 vm149c_set_ctrl 支持以下控件:
V4L2_CID_FOCUS_ABSOLUTE
API 简述
xxxx_get_ctrl
[说明]
获取电机的移动位置。
[语法]
static int xxxx_get_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_set_ctrl
[说明]
设置电机的移动位置。
[语法]
static int xxxx_set_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_ioctl xxxx_compat_ioctl
[说明]
自定义 ioctl 的实现函数,主要包括获取电机运动的时间信息。
实现自定义的 RK_VIDIOC_COMPAT_VCM_TIMEINFO。
[语法]
static int xxxx_ioctl(struct v4l2_subdev *sd, unsigned int cmd, void *arg)
static long xxxx_compat_ioctl32(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| cmd | ioctl 命令 | 输入 |
| *arg/arg | 参数指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
驱动移植步骤
1. 实现标准 i2c 子设备驱动部分。
1.1 按照 struct i2c_driver 的说明,主要实现以下部分:
struct driver.name
struct driver.pm
struct driver. of_match_table
probe 函数
remove 函数
1.2 probe 函数实现详解:
1. 获取 VCM 设备资源,主要获取 DTS 资源,参见 VCM 设备注册(DTS)。
1.1) RK 私有资源采用 rockchip, camera-module-xxx 等命名,主要提供设备参数,与 Camera 设备进行匹配。
1.2) VCM 参数采用 rockchip, vcm-xxx 等命名,主要包括起始电流、额定电流、运动模式等硬件参数,关联电机的运动范围和速度。
2. 初始化 VCM v4l2 设备和媒体实体。
v4l2 子设备:v4l2_i2c_subdev_init。RK VCM 驱动要求 subdev 具有独立设备节点,供用户态 camera_engine 访问,并通过该节点控制对焦;
媒体实体:media_entity_init;
3. RK AF 算法将模组镜头整个可移动行程的位置参数定义为 [0,64]。整个行程对应的 VCM 驱动电流变化范围为 [起始电流, 额定电流]。建议在函数中实现二者之间的映射换算。
2. 实现 v4l2 子设备驱动,主要实现以下 2 个成员:
struct v4l2_subdev_core_ops
struct v4l2_ctrl_ops
2.1 按照 v4l2_subdev_core_ops 的说明实现回调函数,主要包含以下回调:
.ioctl.compat_ioctl32
此回调主要实现 RK 私有控制命令,包括:
| 成员名称 | 说明 |
|---|---|
| RK_VIDIOC_VCM_TIMEINFO | camera_engine 获取镜头运动所需时间,判断停止时刻及 CIS 帧曝光与镜头运动时间是否重叠。运动时间与距离、VCM IC 电流输出模式有关。 |
2.2 按照 v4l2_ctrl_ops 的说明实现回调函数,主要包含以下回调:
.g_volatile_ctrl.s_ctrl
.g_volatile_ctrl 和 .s_ctrl 使用标准 v4l2 control 实现以下命令:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_FOCUS_ABSOLUTE | camera_engine 设置/获取镜头绝对位置;RK AF 算法将整个可动行程位置定义为 [0,64]。 |
FlashLight 驱动
FLASHLight 设备注册(DTS)
SGM378 DTS 参考:
&i2c1 {
...
sgm3784: sgm3784@30 {//Flash equipment
#address-cells = <1>;
#size-cells = <0>;
compatible = "sgmicro,gsm3784";
reg = <0x30>;
rockchip,camera-module-index = <0>;//The flash corresponds to the camera module number
rockchip,camera-module-facing = "back";//The flash corresponds to the orientation of the camera module
enable-gpio = <&gpio2 RK_PB4 GPIO_ACTIVE_HIGH>;//enable gpio
strobe-gpio = <&gpio1 RK_PA3 GPIO_ACTIVE_HIGH>;//flash trigger gpio
status = "okay";
sgm3784_led0: led@0 {//led0 device information
reg = <0x0>;//index
led-max-microamp = <299200>;//Torch mode maximum current
flash-max-microamp = <1122000>;//flash mode maximum current
flash-max-timeout-us = <1600000>;//maximum flash time
};
sgm3784_led1: led@1 {//led1 device information
reg = <0x1>;//index
led-max-microamp = <299200>;//Torch mode maximum current
flash-max-microamp = <1122000>;//flash mode maximum current
flash-max-timeout-us = <1600000>;//maximum flash time
};
};
...
ov13850: ov13850@10 {
...
flash-leds = <&sgm3784_led0 &sgm3784_led1>;//The flash device is hooked to the camera
...
};
...
}
GPIO、PWM 控制的 dts 参考:
flash_ir: flash-ir {
status = "okay";
compatible = "led,rgb13h";
label = "pwm-flash-ir";
led-max-microamp = <20000>;
flash-max-microamp = <20000>;
flash-max-timeout-us = <1000000>;
pwms=<&pwm3 0 25000 0>;
//enable-gpio = <&gpio0 RK_PA1 GPIO_ACTIVE_HIGH>;
rockchip,camera-module-index = <1>;
rockchip,camera-module-facing = "front";
};
&i2c1 {
imx415: imx415@1a {
...
flash-leds = <&flash_ir>;
...
}
}
注意:
1. 软件需根据补光灯类型区分处理流程。若为红外补光灯,dts 补光灯节点标签必须包含 ir,以标识硬件类型;LED 补光灯可移除 ir 字段。
2. 对于这种单引脚控制电路,有两种情况:固定亮度时直接使用 gpio;亮度可控时使用 pwm,通过占空比调节亮度。dts 的 pwms 或 enable-gpio 两种配置选择其一。
FLASHLight 驱动说明
数据类型简述
struct i2c_driver
[说明]
定义 I2C 设备驱动信息。
[定义]
struct i2c_driver {
……
/* Standard driver model interfaces */
int (*probe)(struct i2c_client *, const struct i2c_device_id *);
int (*remove)(struct i2c_client *);
……
struct device_driver driver;
const struct i2c_device_id *id_table;
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| @driver | 设备模型驱动主要包含驱动名和匹配 DTS 注册设备的 of_match_table。of_match_table 的 compatible 与 DTS 中 compatible 匹配时调用 .probe。 |
| @id_table | 驱动支持的 I2C 设备列表。内核不通过 of_match_table 和 DTS 注册设备匹配时,使用此表匹配。 |
| @probe | 设备绑定回调 |
| @remove | 设备解绑回调 |
[示例]
static const struct i2c_device_id sgm3784_id_table[] = {
{ SGM3784_NAME, 0 },
{ { 0 } }
};
MODULE_DEVICE_TABLE(i2c, sgm3784_id_table);
static const struct of_device_id sgm3784_of_table[] = {
{ .compatible = "sgmicro,sgm3784" },
{ { 0 } }
};
MODULE_DEVICE_TABLE(of, sgm3784_of_table);
static const struct dev_pm_ops sgm3784_pm_ops = {
SET_RUNTIME_PM_OPS(sgm3784_runtime_suspend, sgm3784_runtime_resume, NULL)
};
static struct i2c_driver sgm3784_i2c_driver = {
.driver = {
.name = sgm3784_NAME,
.pm = &sgm3784_pm_ops,
.of_match_table = sgm3784_of_table,
},
.probe = &sgm3784_probe,
.remove = &sgm3784_remove,
.id_table = sgm3784_id_table,
};
module_i2c_driver(vm149c_i2c_driver);
struct v4l2_subdev_core_ops
[说明]
定义 subdev 的 core ops 回调。
[定义]
struct v4l2_subdev_core_ops {
……
long (*ioctl)(struct v4l2_subdev *sd, unsigned int cmd, void *arg);
#ifdef CONFIG_COMPAT
long (*compat_ioctl32)(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg);
#endif
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .ioctl | 在 V4L2 core 的 ioctl() 系统调用处理末尾调用,支持驱动私有 ioctl。 |
| .compat_ioctl32 | 32 位程序使用 64 位内核时调用,以调整用户空间与内核间传递的数据。原文重复该说明。 |
[示例]
static const struct v4l2_subdev_core_ops sgm3784_core_ops = {
.ioctl = sgm3784_ioctl,
#ifdef CONFIG_COMPAT
.compat_ioctl32 = sgm3784_compat_ioctl32
#endif
};
当前通过以下私有 ioctl 查询闪光灯点亮的时间信息。
RK_VIDIOC_FLASH_TIMEINFO
struct v4l2_ctrl_ops
[说明]
驱动需要提供的 control 操作。
[定义]
struct v4l2_ctrl_ops {
int (*g_volatile_ctrl)(struct v4l2_ctrl *ctrl);
int (*s_ctrl)(struct v4l2_ctrl *ctrl);
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .g_volatile_ctrl | 获取 control 新值,通常用于持续变化的 volatile(通常只读)control,例如当前信号强度。 |
| .s_ctrl | 实际设置新 control 值,s_ctrl 必须实现。调用时持有 ctrl->handler->lock,其他调用者不能访问该 handler 的 controls。 |
[示例]
static const struct v4l2_ctrl_ops sgm3784_ctrl_ops[LED_MAX] = {
[LED0] = {
.g_volatile_ctrl = sgm3784_led0_get_ctrl,
.s_ctrl = sgm3784_led0_set_ctrl,
},
[LED1] = {
.g_volatile_ctrl = sgm3784_led1_get_ctrl,
.s_ctrl = sgm3784_led1_set_ctrl,
}
};
API 简述
xxxx_set_ctrl
[说明]
设置闪光模式、电流和闪光超时时间。
[语法]
static int xxxx_set_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_get_ctrl
[说明]
获取闪光灯故障状态。
[语法]
static int xxxx_get_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_ioctl xxxx_compat_ioctl
[说明]
自定义 ioctl 的实现函数,主要包括获取闪光灯的时间信息。
实现自定义的 RK_VIDIOC_COMPAT_FLASH_TIMEINFO。
[语法]
static int xxxx_ioctl(struct v4l2_subdev *sd, unsigned int cmd, void *arg)
static long xxxx_compat_ioctl32(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| cmd | ioctl 命令 | 输入 |
| *arg/arg | 参数指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
驱动移植步骤
对于直接由普通 gpio 控制的 LED,参见 kernel/drivers/leds/leds-rgb13h.c 和 kernel/Documentation/devicetree/bindings/leds/leds-rgb13h.txt。
闪光灯驱动 IC 可按以下方式移植:
1. 实现标准 i2c 子设备驱动部分。
1.1 按照 struct i2c_driver 的说明,主要实现以下部分:
struct driver.name
struct driver.pm
struct driver. of_match_table
probe 函数
remove 函数
1.2 probe 函数实现详解:
1. 获取闪光灯设备资源,主要获取 DTS 资源,参见 FLASHLIGHT 设备注册(DTS);
1.1) RK 私有资源采用 rockchip, camera-module-xxx 等命名,主要提供设备参数,与 Camera 设备进行匹配。
2. 闪光灯设备名称:
双 LED 闪光灯使用 led0 和 led1 设备名区分。
/* NOTE: to distinguish between two led
* name: led0 meet the main led
* name: led1 meet the secondary led
*/
snprintf(sd->name, sizeof(sd->name),
"m%02d_%s_%s_led%d %s",
flash->module_index, facing,
SGM3784_NAME, i, dev_name(sd->dev));
3. 初始化 FLASH v4l2 设备和媒体实体。
v4l2 子设备:v4l2_i2c_subdev_init。RK 闪光灯驱动要求 subdev 具有独立设备节点,供用户态 camera_engine 访问并通过该节点控制 LED;
媒体实体:media_entity_init;
2. 实现 v4l2 子设备驱动,主要实现以下 2 个成员:
struct v4l2_subdev_core_ops
struct v4l2_ctrl_ops
2.1 按照 v4l2_subdev_core_ops 的说明实现回调函数,主要包含以下回调:
.ioctl.compat_ioctl32
此回调主要实现 RK 私有控制命令,包括:
| 成员名称 | 说明 |
|---|---|
| RK_VIDIOC_FLASH_TIMEINFO | camera_engine 获取 LED 点亮时刻,判断 CIS 帧曝光是否在闪光开启之后。 |
2.2 按照 v4l2_ctrl_ops 的说明实现回调函数,主要包含以下回调:
.g_volatile_ctrl.s_ctrl
.g_volatile_ctrl 和 .s_ctrl 使用标准 v4l2 control 实现以下命令:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_FLASH_FAULT | 获取闪光故障信息 |
| V4L2_CID_FLASH_LED_MODE | 设置 LED 模式:V4L2_FLASH_LED_MODE_NONE、V4L2_FLASH_LED_MODE_TORCH、V4L2_FLASH_LED_MODE_FLASH。 |
| V4L2_CID_FLASH_STROBE | 控制开启闪光 |
| V4L2_CID_FLASH_STROBE_STOP | 控制关闭闪光 |
| V4L2_CID_FLASH_TIMEOUT | 设置 flash 模式最大连续点亮时间 |
| V4L2_CID_FLASH_INTENSITY | 设置 flash 模式电流 |
| V4L2_CID_FLASH_TORCH_INTENSITY | 设置 torch 模式电流 |
FOCUS、ZOOM、P-IRIS 驱动
此处驱动指步进电机控制的自动对焦(FOCUS)、变焦(ZOOM)和自动光圈(P-IRIS)。由于步进电机控制方式相同及硬件设计因素,三项功能集成为一个驱动。根据使用的驱动芯片(如 SPI 控制芯片),可将驱动封装为 SPI 框架子设备。本章以 MP6507 和 MS41908 为例,说明驱动需实现的数据结构、框架与注意事项。
MP6507 设备注册(DTS)
mp6507: mp6507 {
status = "okay";
compatible = "monolithicpower,mp6507";
#pwm-cells = <3>;
pwms = <&pwm6 0 25000 0>,
<&pwm10 0 25000 0>,
<&pwm9 0 25000 0>,
<&pwm8 0 25000 0>;
pwm-names = "ain1","ain2","bin1","bin2";
rockchip,camera-module-index = <1>;
rockchip,camera-module-facing = "front";
iris_en-gpios = <&gpio0 RK_PC2 GPIO_ACTIVE_HIGH>;
focus_en-gpios = <&gpio0 RK_PC3 GPIO_ACTIVE_HIGH>;
zoom_en-gpios = <&gpio0 RK_PC0 GPIO_ACTIVE_HIGH>;
iris-step-max = <80>;
focus-step-max = <7500>;
zoom-step-max = <7500>;
iris-start-up-speed = <1200>;
focus-start-up-speed = <1200>;
focus-max-speed = <2500>;
zoom-start-up-speed = <1200>;
zoom-max-speed = <2500>;
focus-first-speed-step = <8>;
zoom-first-speed-step = <8>;
focus-speed-up-table = < 1176 1181 1188 1196
1206 1217 1231 1246
1265 1286 1309 1336
1365 1396 1429 1464
1500 1535 1570 1603
1634 1663 1690 1713
1734 1753 1768 1782
1793 1803 1811 1818>;
focus-speed-down-table = < 1796 1788 1779 1768
1756 1743 1728 1712
1694 1674 1653 1630
1605 1580 1554 1527
1500 1472 1445 1419
1394 1369 1346 1325
1305 1287 1271 1256
1243 1231 1220 1211
1203 1195 1189 1184
1179 1175>;
zoom-speed-up-table = < 1198 1205 1212 1220
1228 1238 1249 1260
1272 1285 1299 1313
1328 1343 1359 1375
1390 1406 1421 1436
1450 1464 1477 1489
1500 1511 1521 1529
1537 1544 1551>;
zoom-speed-down-table = < 1547 1540 1531 1522
1511 1499 1487 1473
1458 1443 1426 1409
1392 1375 1357 1340
1323 1306 1291 1276
1262 1250 1238 1227
1218 1209 1202 1195
1189 1184 1179 1175
1171 1168>;
};
&i2c1 {
imx334: imx334@1a {
...
lens-focus = <&mp6507>;
...
}
}
&pwm6 {
status = "okay";
pinctrl-names = "active";
pinctrl-0 = <&pwm6m1_pins_pull_up>;
};
&pwm8 {
status = "okay";
pinctrl-names = "active";
pinctrl-0 = <&pwm8m1_pins_pull_down>;
center-aligned;
};
&pwm9 {
status = "okay";
pinctrl-names = "active";
pinctrl-0 = <&pwm9m1_pins_pull_down>;
center-aligned;
};
&pwm10 {
status = "okay";
pinctrl-names = "active";
pinctrl-0 = <&pwm10m1_pins_pull_down>;
};
RK 私有定义说明:
| 成员名称 | 说明 |
|---|---|
| rockchip, camera-module-index |
摄像头序号,用于字段匹配摄像头。 |
| rockchip, camera-module-facing |
摄像头朝向,用于字段匹配摄像头。 |
| iris_en-gpios | IRIS 使能 GPIO |
| focus_en-gpios | 对焦使能 GPIO |
| zoom_en-gpios | 变焦使能 GPIO |
| rockchip,iris-step-max | P-IRIS 步进电机最大移动步数 |
| rockchip,focus-step-max | 对焦步进电机最大移动步数 |
| zoom-step-max | 变焦步进电机最大移动步数 |
| iris-start-up-speed | IRIS 步进电机起始速度 |
| focus-start-up-speed | 对焦步进电机起始速度 |
| focus-max-speed | 对焦步进电机最大运行速度 |
| zoom-start-up-speed | 变焦步进电机起始速度 |
| zoom-max-speed | 变焦步进电机最大运行速度 |
| focus-first-speed-step | 对焦起始速度阶段步数;之后加速区间的步数按比例增加,使各速度阶段运行时间尽可能相同。 |
| zoom-first-speed-step | 变焦起始速度阶段步数;之后加速区间步数按比例增加,使各速度阶段运行时间尽可能相同。 |
| focus-speed-up-table | 对焦加速曲线采用查表法,调整参数后配置生成的梯形或 S 形加速数据表。未配置或仅一个数据时按起始速度匀速运行;曲线最小值不超过电机最大起始速度,最大值不超过步进电机最大运行速度。 |
| focus-speed-down-table | 对焦减速曲线最大值必须小于加速曲线最大值。加速曲线无效时减速也无效,全程按起始速度匀速;未配置减速曲线时,由加速曲线对称生成。 |
| zoom-speed-up-table | 变焦加速采用查表法,配置生成的梯形或 S 形曲线;未配置或只有一个数据时按起始速度匀速。最小值不超过最大起始速度,最大值不超过步进电机最大运行速度。 |
| zoom-speed-down-table | 变焦减速曲线最大值须小于加速最大值;加速曲线无效则减速也无效,全程按起始速度匀速。未配置减速曲线时,由加速曲线对称生成。 |
数据类型简述
struct platform_driver
[说明]
定义 platform 设备驱动信息。
[定义]
struct platform_driver {
int (*probe)(struct platform_device *);
int (*remove)(struct platform_device *);
void (*shutdown)(struct platform_device *);
int (*suspend)(struct platform_device *, pm_message_t state);
int (*resume)(struct platform_device *);
struct device_driver driver;
const struct platform_device_id *id_table;
bool prevent_deferred_probe;
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| @driver | struct device_driver 主要包含驱动名称及匹配 DTS 设备的 of_match_table;compatible 匹配时调用 .probe。 |
| @id_table | 内核不通过 of_match_table 与 DTS 注册设备匹配时,使用此表。 |
| @probe | 设备绑定回调 |
| @remove | 设备解绑回调 |
[示例]
#if defined(CONFIG_OF)
static const struct of_device_id motor_dev_of_match[] = {
{ .compatible = "monolithicpower,mp6507", },
{},
};
#endif
static struct platform_driver motor_dev_driver = {
.driver = {
.name = DRIVER_NAME,
.owner = THIS_MODULE,
.of_match_table = of_match_ptr(motor_dev_of_match),
},
.probe = motor_dev_probe,
.remove = motor_dev_remove,
};
module_platform_driver(motor_dev_driver);
struct v4l2_subdev_core_ops
[说明]
定义 subdev 的 core ops 回调。
[定义]
struct v4l2_subdev_core_ops {
……
long (*ioctl)(struct v4l2_subdev *sd, unsigned int cmd, void *arg);
#ifdef CONFIG_COMPAT
long (*compat_ioctl32)(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg);
#endif
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .ioctl | 在 V4L2 core 的 ioctl() 系统调用处理末尾调用,支持驱动私有 ioctl。 |
| .compat_ioctl32 | 32 位程序使用 64 位内核时调用,以调整用户空间与内核间传递的数据。原文重复该说明。 |
[示例]
static const struct v4l2_subdev_core_ops motor_core_ops = {
.ioctl = motor_ioctl,
};
static const struct v4l2_subdev_ops motor_subdev_ops = {
.core = &motor_core_ops,
};
struct v4l2_ctrl_ops
[说明]
驱动需要提供的 control 操作。
[定义]
struct v4l2_ctrl_ops {
int (*g_volatile_ctrl)(struct v4l2_ctrl *ctrl);
int (*s_ctrl)(struct v4l2_ctrl *ctrl);
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .g_volatile_ctrl | 获取 control 新值,通常用于持续变化的 volatile(通常只读)control,例如当前信号强度。 |
| .s_ctrl | 实际设置新 control 值,s_ctrl 必须实现。调用时持有 ctrl->handler->lock,其他调用者不能访问该 handler 的 controls。 |
[示例]
static const struct v4l2_ctrl_ops motor_ctrl_ops = {
.s_ctrl = motor_s_ctrl,
};
API 简述
xxxx_set_ctrl
[说明]
调用标准 v4l2_control 设置对焦、变焦和 P 光圈位置。
实现以下 v4l2 标准命令:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_FOCUS_ABSOLUTE | 控制对焦;0 表示最小焦距,近处清晰。 |
| V4L2_CID_ZOOM_ABSOLUTE | 控制变焦倍数;0 表示最小倍数、最大视场。 |
| V4L2_CID_IRIS_ABSOLUTE | 控制 P 光圈开口;0 表示关闭光圈。 |
[语法]
static int xxxx_set_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_get_ctrl
[说明]
调用标准 v4l2_control 获取对焦、变焦和 P 光圈的当前位置。
实现以下 v4l2 标准命令:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_FOCUS_ABSOLUTE | 控制对焦;0 表示最小焦距,近处清晰。 |
| V4L2_CID_ZOOM_ABSOLUTE | 控制变焦倍数;0 表示最小倍数、最大视场。 |
| V4L2_CID_IRIS_ABSOLUTE | 控制 P 光圈开口;0 表示关闭光圈。 |
[语法]
static int xxxx_get_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_ioctl xxxx_compat_ioctl
[说明]
自定义 ioctl 的实现主要包括获取对焦、变焦和 P 光圈的时间信息(运动开始与结束时间戳)。由于使用的镜头没有定位装置,必要时需重置镜头电机位置。
实现的自定义项:
| 成员名称 | 说明 |
|---|---|
| RK_VIDIOC_VCM_TIMEINFO | 对焦时间信息,用于判断当前帧是否为对焦完成后的有效帧。 |
| RK_VIDIOC_ZOOM_TIMEINFO | 变焦时间信息,用于判断当前帧是否为变焦完成后的有效帧。 |
| RK_VIDIOC_IRIS_TIMEINFO | 光圈时间信息,用于判断当前帧是否为光圈调整后的有效帧。 |
| RK_VIDIOC_FOCUS_CORRECTION | 对焦位置校正(复位) |
| RK_VIDIOC_ZOOM_CORRECTION | 变焦位置校正(复位) |
| RK_VIDIOC_IRIS_CORRECTION | 光圈位置校正(复位) |
[语法]
static int xxxx_ioctl(struct v4l2_subdev *sd, unsigned int cmd, void *arg)
static long xxxx_compat_ioctl32(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| cmd | ioctl 命令 | 输入 |
| *arg/arg | 参数指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
驱动移植步骤
SPI 控制的驱动芯片可使用 SPI 框架移植。RK 参考驱动采用 MP6507,直接由 pwm 输出控制波形,经 MP6507 功率放大,因此直接基于 platform 框架移植。参考驱动:/kernel/drivers/media/i2c/mp6507.c。
移植步骤如下:
1. 实现标准 platform 子设备驱动部分。
1.1 根据 struct platform_driver 的说明,主要实现以下部分:
struct driver.name
struct driver. of_match_table
probe 函数
remove 函数
1.2 probe 函数实现详解:
1. 获取设备资源,主要获取 DTS 资源,参见 MP6507 设备注册(DTS);
1.1) RK 私有资源采用 rockchip, camera-module-xxx 等命名,主要提供设备参数以匹配 Camera 设备。
1.2) 获取 pwm 配置。按电机控制方式,AB 相的相位差为 90 度,可通过将 B 相 PWM 配置为中心对齐实现。在 dts 的 pwm 节点配置 center-aligned;详细参见 MP6507 设备注册(DTS)。

英文原图 6,PDF 第 85 页
激励序列;输出轴顺时针(CW)旋转。
| 相位 / 步骤 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| A | + | + | − | − |
| A̅ | − | − | + | + |
| B | − | + | + | − |
| B̅ | + | − | − | + |
1.3) 获取使能引脚。MP6507 需要 4 路 PWM 生成步进电机控制波形。由于硬件 PWM 有限,对焦、变焦和 P 光圈电机分别采用一颗 MP6507,通过 gpio 使能对应芯片,实现 PWM 分时复用。缺点是同一时间只能驱动一个步进电机,另外两个必须等待上一次操作结束。
1.4) 获取各电机的最大步数、最大启动速度、最大运行速度、加速曲线数据等硬件约束与资源。
2. hrtimer_init 初始化定时器。pwm 使用连续模式,需要定时器计时;输出指定数量的 pwm 波形后,定时器中断关闭 pwm。加速过程中也需在指定波形数后进入定时器中断修改 pwm 频率,实现步进电机加速。
3. init_completion 通过 completion 实现同步,前一电机运动结束后才能执行下一次电机操作。
4. 初始化 v4l2 设备和媒体实体。
v4l2 子设备:v4l2_i2c_subdev_init。驱动要求 subdev 具有独立设备节点,供用户态 rkaiq 访问,并通过该节点控制电机;
媒体实体:media_entity_init;
5. 闪光灯设备名称:
snprintf(sd->name, sizeof(sd->name), "m%02d_%s_%s",
motor->module_index, facing,
DRIVER_NAME);
2. 实现 v4l2 子设备驱动,主要实现以下 2 个成员:
struct v4l2_subdev_core_ops
struct v4l2_ctrl_ops
2.1 按照 v4l2_subdev_core_ops 的说明实现回调函数,主要包含以下回调:
.ioctl
.compat_ioctl32
此回调主要实现 RK 私有控制命令,包括:
| 成员名称 | 说明 |
|---|---|
| RK_VIDIOC_VCM_TIMEINFO | 对焦时间信息,用于判断当前帧是否为对焦完成后的有效帧。 |
| RK_VIDIOC_ZOOM_TIMEINFO | 变焦时间信息,用于判断当前帧是否为变焦完成后的有效帧。 |
| RK_VIDIOC_IRIS_TIMEINFO | 光圈时间信息,用于判断当前帧是否为光圈调整后的有效帧。 |
| RK_VIDIOC_FOCUS_CORRECTION | 对焦位置校正(复位) |
| RK_VIDIOC_ZOOM_CORRECTION | 变焦位置校正(复位) |
| RK_VIDIOC_IRIS_CORRECTION | 光圈位置校正(复位) |
2.2 按照 v4l2_ctrl_ops 的说明实现回调函数,主要包含以下回调:
.g_volatile_ctrl
.s_ctrl
.g_volatile_ctrl 和 .s_ctrl 使用标准 v4l2 control 实现以下命令:
| 参数名称 | 说明 |
|---|---|
| V4L2_CID_FOCUS_ABSOLUTE | 控制对焦;0 表示最小焦距,近处清晰。 |
| V4L2_CID_ZOOM_ABSOLUTE | 控制变焦倍数;0 表示最小倍数、最大视场。 |
| V4L2_CID_IRIS_ABSOLUTE | 控制 P 光圈开口;0 表示关闭(原文末尾含 **)。 |
3. 步进电机加速曲线参考:
3.1 梯形曲线:可如图按相等时间间隔和速度增量进行加减速。

英文原图 7,PDF 第 86 页
3.2 S 曲线
若梯形加速不理想,可考虑 S 形加速,参考以下公式:
Speed = Vmin + ((Vmax-Vmin) / (1 + exp(-fac * (i-Num) / Num)));
其中 Vmin 为电机启动速度,Vmax 为目标速度;fac 为曲线系数,一般取 4~6,值越大曲线中部越陡;i 为速度分段序号,分 32 段加速时取 0~31;Num 为速度段数的一半,32 段时 num 为 16。

英文原图 8,PDF 第 87 页
MS41908 设备注册(DTS)
部分镜头支持 PIRIS、FOCUS、ZOOM、ZOOM1,或 DC-IRIS、FOCUS、ZOOM 的组合,因此 MS41908 将 PIRIS、FOCUS、ZOOM、ZOOM1、DC-IRIS 设计为可配置功能,并可多次加载驱动来组合多个驱动芯片。这使 dts 较复杂,请仔细阅读各参数说明。
&spi0 {
status = "okay";
pinctrl-names = "default";
pinctrl-0 = <&spi0m0_clk &spi0m0_cs0n &spi0m0_miso &spi0m0_mosi>;
//If pinctrl is not configured, confirm whether the default pinctrl is the actual pin group
assigned-clocks = <&pmucru CLK_SPI0>;
assigned-clock-rates = <100000000>;
ms41908: ms41908@00 {
status = "okay";
compatible = "relmon,ms41908";
reg = <0>;
pinctrl-names = "default";
focus-start-up-speed = <800>;
zoom-start-up-speed = <800>;
focus-step-max = <3160>;
zoom-step-max = <1520>;
focus-backlash = <18>;
vd_fz-period-us = <10000>;
vd_fz-gpios = <&gpio3 RK_PC6 GPIO_ACTIVE_HIGH>;
rockchip,camera-module-index = <1>;
rockchip,camera-module-facing = "front";
use-focus;
use-zoom;
focus-used-pin = "cd";
zoom-used-pin = "ab";
};
};
&i2c1 {
imx335: imx335@1a{
...
lens-focus = <&ms41908>;
//Multiple device registration,lens-focus = <&ms41908_0 &ms41908_1>;
...
};
};
基本说明:
| 成员名称 | 说明 |
|---|---|
| pinctrl-0 | SPI 引脚定义,按硬件配置映射 SPI 功能,例如 pinctrl-0 = <&spi0m0_clk &spi0m0_cs0n &spi0m0_miso &spi0m0_mosi>;。 |
| assigned-clocks assigned-clock-rates |
SPI 时钟配置,建议 100MHz。 |
| reg | reg = <0>; 使用 cs0;reg = <1>; 使用 cs1。 |
| rockchip,camera-module-index | 摄像头序号,用于匹配摄像头。 |
| rockchip,camera-module-facing | 摄像头朝向,用于匹配摄像头。 |
| reset-gpios | ms41908 复位引脚,硬件固定上拉时可不配置。 |
| vd_fz-period-us | 步进驱动寄存器更新所需脉冲周期,两电机共用同一脉冲。电机运行时间超过 vd 周期会失步,驱动保证单次运动周期在 vd 周期内。 |
FOCUS 说明:
| 成员名称 | 说明 |
|---|---|
| use-focus | 是否使用对焦功能 |
| focus-used-pin | 每颗 ms41908 可驱动两电机,对应引脚组为 ab、cd,按实际硬件接线配置。 |
| focus-backlash | 齿轮间隙造成的误差,电机换向时补偿的步数,由实际镜头测试确定。 |
| focus-start-up-speed | 步进电机起始速度,单位 PPS。 |
| focus-step-max | 电机有效行程,单位为步数。 |
| focus-ppw | 设置 ms41908 输出 PWM 占空比 0–255,值越大驱动能力越强,按电机负载调整。 |
| focus-phmode | 设置 ms41908 输出 PWM 波形相位校正,通常不配置,依实际情况确定。 |
| focus-micro | 微步细分为 64、128、256,默认 256。 |
| focus-reback-distance | 对焦曲线须沿同一方向运动才能定位准确。例如当前位置 100,要退到 90,须先退至 80 再到 90;此参数为额外回退步数。 |
| focus-1-2phase-excitation | 默认 2-2 相励磁,可配置 1-2 相,例如 focus-1-2phase-excitation;。 |
| focus-dir-opposite | 电机方向与实际对焦曲线相反时可反转,例如 focus-dir-opposite;。 |
光耦说明:
| 成员名称 | 说明 |
|---|---|
| focus-pic | 光耦 C 引脚检测电平跳变,跳变交界点为光耦原点。 |
| focus-pia | 光耦 A 引脚驱动光电二极管,校准时拉高、正常工作拉低,否则影响成像。 |
| focus-pie | 硬件可直接接地;若由 GPIO 控制,须配置为低电平。 |
| focus-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
| focus-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
注意:无光耦定位的镜头无需配置光耦参数。
ZOOM 说明:
| 成员名称 | 说明 |
|---|---|
| use-zoom | 是否使用变焦功能 |
| zoom-used-pin | 每颗 ms41908 可驱动两电机,对应引脚组为 ab、cd,按实际硬件接线配置。 |
| zoom-backlash | 齿轮间隙误差,电机换向补偿步数,按测试确定。 |
| zoom-start-up-speed | 步进电机起始速度,单位 PPS。 |
| zoom-step-max | 电机有效行程,单位为步数。 |
| zoom-ppw | 设置 ms41908 输出 PWM 占空比 0–255,值越大驱动能力越强,按电机负载调整。 |
| zoom-phmode | 设置 ms41908 输出 PWM 波形相位校正,通常不配置,依实际情况确定。 |
| zoom-micro | 微步细分为 64、128、256,默认 256。 |
| zoom-1-2phase-excitation | 默认 2-2 相励磁,可用 zoom-1-2phase-excitation; 配置 1-2 相。 |
| zoom-dir-opposite | 运动方向与实际对焦曲线相反时,用 zoom-dir-opposite; 反转。 |
光耦说明:
| 成员名称 | 说明 |
|---|---|
| zoom-pic | 光耦 C 引脚检测电平跳变,跳变交界点为光耦原点。 |
| zoom-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
| zoom-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
注意:无光耦定位的镜头无需配置光耦参数。
ZOOM1 说明:
| 成员名称 | 说明 |
|---|---|
| use-zoom1 | 是否启用 zoom1;部分镜头支持两组变焦控制。 |
| zoom1-used-pin | 每颗 ms41908 可驱动两电机,对应引脚组为 ab、cd,按实际硬件接线配置。 |
| zoom1-backlash | 齿轮间隙误差,电机换向补偿步数,按测试确定。 |
| zoom1-start-up-speed | 步进电机起始速度,单位 PPS。 |
| zoom1-step-max | 电机有效行程,单位为步数。 |
| zoom1-ppw | 设置 ms41908 输出 PWM 占空比 0–255,值越大驱动能力越强,按电机负载调整。 |
| zoom1-phmode | 设置 ms41908 输出 PWM 波形相位校正,通常不配置,依实际情况确定。 |
| zoom1-micro | 微步细分为 64、128、256,默认 256。 |
| zoom1-1-2phase-excitation | 默认 2-2 相励磁,可用 zoom1-1-2phase-excitation; 配置 1-2 相。 |
| zoom1-dir-opposite | 运动方向与实际对焦曲线相反时,用 zoom1-dir-opposite; 反转。 |
光耦说明:
| 成员名称 | 说明 |
|---|---|
| zoom1-pic | 光耦 C 引脚检测电平跳变,跳变交界点为光耦原点。 |
| zoom1-pia | 光耦 A 引脚驱动光电二极管,校准时拉高、正常工作拉低,否则影响成像。 |
| zoom1-pie | 硬件可直接接地;若由 GPIO 控制,须配置为低电平。 |
| zoom1-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
| zoom1-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
注意:无光耦定位的镜头无需配置光耦参数。
PIRIS 说明:
| 成员名称 | 说明 |
|---|---|
| use-p-iris | 是否使用 P-IRIS |
| piris-used-pin | 每颗 ms41908 可驱动两电机,对应引脚组为 ab、cd,按实际硬件接线配置。 |
| piris-backlash | 齿轮间隙造成的误差,电机换向时补偿的步数,由实际镜头测试确定。 |
| piris-start-up-speed | 步进电机起始速度,单位 PPS。 |
| piris-step-max | 电机有效行程,单位为步数。 |
| piris-ppw | 设置 ms41908 输出 PWM 占空比 0–255,值越大驱动能力越强,按电机负载调整。 |
| piris-phmode | 设置 ms41908 输出 PWM 波形相位校正,通常不配置,依实际情况确定。 |
| piris-micro | 微步细分为 64、128、256,默认 256。 |
| piris-1-2phase-excitation | 默认 2-2 相励磁,可用 piris-1-2phase-excitation; 配置 1-2 相。 |
| piris-dir-opposite | 运动方向与实际对焦曲线相反时,用 piris-dir-opposite; 反转。 |
光耦说明:
| 成员名称 | 说明 |
|---|---|
| piris-pic | 光耦 C 引脚检测电平跳变,跳变交界点为光耦原点。 |
| piris-pia | 光耦 A 引脚驱动光电二极管,校准时拉高、正常工作拉低,否则影响成像。 |
| piris-pie | 硬件可直接接地;若由 GPIO 控制,须配置为低电平。 |
| piris-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
| piris-min-pos | 测量光耦原点左右步数并填入 DTS,可大于实际值。 |
注意:无光耦定位的镜头无需配置光耦参数。
DCIRIS 说明:
| 成员名称 | 说明 |
|---|---|
| use-dc-iris | 是否使用 DC-IRIS |
| vd_iris-gpios | 使 DC 光圈相关寄存器生效的同步脉冲引脚。 |
| dc-iris-reserved-polarity | DC 光圈极性;若 0 表示全开,可设置此属性反转。 |
| dc-iris-max-log | DC 光圈目标范围为 0~1023,实际有效范围可能更小,可用此参数限制。 |
数据类型简述
struct spi_driver
[说明]
定义 platform 设备驱动信息。
[定义]
struct spi_driver {
int (*probe)(struct spi_device *spi);
int (*remove)(struct spi_device *spi);
struct device_driver driver;
const struct spi_device_id *id_table;
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| @driver | struct device_driver 主要包含驱动名称及匹配 DTS 设备的 of_match_table;compatible 匹配时调用 .probe。 |
| @id_table | 内核不通过 of_match_table 与 DTS 注册设备匹配时,使用此表。 |
| @probe | 设备绑定回调 |
| @remove | 设备解绑回调 |
[示例]
static const struct spi_device_id motor_match_id[] = {
{"relmon,ms41908", 0 },
{ }
};
static struct spi_driver motor_dev_driver = {
.driver = {
.name = DRIVER_NAME,
.of_match_table = of_match_ptr(motor_dev_of_match),
},
.probe = &motor_dev_probe,
.remove = &motor_dev_remove,
.id_table = motor_match_id,
};
struct v4l2_subdev_core_ops
[说明]
定义 subdev 的 core ops 回调。
[定义]
struct v4l2_subdev_core_ops {
……
long (*ioctl)(struct v4l2_subdev *sd, unsigned int cmd, void *arg);
#ifdef CONFIG_COMPAT
long (*compat_ioctl32)(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg);
#endif
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .ioctl | 在 V4L2 core 的 ioctl() 系统调用处理末尾调用,支持驱动私有 ioctl。 |
| .compat_ioctl32 | 32 位程序使用 64 位内核时调用,以调整用户空间与内核间传递的数据。原文重复该说明。 |
[示例]
static const struct v4l2_subdev_core_ops motor_core_ops = {
.ioctl = motor_ioctl,
};
static const struct v4l2_subdev_ops motor_subdev_ops = {
.core = &motor_core_ops,
};
struct v4l2_ctrl_ops
[说明]
驱动需要提供的 control 操作。
[定义]
struct v4l2_ctrl_ops {
int (*g_volatile_ctrl)(struct v4l2_ctrl *ctrl);
int (*s_ctrl)(struct v4l2_ctrl *ctrl);
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .g_volatile_ctrl | 获取 control 新值,通常仅用于持续变化的 volatile、常为只读的 control,如信号强度。 |
| .s_ctrl | 实际设置新 control 值,s_ctrl 必须实现。调用时持有 ctrl->handler->lock,其他调用者不能访问该 handler 的 controls。 |
[示例]
static const struct v4l2_ctrl_ops motor_ctrl_ops = {
.s_ctrl = motor_s_ctrl,
};
API 简述
xxxx_set_ctrl
[说明]
调用标准 v4l2_control 设置对焦、变焦和 P 光圈位置。
驱动实现以下 v4l2 标准命令:
| 参数名称 | 说明 |
|---|---|
| V4L2_CID_FOCUS_ABSOLUTE | 控制对焦,0 为最小焦距,近处清晰。 |
| V4L2_CID_ZOOM_ABSOLUTE | 控制变焦倍数,0 为最小倍数和最大视角。 |
| V4L2_CID_IRIS_ABSOLUTE | 控制光圈开口,0 为关闭。 |
| V4L2_CID_ZOOM_CONTINUOUS | 控制 zoom1 倍数,用于多组变焦控制。 |
[语法]
static int xxxx_set_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输入 |
xxxx_ioctl xxxx_compat_ioctl
[说明]
自定义 ioctl 的实现主要包括获取对焦、变焦和 P 光圈的时间信息(运动开始与结束时间戳)。由于使用的镜头没有定位装置,必要时需重置镜头电机位置。
驱动实现的自定义命令:
| 参数名称 | 说明 |
|---|---|
| RK_VIDIOC_VCM_TIMEINFO | 对焦时间,用于判断当前帧是否为对焦后的有效帧。 |
| RK_VIDIOC_ZOOM_TIMEINFO | 变焦时间,用于判断当前帧是否为变焦完成后的有效帧。 |
| RK_VIDIOC_IRIS_TIMEINFO | 光圈时间,用于判断当前帧是否为 P 光圈调整后的有效帧。 |
| RK_VIDIOC_ZOOM1_TIMEINFO | 多变焦组时 zoom1 的时间,用于判断当前帧是否为变焦完成后的有效帧。 |
| RK_VIDIOC_IRIS_CORRECTION | 光圈位置复位,仅用于 P-IRIS。 |
| RK_VIDIOC_FOCUS_CORRECTION | 对焦位置复位 |
| RK_VIDIOC_ZOOM_CORRECTION | 变焦位置复位 |
| RK_VIDIOC_ZOOM1_CORRECTION | 双变焦镜头第二组变焦位置复位 |
| RK_VIDIOC_FOCUS_SET_POSITION | 设置对焦位置 |
| RK_VIDIOC_ZOOM_SET_POSITION | 设置跟焦参数,按变焦曲线实现多步变焦与对焦联动。 |
注意:
1. 为解决齿隙导致的电机绝对位置不准确,固定一个方向为正方向,另一个为负方向,初始时使齿轮在正方向贴紧。负向运动时额外走超过齿隙的 n 步,再正向走 n 步,使齿轮始终贴紧正方向,称为回调。回调保证绝对位置准确,但回调步数大于齿隙;手动或自动对焦连续负向运动时,每次回调会产生抖动感,因此不能每次负向运动都回调。新增 RK_VIDIOC_FOCUS_SET_POSITION 和 RK_VIDIOC_ZOOM_SET_POSITION 由 af 算法决定是否回调。标准 v4l2 命令 V4L2_CID_FOCUS_ABSOLUTE 和 V4L2_CID_ZOOM_ABSOLUTE 不回调,仅用于手动模式。RK_VIDIOC_ZOOM_SET_POSITION 包含 focus 和 zoom 参数,变焦时同步调整对焦,使画面自然过渡。
2. 早期通过配置 focus-backlash,在负向运动时增加齿隙对应步数以抵消齿隙。但各镜头齿隙存在差异,标定有误差且工作量较大,因此该参数已弃用。驱动仍保留其设计,对电机位置精度要求不高时仍可使用。
[语法]
static int xxxx_ioctl(struct v4l2_subdev *sd, unsigned int cmd, void *arg)
static long xxxx_compat_ioctl32(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| cmd | ioctl 命令 | 输入 |
| *arg/arg | 参数指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
驱动移植步骤
SPI 控制的驱动芯片可采用 SPI 框架移植,以 MS41908 为参考。参考驱动:/kernel/drivers/media/spi/ms41908.c。
移植步骤如下:
1. 实现标准 spi 子设备驱动部分。
1.1 根据 struct spi_driver 的说明,主要实现以下部分:
struct driver.name
struct driver. of_match_table
probe 函数
remove 函数
1.2 probe 函数实现详解:
1)获取设备资源,主要获取 DTS 资源,参见 MS41908 设备注册(DTS);
1.1) RK 私有资源采用 rockchip, camera-module-xxx 等命名,主要提供设备参数以匹配 Camera 设备。
1.2) 获取电机相关配置参数,依据芯片功能需求定义,尽量将电机运动相关参数设计为可配置。
2. hrtimer_init 初始化定时器。ms41908 使用 vd 信号作为触发信号,通过定时器固定各 vd 周期以便操作。ms41908 寄存器在 vd 信号之后生效,每次需修改寄存器时可提前在 vd 信号前配置。注意寄存器设置的运动速度和步数必须处于 vd 周期范围内,超出 vd 周期的步数会丢失。
3)init_completion 通过 completion 实现同步;同一电机必须在前一次操作结束后才能执行下一次操作。
4. 初始化 v4l2 设备和媒体实体。
v4l2 子设备:v4l2_i2c_subdev_init。驱动要求 subdev 具有独立设备节点,供用户态 rkaiq 访问,并通过该节点控制电机;
媒体实体:media_entity_init;
5. 设备名称:
snprintf(sd->name, sizeof(sd->name), "m%02d_%s_%s",
motor->module_index, facing,
DRIVER_NAME);
2. 实现 v4l2 子设备驱动,主要实现以下 2 个成员:
struct v4l2_subdev_core_ops
struct v4l2_ctrl_ops
2.1 按 v4l2_subdev_core_ops 的说明实现回调函数,主要包含以下回调:
.ioctl
.compat_ioctl32
2.2 按 v4l2_ctrl_ops 的说明实现回调函数,主要包含以下回调:
.g_volatile_ctrl
.s_ctrl
DC-IRIS 驱动
与 P-IRIS 相比,DC-IRIS 无法准确获知光圈开度。通常默认全开;曝光调至最小仍过曝时再调整光圈,曝光调至最大仍欠曝时也进入光圈调整。DC-IRIS 电机为直流电机,通过霍尔器件负反馈缓冲调节速度。驱动只需一个 PWM 控制电机:占空比小于 20% 时光圈缓慢闭合直至完全关闭,越小关闭越快;大于 40% 时缓慢开启,越大开启越快;20%~40% 保持不动。这里的 20% 和 40% 并非固定值,与 pwm 频率及实际硬件器件精度有关。参考驱动:/kernel/drivers/media/i2c/hall-dc-motor.c。
DC-IRIS 设备注册(DTS)
hal_dc_motor: hal_dc_motor{
status = "okay";
compatible = "rockchip,hall-dc";
pwms = <&pwm6 0 2500 0>;
rockchip,camera-module-index = <1>;
rockchip,camera-module-facing = "front";
};
&pwm6 {
status = "okay";
pinctrl-names = "active";
pinctrl-0 = <&pwm6m0_pins_pull_down>;
};
&i2c1 {
imx334: imx334@1a {
...
lens-focus = <&hal_dc_motor>;
...
}
}
数据类型简述
struct platform_driver
[说明]
定义 platform 设备驱动信息。
[定义]
struct platform_driver {
int (*probe)(struct platform_device *);
int (*remove)(struct platform_device *);
void (*shutdown)(struct platform_device *);
int (*suspend)(struct platform_device *, pm_message_t state);
int (*resume)(struct platform_device *);
struct device_driver driver;
const struct platform_device_id *id_table;
bool prevent_deferred_probe;
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| @driver | struct device_driver 主要包含驱动名称及匹配 DTS 设备的 of_match_table;compatible 匹配时调用 .probe。 |
| @id_table | 内核不通过 of_match_table 与 DTS 注册设备匹配时,使用此表。 |
| @probe | 设备绑定回调 |
| @remove | 设备解绑回调 |
[示例]
#if defined(CONFIG_OF)
static const struct of_device_id motor_dev_of_match[] = {
{ .compatible = "rockchip,hall-dc", },
{},
};
#endif
static struct platform_driver motor_dev_driver = {
.driver = {
.name = DRIVER_NAME,
.owner = THIS_MODULE,
.of_match_table = of_match_ptr(motor_dev_of_match),
},
.probe = motor_dev_probe,
.remove = motor_dev_remove,
};
module_platform_driver(motor_dev_driver);
struct v4l2_subdev_core_ops
[说明]
定义 subdev 的 core ops 回调。
[定义]
struct v4l2_subdev_core_ops {
……
long (*ioctl)(struct v4l2_subdev *sd, unsigned int cmd, void *arg);
#ifdef CONFIG_COMPAT
long (*compat_ioctl32)(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg);
#endif
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .ioctl | 在 V4L2 core 的 ioctl() 系统调用处理末尾调用,支持驱动私有 ioctl。 |
| .compat_ioctl32 | 32 位程序使用 64 位内核时调用,以调整用户空间与内核间传递的数据。原文重复该说明。 |
[示例]
static const struct v4l2_subdev_core_ops motor_core_ops = {
.ioctl = motor_ioctl,
};
static const struct v4l2_subdev_ops motor_subdev_ops = {
.core = &motor_core_ops,
};
struct v4l2_ctrl_ops
[说明]
驱动需要提供的 control 操作。
[定义]
struct v4l2_ctrl_ops {
int (*s_ctrl)(struct v4l2_ctrl *ctrl);
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .s_ctrl | 实际设置 control 新值;s_ctrl 必须实现。调用持有 ctrl->handler->lock,其他访问者不能操作该 handler 的 controls。 |
[示例]
static const struct v4l2_ctrl_ops motor_ctrl_ops = {
.s_ctrl = motor_s_ctrl,
};
API 简述
xxxx_set_ctrl
[说明]
调用标准 v4l2_control 设置光圈位置。实际上 DC 光圈无法获知具体位置,此处设置的是 pwm 占空比。
实现以下 v4l2 标准命令:
| 参数名称 | 说明 |
|---|---|
| V4L2_CID_IRIS_ABSOLUTE | 设置控制光圈的 PWM 占空比,范围 0~100。 |
[语法]
static int xxxx_set_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_ioctl xxxx_compat_ioctl
[说明]
目前无需实现私有定义;为满足 v4l2 框架注册要求实现空函数。
[语法]
static int xxxx_ioctl(struct v4l2_subdev *sd, unsigned int cmd, void *arg)
static long xxxx_compat_ioctl32(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| cmd | ioctl 命令 | 输入 |
| *arg/arg | 参数指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
驱动移植步骤
参考驱动:/kernel/drivers/media/i2c/hall-dc-motor.c。
移植步骤如下:
1. 实现标准 platform 子设备驱动部分。
1.1 根据 struct platform_driver 的说明,主要实现以下部分:
struct driver.name
struct driver. of_match_table
probe 函数
remove 函数
1.2 probe 函数实现详解:
1. 获取设备资源,主要获取 DTS 资源,参见 DC-IRIS 设备注册(DTS);
1.1) RK 私有资源采用 rockchip, camera-module-xxx 等命名,主要提供设备参数以匹配 Camera 设备。
1.2) 获取 pwm 资源,注意 pwm 节点是否已启用。
2. 初始化 v4l2 设备和媒体实体。
v4l2 子设备:v4l2_i2c_subdev_init。驱动要求 subdev 具有独立设备节点,供用户态 rkaiq 访问,并通过该节点控制电机;
媒体实体:media_entity_init;
3. 闪光灯设备名称:
snprintf(sd->name, sizeof(sd->name), "m%02d_%s_%s",
motor->module_index, facing,
DRIVER_NAME);
2. 实现 v4l2 子设备驱动,主要实现以下 2 个成员:
struct v4l2_subdev_core_ops
struct v4l2_ctrl_ops
2.1 按照 v4l2_subdev_core_ops 的说明实现回调函数,主要包含以下回调:
ioctl
.compat_ioctl32
此回调目前不需实现具体命令,但作为 v4l2 子设备必须实现操作函数,因此此处实现空函数。
2.2 按照 v4l2_ctrl_ops 的说明实现回调函数,主要包含以下回调:
.g_volatile_ctrl.s_ctrl
.g_volatile_ctrl 和 .s_ctrl 使用标准 v4l2 control 实现以下命令:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_IRIS_ABSOLUTE | 设置控制光圈的 PWM 占空比,范围 0~100。 |
RK-IRCUT 驱动
IRCUT 由两根线控制,施加 3.5v~6v 电源。反转电源正负极并满足 100ms±10% 通电时间即可切换 IRCUT。驱动通过两个 gpio 控制电机驱动器电流输出方向,gpio 命令为 open(红线)和 close(黑线)。电流从 open 流向 close 时为红外截止滤光片,供白天使用;从 close 流向 open 时为白玻璃片,供夜间使用。
RK-IRCUT 设备注册(DTS)
cam_ircut0: cam_ircut {
status = "okay";
compatible = "rockchip,ircut";
ircut-open-gpios = <&gpio2 RK_PA7 GPIO_ACTIVE_HIGH>;
ircut-close-gpios = <&gpio2 RK_PA6 GPIO_ACTIVE_HIGH>;
rockchip,camera-module-index = <1>;
rockchip,camera-module-facing = "front";
};
&i2c1 {
imx334: imx334@1a {
...
ir-cut = <&cam_ircut0>;
...
}
}
数据类型简述
struct platform_driver
[说明]
定义 platform 设备驱动信息。
[定义]
struct platform_driver {
int (*probe)(struct platform_device *);
int (*remove)(struct platform_device *);
void (*shutdown)(struct platform_device *);
int (*suspend)(struct platform_device *, pm_message_t state);
int (*resume)(struct platform_device *);
struct device_driver driver;
const struct platform_device_id *id_table;
bool prevent_deferred_probe;
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| @driver | struct device_driver 主要包含驱动名称及匹配 DTS 设备的 of_match_table;compatible 匹配时调用 .probe。 |
| @id_table | 内核不通过 of_match_table 与 DTS 注册设备匹配时,使用此表。 |
| @probe | 设备绑定回调 |
| @remove | 设备解绑回调 |
[示例]
#if defined(CONFIG_OF)
static const struct of_device_id ircut_of_match[] = {
{ .compatible = "rockchip,ircut", },
{},
};
#endif
static struct platform_driver ircut_driver = {
.driver = {
.name = RK_IRCUT_NAME,
.of_match_table = of_match_ptr(ircut_of_match),
},
.probe = ircut_probe,
.remove = ircut_drv_remove,
};
module_platform_driver(ircut_driver);
struct v4l2_subdev_core_ops
[说明]
定义 subdev 的 core ops 回调。
[定义]
struct v4l2_subdev_core_ops {
……
long (*ioctl)(struct v4l2_subdev *sd, unsigned int cmd, void *arg);
#ifdef CONFIG_COMPAT
long (*compat_ioctl32)(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg);
#endif
……
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .ioctl | 在 V4L2 core 的 ioctl() 系统调用处理末尾调用,支持驱动私有 ioctl。 |
| .compat_ioctl32 | 32 位程序使用 64 位内核时调用,以调整用户空间与内核间传递的数据。原文重复该说明。 |
[示例]
static const struct v4l2_subdev_core_ops ircut_core_ops = {
.ioctl = ircut_ioctl,
};
static const struct v4l2_subdev_ops ircut_subdev_ops = {
.core = &ircut_core_ops,
};
struct v4l2_ctrl_ops
[说明]
驱动需要提供的 control 操作。
[定义]
struct v4l2_ctrl_ops {
int (*s_ctrl)(struct v4l2_ctrl *ctrl);
};
[关键成员]
| 成员名称 | 说明 |
|---|---|
| .s_ctrl | 实际设置 control 新值;s_ctrl 必须实现。调用持有 ctrl->handler->lock,其他访问者不能操作该 handler 的 controls。 |
[示例]
static const struct v4l2_ctrl_ops ircut_ctrl_ops = {
.s_ctrl = ircut_s_ctrl,
};
API 简述
xxxx_set_ctrl
[说明]
调用标准 v4l2_control 切换 IRCUT。
实现以下 v4l2 标准命令:
| 参数名称 | 说明 |
|---|---|
| V4L2_CID_BAND_STOP_FILTER | 0 为 CLOSE,红外光可进入;3 为 OPEN,红外光不能进入。 |
[语法]
static int xxxx_set_ctrl(struct v4l2_ctrl *ctrl)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *ctrl | v4l2 control 结构指针 | 输入 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
xxxx_ioctl xxxx_compat_ioctl
[说明]
目前无需实现私有定义;为满足 v4l2 框架注册要求实现空函数。
[语法]
static int xxxx_ioctl(struct v4l2_subdev *sd, unsigned int cmd, void *arg)
static long xxxx_compat_ioctl32(struct v4l2_subdev *sd, unsigned int cmd,
unsigned long arg)
[参数]
| 参数名称 | 说明 | 输入/输出 |
|---|---|---|
| *sd | v4l2 subdev 结构指针 | 输入 |
| cmd | ioctl 命令 | 输入 |
| *arg/arg | 参数指针 | 输出 |
[返回值]
| 返回值 | 说明 |
|---|---|
| 0 | 成功 |
| 非 0 | 失败 |
驱动移植步骤
参考驱动:/kernel/drivers/media/i2c/rk_ircut.c。
移植步骤如下:
1. 实现标准 platform 子设备驱动部分。
1.1 根据 struct platform_driver 的说明,主要实现以下部分:
struct driver.name
struct driver. of_match_table
probe 函数
remove 函数
1.2 probe 函数实现详解:
1. 获取设备资源,主要获取 DTS 资源,参见 RK-IRCUT 设备注册(DTS);
1.1) RK 私有资源采用 rockchip, camera-module-xxx 等命名,主要提供设备参数以匹配 Camera 设备。
1.2) 获取 open 和 close gpio 资源;
2. init_completion 通过 completion 实现同步。切换 IRCUT 约需 100ms,因此必须通过 completion 保证上一次切换完成后才能再次操作;
3. 创建工作队列,将切换操作放入工作队列,避免长时间阻塞;
4. 初始化 v4l2 设备和媒体实体。
v4l2 子设备:v4l2_i2c_subdev_init。驱动要求 subdev 具有独立设备节点,供用户态 rkaiq 访问,并通过该节点控制 IRCUT;
媒体实体:media_entity_init;
sd->entity.function = MEDIA_ENT_F_LENS;
sd->entity.flags = 1;//flag is fixed to 1, used to distinguish other sub-devices of MEDIA_ENT_F_LENS type
5. 设备名称:
snprintf(sd->name, sizeof(sd->name), "m%02d_%s_%s",
ircut->module_index, facing,
RK_IRCUT_NAME);
2. 实现 v4l2 子设备驱动,主要实现以下 2 个成员:
struct v4l2_subdev_core_ops
struct v4l2_ctrl_ops
2.1 按照 v4l2_subdev_core_ops 的说明实现回调函数,主要包含以下回调:
.ioctl
.compat_ioctl32
此回调目前无需实现私有命令,但 v4l2 框架注册需要它,因此实现空函数,后续可按需补充函数内容。
2.2 按照 v4l2_ctrl_ops 的说明实现回调函数,主要包含以下回调:
.s_ctrl
.s_ctrl 使用标准 v4l2 control 实现以下命令:
| 成员名称 | 说明 |
|---|---|
| V4L2_CID_BAND_STOP_FILTER | 0 为 CLOSE,红外光可进入;3 为 OPEN,红外光不能进入。 |
media-ctl 与 v4l2-ctl 工具
media-ctl 通过 /dev/medio0 等 media 设备操作,管理 Media 拓扑中各节点的格式、尺寸和连接。(原稿写作 /dev/medio0,疑为 /dev/media0,保留原始信息待核对。)
v4l2-ctl 面向 /dev/video0、/dev/video1 等视频设备,执行 set_fmt、reqbuf、qbuf、dqbuf、stream_on、stream_off 等操作。
具体用法参见命令帮助,以下列出常用方式。
1. 打印拓扑
media-ctl -p -d /dev/media0
注意:isp2 设备节点较多,可能存在 media0/media1/media2,需逐一枚举检查设备信息。
2. 连接
media-ctl -l'"rkisp-isp-subdev":2->"rkisp-bridge-ispp":0[0]'
media-ctl -l'"rkisp-isp-subdev":2->"rkisp_mainpath":0[1]'
注意:断开 ispp 路径,连接 main_path,从 main_path 抓取 RAW 图像。media-ctl 不加 -d 指定设备时默认为 /dev/media0;需确认 rkisp-isp-subdev 挂在哪个设备节点,通常为 /dev/media1。
3. 修改 fmt/size
media-ctl -d /dev/media0 \
--set-v4l2'"ov5695 7-0036":0[fmt:SBGGR10_1X10/640x480]'
注意:需确认摄像头设备节点(ov5695 7-0036)属于哪个 media 设备。
4. 设置 fmt 并抓帧
v4l2-ctl -d /dev/video0 \
--set-fmt-video=width=720,height=480,pixelformat=NV12 \
--stream-mmap=3 \
--stream-skip=3 \
--stream-to=/tmp/cif.out \
--stream-count=1 \
--stream-poll
5. 设置曝光、增益等 controls
v4l2-ctl -d /dev/video3 --set-ctrl'exposure=1216,analogue_gain=10'
注意:isp 驱动会调用摄像头子设备控制命令,因此指定 video3(main_path 或 self_path)即可设置曝光。vicap 不会调用摄像头子设备控制命令,直接在采集节点设置会失败。正确方式是找到摄像头设备节点 /dev/v4l-subdevX,直接配置该终端节点。
RV1109/RV1126 内存优化指南
MIPI -> DDR_1 -> ISP -> DDR_2 -> ISPP(TNR) -> DDR_3 -> ISPP(NR&Sharp) -> DDR_4 -> ISPP(FEC) -> DDR_5
1. DDR_1:Vicap RAW 数据或 isp MIPI RAW 数据写入 ddr,isp 再从 ddr 读取 RAW 数据进行处理。
占用内存:buf_cnt * buf_size * N,其中 N = 1 为线性模式,2 为 hdr2 帧模式,3 为 hdr3 帧模式。
buf_size: ALIGN(width * bpp / 8, 256) * height;,bpp 为位宽,即 raw8、raw10 或 raw12。
buf_cnt:默认为 4,在 aiq 库代码 hwi/isp20/CamHwIsp20.h 中定义,最小为 3。
#define ISP_TX_BUF_NUM 4
#define VIPCAP_TX_BUF_NUM 4
2. DDR_2:isp 的 fbc yuv420 和 gain 数据写入 ddr,ispp 从 ddr 读取处理。
占用内存:buf_size * buf_cnt。
buf_size: ALIGN(width, 64) * ALIGN(height, 128) / 16 + ALIGN(width, 16) * ALIGN(hieght, 16) * 1.5625
buf_cnt:tnr 3to1 模式使用 4 个 buf,2to1 模式使用 3 个;模式在 iq xml 中配置。
3. DDR_3:ispp tnr 的 fbc yuv420 和 gain 数据写入 ddr,ispp NR&Sharp 再从 ddr 读取处理。
占用内存:buf_size * buf_cnt。
buf_size: ALIGN(width, 64) * ALIGN(height, 128) / 16 + ALIGN(width, 16) * ALIGN(hieght, 16) * 1.5625
buf_cnt:2,为最小值。
4. DDR_4:ispp NR&Sharp 的 yuyv 数据写入 ddr,ispp fec 从 ddr 读取处理。
占用内存:buf_size * buf_cnt(未开启 fec 功能时不占用内存)。
buf_size: width * height * 2
buf_cnt:2,为最小值。
5. DDR_5:ispp 的 4 路输出图像缓冲区,大小按用户设置的分辨率、格式和 buf_cnt 计算。
上述 buf_cnt 是可进行内存优化配置的位置。
isp cma 预留内存大小:可先配置较大的内存,运行 camera app 后获取实际使用量。
isp_reserved: isp {
compatible = "shared-dma-pool";
inactive;
reusable;
size = <0x10000000>;//256M and need 4M align
};
enable cma debug
+++ b/arch/arm/configs/rv1126_defconfig
@@ -62,6 +62,8 @@ CONFIG_IOSCHED_BFQ=y
CONFIG_KSM=y
CONFIG_DEFAULT_MMAP_MIN_ADDR=32768
CONFIG_CMA=y
+CONFIG_CMA_DEBUG=y
+CONFIG_CMA_DEBUGFS=y
one page is 4K, 26091 page is 104364K and need 4M align, so config 104M to
isp_reserved
[root@RV1126_RV1109:/sys/kernel/debug/cma/cma-isp@0]# ls
alloc base_pfn bitmap count free maxchunk order_per_bit used
[root@RV1126_RV1109:/sys/kernel/debug/cma/cma-isp@0]# cat used
26091
内存示例说明:启用 cma 调试。每页为 4K,26091 页为 104364K,且需 4M 对齐,因此为 isp_reserved 配置 104M。
RV1109/RV1126 延迟优化指南
1、配置 vicap wait-line
在 dts 的 vicap 节点配置 wait-line。例如高度为 1520,wait-line 为 760,采集半幅图像后即提前将缓冲区输出给 isp。根据 isp 读取缓冲区的速度调整 wait-line。
&rkcif_mipi_lvds {
wait-line = <760>;
};
也可使用以下命令配置,支持动态配置。
echo 1000 > /sys/devices/platform/rkcif_mipi_lvds/wait_line
注意:wait-line 过小会导致 isp 过早访问缓冲内存,此时部分数据尚未采集,未更新部分仍是上一帧。画面剧烈变化时,图像尾部可能异常、呈现分裂。需依据实际测试选择合适的 wait-line。
2、配置 isp wait-line
在 dts 的 isp 节点配置 wait-line。例如高度为 1520,wait-line 为 760,处理到第 760 行时即输出给 ispp。根据 ISP 与 ISPP 的处理时间调整 wait-line。
&rkisp_vir0 {
wait-line = <760>;
};
也可通过 /sys/module/video_rkisp/parameters/wait_line 调试,须在打开 isp video 之前配置。
注意:wait-line 过小且 ISPP 快于 ISP 时,由于使用 FBC 压缩格式,会发生 hold 情况。Motion 功能和多传感器不支持此方式。
3、配置 ispp 四路输出的 wait-line
在 dts 的 ispp 节点配置 wait-line。例如高度为 1520,wait-line 为 896,处理至第 896 行时即输出给后端。根据 ISPP(nr 或 fec)与后端的处理时间调整 wait-line。
&rkispp_vir0 {
status = "okay";
wait-line = <896>;
};
也可通过 /sys/module/video_rkispp/parameters/wait_line 调试,须在打开 ispp video 之前配置。
注意:wait-line 过小且后端快于 ISPP 时,后端图像处理会异常。不支持多传感器。
4、提高硬件处理速度
1)提高 isp/ispp clk
drivers/media/platform/rockchip/isp/hw.c
static const struct isp_clk_info rv1126_isp_clk_rate[] = {
{
.clk_rate = 20,
.refer_data = 0,
}, {
.clk_rate = 600,
.refer_data = 1920, //width
}, {
.clk_rate = 600,
.refer_data = 2688,
}, {
.clk_rate = 600,
.refer_data = 3072,
}, {
.clk_rate = 600,
.refer_data = 3840,
}
};
drivers/media/platform/rockchip/ispp/hw.c
static const struct ispp_clk_info rv1126_ispp_clk_rate[] = {
{
.clk_rate = 150,
.refer_data = 0,
}, {
.clk_rate = 500,
.refer_data = 1920 //width
}, {
.clk_rate = 500,
.refer_data = 2688,
}, {
.clk_rate = 500,
.refer_data = 3072,
}, {
.clk_rate = 500,
.refer_data = 3840,
}
};
2)禁用 iommu,使用预留内存
&rkisp_mmu { status = "disabled"; };
&rkisp {
memory-region = <&isp_reserved>;
};
&rkispp_mmu { status = "disabled"; };
&rkispp {
memory-region = <&isp_reserved>;
};
常见问题
如何获取驱动版本号
从内核启动日志获取
rkisp ffb50000.rkisp: rkisp driver version: v00.01.00
rkispp ffb60000.rkispp: rkispp driver version: v00.01.00
通过以下方式获取
cat /sys/module/video_rkisp/parameters/version
cat /sys/module/video_rkispp/parameters/version
如何判断 RKISP 驱动加载状态
RKISP 驱动成功加载后,/dev/ 下会存在 video 和 media 设备。系统可能有多个 /dev/video,可通过 /sys 查询 RKISP 注册的视频节点。
localhost ~ # grep'' /sys/class/video4linux/video*/name
也可用 media-ctl 打印拓扑,检查 pipeline 是否正常。
判断摄像头驱动是否成功加载:所有摄像头注册完成时,内核会打印以下日志。
localhost ~ # dmesg | grep Async
[0.682982] RKISP: Async subdev notifier completed
若内核中没有 Async subdev notifier completed 这一行日志,先检查传感器是否报错、I2C 通信是否成功。
如何抓取 CIS 输出的 RAW 和 YUV 数据
驱动开发完成后,可通过标准 v4l2-ctl 命令直接操作驱动,获取 CIS 输出数据。用法帮助:https://www.mankier.com/1/v4l2-ctl。
示例:
v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat=RG10 --stream-mmap=4 --stream-count=1 --stream-to=/tmp/cap.raw --stream-skip=2
-d:指定设备名称。
–set-fmt-video:设置分辨率,必须与传感器输出一致。可通过 media-ctl -p -d /dev/mediaX 查看传感器当前分辨率。
pixelformat:输出数据格式,如 BG12、NV12。
–stream-mmap:mmap 缓冲区数量。
–stream-count:抓取帧数,多帧也存入同一文件。
–stream-to:指定存储路径。
–stream-skip:跳过的帧数。
设备支持列表
RV1109/RV1126
| 设备 | 接口 | 格式 | 设备节点名称 | 输出 Raw | 输出 YUV |
|---|---|---|---|---|---|
| VICAP | DVP | RAW | video0~video3 | 非紧凑 Raw | 无 |
| VICAP | MIPI/LVDS | RAW | video0~video3 | 非紧凑 Raw;紧凑 Raw | 无 |
| VICAP | DVP / MIPI / LVDS |
YUV | video0~video3 | 无 | nv12 nv16 |
| ISP | DVP / MIPI / LVDS |
RAW | rkisp_rawwr0 rkisp_rawwr1 rkisp_rawwr2 rkisp_rawwr3 |
非紧凑 Raw;紧凑 Raw | 无 |
| ISP | MIPI / LVDS | YUV | rkisp_mainpath | 非紧凑 Raw | nv12 nv16 |
| ISPP | 仅从 DDR 读取 | YUV | rkispp_m_bypass rkispp_scale0 rkispp_scale1 rkispp_scale2 |
无 | nv12 nv16 |
RK356X
| 设备 | 接口 | 格式 | 设备节点名称 | 输出 Raw | 输出 YUV |
|---|---|---|---|---|---|
| VICAP | DVP | RAW | video0~video3 | 非紧凑 Raw | 无 |
| VICAP | MIPI/LVDS | RAW | video0~video3 | 非紧凑 Raw;紧凑 Raw | 无 |
| VICAP | DVP / MIPI / LVDS |
YUV | video0~video3 | 无 | nv12 nv16 |
| ISP | DVP / MIPI / LVDS |
RAW | rkisp_rawwr0 rkisp_rawwr1 rkisp_rawwr2 rkisp_rawwr3 |
非紧凑 Raw;紧凑 Raw | 无 |
| ISP | MIPI / LVDS | YUV | rkisp_mainpath | 非紧凑 Raw | nv12 nv16 |
注意:
1. 设备节点名称查询命令:media-ctl -p -d /dev/mediaX(X 为 0、1、2、3…)。
RAW 数据存储格式
非紧凑 RAW 存储格式
非紧凑格式将传感器输出的 raw10、raw12 存储为 16 位并高位对齐。以 4 字节内存段为例,raw12 在内存中的排列如下:

英文原图 9,PDF 第 120 页
紧凑 RAW 存储格式
以 4 字节内存段为例,raw12 数据在内存中的排列如下:

英文原图 10,PDF 第 120 页
重要提醒:
ISP mainpath 设备输入为 Raw10 或 Raw12 时,统一输出 Raw12 的非紧凑 RAW 存储格式。
参考用例:
VICAP 输出 RAW
1、默认使用紧凑格式,可通过以下命令切换紧凑/非紧凑格式:
echo 0 > /sys/devices/platform/rkcif_mipi_lvds/compact_test
其中 0 表示非紧凑,1 表示紧凑;同时使用多通道时,命令可改为:
echo 0 0 0 0 > /sys/devices/platform/rkcif_mipi_lvds/compact_test
echo 后的数字依次对应 vc0、vc1、vc2、vc3 通道的数据存储类型。
2、video0~3 对应 vc0~vc3。
3、v4l2-ctl 命令
v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat=RG10 --stream-mmap=4 --stream-count=1 --stream-to=/tmp/cap.raw --stream-skip=2
ISP maipath 输出非紧凑 RAW(原稿标题拼写保留)
1、抓取 mainpath 图像时,默认 isp 输出链接为 rkisp-bridge-ispp,需用以下命令切换为 mainpath:
media-ctl -l '"rkisp-isp-subdev":2->"rkisp-bridge-ispp":0[0]'
media-ctl -l '"rkisp-isp-subdev":2->"rkisp_mainpath":0[1]'
注意:不使用 -d 时默认使用 media0。若 rkisp-isp-subdev 不在 media0,需用 -d 指定其所在 media 节点。
“rkisp-bridge-ispp” 后的 0 表示 pad0、sink;详细说明参见 v4l2 文档。
2、isp 输出格式默认为 YUYV8_2X8,使用以下命令切换到 Bayer RAW 格式:
media-ctl -d /dev/media0 --set-v4l2 '"rkisp-isp-subdev":2[fmt:SBGGR12_1X12/2688x1520]'
注意:rkisp-isp-subdev 不一定在 media0。-d 用于指定设备,需确认其所在 media 节点。
“rkisp-isp-subdev” 后的 2 表示 pad2、source;详细说明参见 v4l2 文档。
修改后必须通过 media-ctl -p -d /dev/mediaX(X=0,1,2,…)检查是否生效;生效后抓取的 RAW 才是原始 RAW 数据。
3、v4l2-ctl 命令
v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat=RG10 --stream-mmap=4 --stream-count=1 --stream-to=/tmp/cap.raw --stream-skip=2
VICAP 输出 YUV:
输入必须是 YUV 格式;输入为 RAW 时,vicap 无法输出 YUV。
v4l2-ctl -d /dev/video0 --set-fmt-video=width=1920,height=1080,pixelformat=NV12 --stream-mmap=4 --stream-count=1 --stream-to=/tmp/cap.raw --stream-skip=2
ISP 输出 YUV:
v4l2-ctl -d /dev/video5 --set-fmt-video=width=1920,height=1080,pixelformat=NV12 --stream-mmap=4 --stream-count=1 --stream-to=/tmp/cap.raw --stream-skip=2
注意:
1. 对于 isp,可抓取 mainpath 或 selfpath。video5 仅为示例,请按实际参数设置。
2. ISP 输入为 RAW 时可转换为 YUV,并执行各类图像处理。这些处理需要 RK AIQ 控制 ISP 各模块。此处命令仅涉及数据流,图像处理参数采用驱动默认值,因此图像效果通常异常。
ISPP 输出 YUV:
ispp 输入数据源为 rkisp-bridge-ispp;
需关闭 rkisp_mainpath、rkisp_selfpath 和 rkispp_input_image 链接。
rkisp-isp-subdev pad2: Source 格式必须为 fmt:YUYV8_2X8。
isp 默认连接 ispp,参考命令如下:
media-ctl -l '"rkisp-isp-subdev":2->"rkisp_mainpath":0[0]'
media-ctl -l '"rkisp-isp-subdev":2->"rkisp_selfpath":0[0]'
media-ctl -l '"rkisp-isp-subdev":2->"rkisp-bridge-ispp":0[1]'
media-ctl -d /dev/media1 -l '"rkispp_input_image":0->"rkispp-subdev":0[1]'
v4l2-ctl -d /dev/video13 \
--set-fmt-video=width=2688,height=1520,pixelformat=NV12 \
--stream-mmap=3 --stream-to=/tmp/nv12.out --stream-count=20 --stram-poll
注意:-d 设备名可按抓图需求选择以下节点;对应节点名称可通过 media-ctl -p -d /dev/mediaX 查询。
| 节点 | 输出能力 |
|---|---|
| rkispp_m_bypass | 全分辨率 YUV 格式 |
| rkispp_scale0 | 全分辨率或缩放 YUV;缩放比例 [1 8],最大宽度 3264。 |
| rkispp_scale1 | 全分辨率或缩放 YUV;缩放比例 [2 8],最大宽度 1280。 |
| rkispp_scale2 | 全分辨率或缩放 YUV;缩放比例 [2 8],最大宽度 1280。 |
如何切换 CIS 驱动输出分辨率
1、对于支持多分辨率的传感器驱动,抓取其他分辨率 RAW 时可用以下命令切换当前分辨率:
media-ctl -d /dev/media0 --set-v4l2 '"m01_f_os04a10 1-0036-1":0[fmt:SBGGR12_1X12/2688x1520]'
注意:m01_f_os04a10 1-0036-1 是传感器节点名,后接所需格式,前提是驱动支持该格式配置。
2、vicap 只需设置传感器节点;isp 还需设置自身输入输出格式,参考命令如下:
media-ctl -d /dev/media0 --set-v4l2 '"rkisp-isp-subdev":0[fmt:SBGGR12_1X12/2688x1520]'
media-ctl -d /dev/media0 --set-v4l2 '"rkisp-isp-subdev":0[crop:(0,0)/2688x1520]'
media-ctl -d /dev/media0 --set-v4l2 '"rkisp-isp-subdev":2[fmt:SBGGR12_1X12/2688x1520]'
media-ctl -d /dev/media0 --set-v4l2 '"rkisp-isp-subdev":2[crop:(0,0)/2688x1520]'
如何设置 CIS 曝光参数
1、通过 media-ctl -p -d /dev/mediaX 找到传感器节点,名称格式为 /dev/v4l-subdevX。参考命令如下:
v4l2-ctl -d /dev/v4l-subdev4 --set-ctrl 'exposure=1216,analogue_gain=10'
也可分别设置:
v4l2-ctl -d /dev/v4l-subdev4 --set-ctrl exposure=1216
v4l2-ctl -d /dev/v4l-subdev4 --set-ctrl analogue_gain=10
2、最大曝光受传感器 vts 限制,可能为 vts-4 或 vts-10,具体以传感器手册为准。假设当前 30fps,最大曝光 33.3ms;若需设置 40ms,必须增大 vts。可按比例 vts_30fps * 30fps = vts_25fps * 25fps 换算 25fps 对应的 vts,(vts-height) 即 vblank。将换算的 vblank 设置给传感器驱动,即可设置更大的曝光。参考命令如下:
vts 为帧长度,包含有效行与消隐行。
v4l2-ctl -d /dev/v4l-subdev4 --set-ctrl vertical_blanking=200
如何支持黑白摄像头
CIS 驱动需将黑白传感器输出格式改为以下三种之一:
MEDIA_BUS_FMT_Y8_1X8 (sensor 8bit output)
MEDIA_BUS_FMT_Y10_1X10 (sensor 10bit output)
MEDIA_BUS_FMT_Y12_1X12 (sensor 12bit output)
即在 xxxx_get_fmt 和 xxxx_enum_mbus_code 中返回上述格式。
RKISP 驱动会针对这三种格式做特殊配置,支持黑白图像采集。
若应用层需获取 Y8 图像,只能使用 SP Path,因为仅 SP Path 支持 Y8 输出。
如何支持奇偶场合成
RKISP 驱动支持奇偶场合成,限制条件如下:
1. MIPI 接口:支持输出帧计数(来自帧开始和帧结束短包),RKISP 以此判断当前场奇偶;
2. BT656 接口:支持标准 SAV/EAV 输出,其中 bit6 为奇偶场标志,RKISP 据此判断当前场奇偶;
3. 仅 RKISP 驱动中的 RKISP1_selfpath 视频设备节点具有此功能,其他节点不支持。应用层误用其他节点时,驱动提示以下错误:
"Only selfpath support interlaced"
可用 media-ctl -p 查看 RKISP_selfpath 信息:
entity 3: rkisp_selfpath (1 pad, 1 link)
type Node subtype V4L flags 0
device node name /dev/video1
pad0: Sink
<- "rkisp-isp-subdev":2 [ENABLED]
设备驱动实现如下:
设备驱动的 format.field 需设置为 V4L2_FIELD_INTERLACED,表示当前输出为奇偶场;即 xxxx_get_fmt 返回该 format.field。可参考 driver/media/i2c/tc35874x.c 驱动。
如何查看调试信息
1. 检查 media pipeline 信息,与 dts 摄像头配置对应。
media-ctl -p -d /dev/mediaX (X = 0, 1, 2 ..)
2. 查看 proc 信息,其中包括当前 isp/ispp 状态及帧输入输出信息,可多次执行 cat。
cat /proc/rkisp*
3. 查看驱动调试信息,为 isp 和 ispp 节点设置 debug 级别;数值越大,信息越多。
echo n> /sys/module/video_rkisp/parameters/debug (n = 0, 1, 2, 3; 0 is off)
echo n> /sys/module/video_rkispp/parameters/debug
echo 8 > /proc/sys/kernel/printk
4. 检查寄存器信息并导出 reg 文件。
适用于 RV1109/RV1126
io -4 -l 0x10000 0xffb50000> /tmp/isp.reg
io -4 -l 0x1000 0xffb60000> /tmp/ispp.reg
适用于 RK3566/RK3568
io -4 -l 0x10000 0xfdff0000> /tmp/isp.reg
5. 提供调试信息的步骤
1. 问题现场:1->2->4->3。
2. 复现问题:3->启动->复现->1->2->4。
6、proc 信息说明
[root@RV1126_RV1109:/]# cat /proc/rkisp*
rkisp-vir0 Version:v01.06.00
clk_isp 400000000
aclk_isp 500000000
hclk_isp 250000000
Interrupt Cnt:7521 ErrCnt:0
Input rkcif_mipi_lvds Format:SBGGR10_1X10 Size:2688x1520@30fps Offset(0,0)
Isp Read mode:frame2 (frame:1522 rate:33ms idle time:10ms) cnt(total:1522
X1:1503 X2:18 X3:-1)
Output rkispp0 Format:FBC420 Size:2688x1520 (frame:1522 rate:32ms)
DPCC0 ON(0x5)
DPCC1 ON(0x5)
DPCC2 ON(0x5)
BLS ON(0x1)
SDG OFF(0x80446197)
LSC ON(0x1)
AWBGAIN ON(0x80446197) (gain: 0x01110111, 0x028a0202)
DEBAYER ON(0x7000111)
CCM ON(0x80000001)
GAMMA_OUT ON(0x80000001)
CPROC ON(0xf)
IE OFF(0x0) (effect: BLACKWHITE)
WDR OFF(0x30cf0)
HDRTMO ON(0xa4f05a27)
HDRMGE ON(0x80000005)
RAWNR ON(0x80100001)
GIC OFF(0x0)
DHAZ ON(0x80101119)
3DLUT OFF(0x2)
GAIN ON(0x80010111)
LDCH OFF(0x0)
CSM FULL(0x80446197)
SIAF OFF(0x0)
SIAWB OFF(0x0)
YUVAE ON(0x400100f3)
SIHST ON(0x38000107)
RAWAF ON(0x7)
RAWAWB ON(0x776887)
RAWAE0 ON(0x40000003)
RAWAE1 ON(0x400000f5)
RAWAE2 ON(0x400000f5)
RAWAE3 ON(0x400000f5)
RAWHIST0 ON(0x40000501)
RAWHIST1 ON(0x60000501)
RAWHIST2 ON(0x60000501)
RAWHIST3 ON(0x60000501)
Monitor OFF Cnt:0
clk_isp:isp 时钟频率。
Interrupt:包含 mipi 中断和 isp 各模块中断,计数增加表示有数据进入 isp;ErrCnt 为错误中断统计。
Input:输入源、输入格式、分辨率及裁剪信息。
Isp read:mode 为 one 或 hdr2/3;frame 为序号;rate 为帧间隔;idle/working 为 isp 状态;time 为 isp 硬件工作时间;cnt 为回读总次数、一次、两次、三次的次数。
Output:输出对象、输出格式、分辨率;frame 为序号,rate 为帧间隔。
Other:isp 各模块开关状态。
Monitor:异常检测与复位。
[root@RV1126_RV1109:/]# cat /proc/rkisp*
rkispp-vir0 Version:v01.06.00
clk_ispp 350000000
aclk_ispp 500000000
hclk_ispp 250000000
Interrupt Cnt:79532 ErrCnt:0
Input rkisp0 Format:FBC420 Size:2688x1520 (frame:26510 rate:32ms
delay:13ms)
Output rkispp_m_bypass Format:NV12 Size:2688x1520 (frame:26509 rate:32ms
delay:30ms)
TNR ON(0xf00000f) (mode: 3to1) (global gain: disable) (frame:26510
time:8ms idle) CNT:0x0 STATE:0x1e000000
NR ON(0x57) (external gain: enable) (frame:26510 time:6ms working)
0x5f0:0x19 0x5f4:0x780f
SHARP ON(0x19) (YNR input filter: ON) (local ratio: OFF) 0x630:0x19
FEC OFF(0x2) (frame:0 time:0ms idle) 0xc90:0x0
ORB OFF(0x0)
Monitor ON Cnt:0
clk_ispp:ispp 时钟频率。
Interrupt:ispp 处理中断,计数增加表示有数据进入 ispp;ErrCnt 为错误中断统计。
Input:输入源、格式、分辨率;frame 为序号,rate 为帧间隔,delay 为输入帧时间减去 mipi 帧时间。
Output:输出对象、格式、分辨率;frame 为序号,rate 为帧间隔,delay 为输出帧时间减去 mipi 帧时间,也与输出帧缓冲区有关。
Other:ispp 各模块开关状态;frame 为序号,time 为模块硬件工作时间,idle/working 为模块工作状态。
Monitor:异常检测与复位。
[root@RV1126_RV1109:/]# cat /proc/rkcif_mipi_lvds
Driver Version:v00.01.0a
Work Mode:ping pong
Monitor Mode:idle
aclk_cif:500000000
hclk_cif:250000000
dclk_cif:297000000
Input Info:
src subdev:m01_f_os04a10 1-0036-1
interface:mipi csi2
lanes:4
vc channel: 0 1
hdr mode: hdr_x2
format:SBGGR10_1X10/2688x1520@30
crop.bounds:(0, 0)/2688x1520
Output Info:
format:BG10/2688x1520(0,0)
compact:enable
frame amount:264
early:10 ms
single readout:30 ms
total readout:30 ms
rate:33 ms
fps:30
irq statistics:
total:515
csi over flow:0
csi bandwidth lack:0
all err count:0
frame dma end:515
Work Mode:rv1109 之后默认使用 ping pong,推荐该模式。
Monitor Mode:监控模式。开启后,mipi 检测到异常时复位 vicap。
Input Info:输入信息汇总。
src subdev:输入设备,通常指传感器,包括摄像头方向、索引号、设备名、i2c 总线、7bit 从地址等。
interface:物理数据接口,如 mipi、lvds、dvp。
vc channel:实际使用的 vc 通道,即 MIPI 协议多通道传输中的虚拟通道。
hdr mode:传感器工作模式,分为 normal、hdr_x2、hdr_x3。
format:输入数据类型。
crop.bounds:可在传感器驱动 .get_selection 中配置裁剪参数,适当裁剪输入数据。
Output Info:输出信息汇总。
format:输出数据类型。
compact:默认紧凑输出,相关定义参见“如何抓取 CIS 输出的 RAW 和 YUV 数据”。
frame amount:
early:唤醒模式下,采集到 wait_line 行后即提前将缓冲区交给 isp;默认模式在完整帧采集后才发送。early 表示完整帧采集前提前发送缓冲区所节省的时间。唤醒模式配置参见 RV1109/RV1126 延迟优化指南。
single readout:hdr 模式下,单帧传输时间即长帧的传输时间。
total readout:hdr 模式下,从长帧开始到短帧结束的时间差,即一个合成帧原始传输时间。
rate:帧间隔时间。
fps:帧率。
irq statistics:中断信息。
total:中断总数,包括 frame end 和 err。
csi over flow:溢出中断次数。
csi bandwidth lack:带宽不足中断次数。
frame dma end:帧结束中断次数,等于从 stream start 起传感器输出的帧数。
附录 A:CIS 驱动 V4L2-controls 列表
| CID | 说明 |
|---|---|
| V4L2_CID_VBLANK | 垂直消隐:每帧后无图像数据的空闲期,单位为行。每行长度为图像宽度加水平消隐,以同一子设备 V4L2_CID_PIXEL_RATE 定义的像素率计时。 |
| V4L2_CID_HBLANK | 水平消隐:每行图像后无数据的空闲期,单位为像素。 |
| V4L2_CID_EXPOSURE | 决定 sensor 曝光时间,受帧间隔限制。 |
| V4L2_CID_ANALOGUE_GAIN | 模拟增益作用于像素矩阵全部颜色分量,在 A/D 转换之前于模拟域执行。 |
| V4L2_CID_PIXEL_RATE | subdev source pad 像素率,只读,单位像素/秒。MIPI 示例:pixel_rate = link_freq * 2 * nr_of_lanes / bits_per_sample。 |
| V4L2_CID_LINK_FREQ | 数据总线频率与 media bus 像素码、总线类型(每样本时钟周期数)共同决定像素阵列的 V4L2_CID_PIXEL_RATE,非 sensor 设备也可能在其他位置定义。帧率可由像素时钟、宽高和水平/垂直消隐计算。虽然 pixel rate 可定义在不含像素阵列的 subdev,但不能据此求帧率,因为只有像素阵列上的消隐信息精确且不允许其他消隐。通过选择水平和垂直消隐来选择帧率。本 control 单位 Hz。 |
附录 B:MEDIA_BUS_FMT 表
| CIS sensor 类型 | Sensor 输出格式 |
|---|---|
| Bayer RAW | MEDIA_BUS_FMT_SBGGR10_1X10 MEDIA_BUS_FMT_SRGGB10_1X10 MEDIA_BUS_FMT_SGBRG10_1X10 MEDIA_BUS_FMT_SGRBG10_1X10 MEDIA_BUS_FMT_SRGGB12_1X12 MEDIA_BUS_FMT_SBGGR12_1X12 MEDIA_BUS_FMT_SGBRG12_1X12 MEDIA_BUS_FMT_SGRBG12_1X12 MEDIA_BUS_FMT_SRGGB8_1X8 MEDIA_BUS_FMT_SBGGR8_1X8 MEDIA_BUS_FMT_SGBRG8_1X8 MEDIA_BUS_FMT_SGRBG8_1X8 |
| YUV | MEDIA_BUS_FMT_YUYV8_2X8 MEDIA_BUS_FMT_YVYU8_2X8 MEDIA_BUS_FMT_UYVY8_2X8 MEDIA_BUS_FMT_VYUY8_2X8 MEDIA_BUS_FMT_YUYV10_2X10 MEDIA_BUS_FMT_YVYU10_2X10 MEDIA_BUS_FMT_UYVY10_2X10 MEDIA_BUS_FMT_VYUY10_2X10 MEDIA_BUS_FMT_YUYV12_2X12 MEDIA_BUS_FMT_YVYU12_2X12 MEDIA_BUS_FMT_UYVY12_2X12 MEDIA_BUS_FMT_VYUY12_2X12 |
| 仅输出 Y(黑白)的 raw bw sensor | MEDIA_BUS_FMT_Y8_1X8 MEDIA_BUS_FMT_Y10_1X10 MEDIA_BUS_FMT_Y12_1X12 |
附录 C:CIS 参考驱动列表
| CIS 数据接口 | CIS 输出数据类型 | 帧/场 | 参考驱动 |
|---|---|---|---|
| MIPI | Bayer RAW | 帧 | 0.3M ov7750.c gc0403.c 1.2M ov9750.c jx-h65.c 2M ov2685.c ov2680.c ov2735.c gc2385.c gc2355.c gc2053.c sc2239.c sc210iot.c 4M gc4c33.c 5M ov5695.c ov5648.c ov5670.c gc5024.c gc5025.c gc5035.c 8M ov8858.c imx378.c imx317.c imx219.c gc8034.c 13M ov13850.c imx258.c |
| MIPI | Bayer raw HDR | 帧 | 2M imx307.c imx327.c gc2093.c ov02k10 ov2718.c sc200ai.c sc2310.c jx-f37.c 4M ov4689.c os04a10.c imx347.c sc4238.c 5M imx335.c 8M imx334.c imx415.c |
| MIPI | YUV | 帧 | 2M gc2145.c |
| MIPI | RAW BW | 帧 | 0.3M ov7251.c 1M ov9281.c 1.3M sc132gs.c |
| MIPI | YUV | field | tc35874x.c |
| ITU.BT601 | Bayer RAW | 2M imx323.c ar0230.c |
|
| ITU.BT601 | YUV | 0.3M gc0329.c gc0312.c gc032a.c 2M gc2145.c gc2155.c gc2035.c bf3925.c |
|
| ITU.BT601 | RAW BW | ||
| ITU.BT656 | Bayer RAW | 2M:imx323(可支持) |
附录 D:VCM 驱动 IC 参考驱动列表
参考驱动
vm149c.c
dw9714.c
fp5510.c
附录 E:闪光灯驱动 IC 参考驱动列表
参考驱动
sgm3784.c
leds-rgb13h.c(GPIO 控制)
