海思Hi3559AV100ES ISP 3A开发指南

拼博的佛

本文档描述 HI3559AV100ES ISP 3A 的功能、如何使用与开发。3A 功能包括 AE、AWB、AF。

1、概述
Hi3559AV100ES ISP 3A 版本依赖于相应的SDK大版本，通过一系列数字图像处理算法完成对数字图像的效果处理。主要包含 firmware 框架及海思 3A 库，Firmware 提供算法的基本框架，处理统计信息，驱动数字图像处理算法，并包含坏点校正、去噪、色彩增强、镜头阴影校正等处理。3A 库以注册的方式，添加到 Firmware 中，完成曝光、白平衡、色彩还原等处理。

1.2 功能描述
1.2.1 设计思路
ISP 的 Firmware 包含三部分，一部分是 ISP 控制单元和基础算法单元，即 ISP 库，一部分是 AE/AWB 算法库，一部分是sensor库。Firmware 设计的基本思想是单独提供3A 算法库，由 ISP 控制单元调度基础算法单元和 3A 算法库，同时 sensor 库分别向ISP 库和 3A 算法库注册函数回调，以实现差异化的 sensor 适配。ISP firmware 设计思路如图 1-1 所示：

不同的 sensor 都向 ISP 库和 3A 算法库注册控制函数，这些函数都以回调函数的形式存在。ISP 控制单元调度基础算法单元和 3A 算法库时，将通过这些回调函数获取初始化参数，并控制 sensor，如调节曝光时间、模拟增益、数字增益，控制 lens 步进聚焦或旋转光圈等。

1.2.2 文件组织
ISP Firmware 的文件组织结构如图 1-2 所示，ISP 库和 3A 库、sensor 库、dehaze 库分别独立。Firmware 中的 drv 生成的驱动程序向用户态上报 ISP 中断，并以该中断驱动Firmware 的 ISP 控制单元运转。ISP 控制单元从驱动程序中获取统计信息，并调度基础算法单元和 3A 算法库，最后通过驱动程序配置寄存器。
Src 文件夹中包含 ISP 控制单元和基础算法单元，编译后生成 libisp.a，即 ISP 库。3a文件夹中包含 AE/AWB 算法库，用户也可以基于统一的接口界面开发自己的 3a 算法。Sensor 文件夹中包含了各个 sensor 的驱动程序，该部分代码开源。dehaze 文件对应去雾算法程序，该部分代码不开源。


1.2.3 开发模式
SDK 中给出的形式支持用户的多种开发模式，用户可以使用海思的 3A 算法库，也可以根据 ISP 库提供的 3A 算法注册接口，实现自己的 3A 算法库开发，或者可以部分使用海思 3A 算法库，部分实现自己的 3A 算法库，例如 AE 使用 lib_hiae.a，AWB 使用自己的 3A 算法库。SDK 提供了灵活多变的支持方式。

1.2.3.1 使用海思 3A 算法库
用户需要根据 ISP 基础算法单元和海思 3A 算法库给出的 sensor 适配接口去适配不同的sensor。Sensor 文件夹中包含两个主要文件：
-sensor_cmos.c
该文件中主要实现 ISP 需要的回调函数，这些回调函数中包含了 sensor 的适配算法，不同的 sensor 可能有所不同。
-sensor_ctrl.c
sensor 的底层控制驱动，主要实现 sensor 的读写和初始化动作。用户可以根据sensor 的 datasheet 进行这两个文件的开发，必要的时候可以向 sensor 厂家寻求支持。
-cmos_ex.h
sensor 相关默认参数定义的头文件，主要将 sensor_cmos.c 文件中参数结构较大的默认参数放在该文件中，使文件层次更分明。

1.2.3.2 开发 3A 算法库
用户需要根据 ISP 基础算法单元给出的 sensor 适配接口去适配不同的 sensor，用户开发的 3A 算法库需要自定义数据接口和回调函数去适配和控制不同的 sensor。用户自行开发 3A 算法后，可以调用 mpi_isp.h 中的接口，不能调用 mpi_ae.h 和 mpi_awb.h 中的接口。
说明：高级用户可以基于 Firmware 提供的统计信息进行自己的算法库开发，当然这需要对统计信息比较熟悉，同时具有算法开发能力。

1.2.4 内部流程
Firmware 内部流程，如图 1-3 所示。首先完成 Firmware 控制单元的初始化、基础算法单元的初始化、3A 算法库的初始化，包括调用 sensor 的回调获取 sensor 差异化的初始化参数。当初始化完成之后，Firmware 由中断驱动，每帧从内核态获取统计信息，并驱动基础算法单元和 3A 算法库完成计算，并反馈计算结果，配置 ISP 寄存器和 sensor寄存器。
同时用户可以通过 ISP 的 MPI，控制和改变 Firmware 中包含的基础算法单元的内部数据和状态，定制自己的图像质量效果。如果用户使用海思提供的 3A 算法库，可以通过3A 算法库的 MPI，改变 3A 算法库的内部数据和状态，调节曝光、白平衡和色彩还原。

ISP firmware 软件结构：


2、使用者指南
2.1 软件流程
ISP 作为前端采集部分，需要和视频采集单元（VIU）协同工作。ISP 初始化和基本配置完成后，需要 VIU 进行接口时序匹配。一是为了匹配不同 sensor 的输入时序，二是 为 ISP 配置正确的输入时序。待时序配置完成后，ISP 就可以启动 Run 来进行动态图像质量调节。此时输出的图像被 VIU 采集，进而送去显示或编码。软件使用流程如图2-1 所示。
PQ Tools 工具主要完成在 PC 端进行动态图像质量调节，可以调节多个影响图像质量的因子，如去噪强度、色彩转换矩阵、饱和度等。

如果用户调试好图像效果后，可以使用 PQ Tools 工具提供的配置文件保存功能进行配置参数保存。在下次启动时系统可以使用 PQ Tools 工具提供的配置文件加载功能加载已经调节好的图像参数。

更多详细内容请下载附件查看

2021-9-23 15:43 上传 ISP 3A 开发指南.pdf

文件大小:

1.92 MB

下载次数:

3

附件售价:

1 RD币  购买记录

本地下载 立即购买

16RD supports Paypal , Payment is calculated at the exchange rate of the day. Unable to download please contact 18902843661 (WhatsApp OR wechat number)

关于一牛网在微软浏览器(Microsoft Edge、IE浏览器)警报通告&解决方案!（无法下载直接更换浏览器即可）

*附件为作者发布，与本站无关，如有侵权，请联系客服删除