ISP是Image Signal Processor 的简称,也就是图像
信号处理器。
DSP是Digital Signal Processor 的缩写,也就是数字信号处理器。
ISP一般用来处理Image Sensor(图像
传感器)的输出数据,如做AEC(自动曝光控制)、
AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Sh
ADIng、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
而DSP功能就比较多了,它可以做些拍照以及回显(JPEG的编解码)、录像以及回放(
video 的编解码)、H.264的编解码、还有很多其他方面的处理,总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。
ISP架构方案:分为独立(外置)与集成(内置)两种形式。
CPU处理器包括:AP、BP、CP。其中BP:
基带处理器、AP:应用处理器、CP:多媒体加速器。
ISP的主要内部构成
如下图所示,ISP内部包含 CPU、SUP IP、IF 等设备,事实上,可以认为 ISP 是一个
SOC(system of chip),可以运行各种算法程序,实时处理图像信号。
CPU:CPU即中央处理器,可以运行AF、LSC等各种图像处理算法,控制外围设备。现代的ISP内部的CPU一般都是
armCortex-A系列的,例如Cortex-A5、Cortex-A7。
SUBIP:SUBIP是各种功能
模块的通称,对图像进行各自专业的处理。常见的SUBIP如DIS、CSC、
VRA等。
图像传输接口:图像传输接口主要分两种,并口ITU和
串口CSI。CSI是
mipiCSI的简称,鉴于MIPICSI的诸多优点,在
手机相机领域,已经广泛使用MIPI-CSI接口传输图像数据和各种自定义数据。外置ISP一般包含MIPI-CSIS和MIPI-C
SIM两个接口。内置ISP一般只需要MIPI-CSIS接口。
通用外围设备:通用外围设备指
I2C、SPI、
PWM、
UART、WATCHDOG等。ISP中包含I2C
控制器,用于读取OTP信息,控制VCM等。对于外置ISP,ISP本身还是I2C从设备。AP可以通过I2C控制ISP的工作模式,获取其工作状态等。
ISP的控制结构
ISP包括:1、ISP逻辑 2、运行在其上的
firmware
如图所示,lens 将光信号投射到sensor 的感光区域后,sensor 经过光电转换,将Bayer 格式的原始图像送给ISP,ISP 经过算法处理,输出RGB空间域的图像给后端的
视频采集单元。在这个过程中,ISP通过运行在其上的firmware(固件)对ISP逻辑,从而对lens 和sensor 进行相应控制,进而完成自动光圈、自动曝光、自动白平衡等功能。其中,firmware的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。
ISP 由ISP逻辑及运行在其上的Firmware组成,逻辑单元除了完成一部分算法处理外,还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息,重新计算,反馈控制lens、sensor 和ISP 逻辑,以达到自动调节图像质量的目的。
ISP 的Firmware包含三部分,一部分是ISP 控制单元和基础算法库,一部分是AE/AWB/AF 算法库,一部分是sensor 库。Firmware 设计的基本思想是单独提供3A算法库,由ISP控制单元调度基础算法库和3A 算法库,同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调,以实现差异化的sensor 适配。ISP firmware 架构如图所示。
不同的sensor 都以回调函数的形式,向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时,将通过这些回调函数获取初始化参数,并控制sensor,如调节曝光时间、模拟增益、数字增益,控制lens 步进聚焦或旋转光圈等。
AP对ISP的操控方式
CPU处理器包括:AP、BP、CP。BP:基带处理器、AP:应用处理器、CP:多媒体加速器
这里所说的控制方式是AP 对 ISP 的操控方式 。
I2C/SPI:这一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在
内核的 ISP 驱动中,外置 ISP 一般是实现为 I2C 设备,然后封装成 V4L2-SUBDEV。
MEM MAP:这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间,
MEM SHARE:这也是内置 ISP 的做法。AP 这边分配内存,然后将内存地址传给 ISP,二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。
外置 ISP 架构的优点主要有:
能够提供更优秀的图像质量:在激烈的市场竞争下,能够存活到现在的外置 ISP 生产厂商在此领域一般都有很深的造诣,积累了丰富的影像质量调试经验,能够提供比内置 ISP 更优秀的性能和效果。因此,选用优质的外置 ISP 能提供专业而且优秀的图像质量。
能够支援更丰富的设计规划:外置 ISP 的选型基本不受 AP 的影响,因此魅族可以从各个优秀 ISP
芯片供应商的众多产品中甄选最合适的器件,从而设计出更多优秀的产品。
能够实现产品的差异化:内置 ISP 是封装在 AP 内部的,是和 AP 紧密的联系在一起,如果 AP 相同,那么 ISP 也就是一样的。因此基于同样 AP 生产出来的手机,其 ISP 的性能也是一样的,可供调教的条件也是固定的,这样就不利于实现产品的差异化。而如果选择外置 ISP,那么同一颗 AP,可以搭配不同型号的 ISP,这样可以实现产品的差异化,为给
用户提供更丰富和优质的产品。
外置 ISP 架构的缺点主要有:
成本价格高:外置ISP需要单独购买,其售价往往不菲,而且某些特殊功能还需要额外支付费用。使用外置ISP,需要进行额外的
原理图设计和
layout,需要使用额外的
元器件。
开发周期长:外置 ISP 驱动的设计需要多费精力和时间。使用外置 ISP 时,AP 供应商提供的 ISP 驱动就无法使用,需要额外设计编写外置 ISP 驱动。另外,为了和 AP 进行完美的搭配,将效果最大化,也往往需要付出更多的调试精力。上文也提到,使用外置 ISP,需要进行额外的原理图设计和 LAYOUT,需要使用额外的元器件,这也是需要花费时间进行处理的。
更多详细介绍请下载附件查看
ISP(图像信号处理)算法概述、工作原理、架构、处理流程详细介绍.docx.docx
(230.63 KB, 下载次数: 15, 售价: 1 RD币)