嵌入式视频处理基本原理详解

在梦里编程

作为消费者，我们对于各种形式的视频系统都已经了如指掌。不过，从嵌入式开发者的角度来看，视频技术就好象是一个具有不同的分辨率、格式、标准、信源和显示的复杂网络。
文章中，我们只对视频中的某些方面进行具体阐述，这些方面都是当今多媒体处理系统中比较常见的问题。首先，简要介绍视频方面的基本知识，然后，将会重点讨论一些在嵌入式多媒体设计中常见的问题，同时，也将针对一些具有挑战性的视频设计问题，提供一些技巧与窍门。

人类视觉感知
来讨论一些简单的生理学问题。正如我们将看到的那样，对我们的眼睛的工作原理的理解为视频和成像技术的发展铺设出一条重要的道路。
眼睛包含两种视觉细胞：杆状细胞和视锥细胞。杆状细胞主要对亮度信息敏感，而对颜色信息不敏感，它们使我们具备夜视能力。与此相反，视锥细胞对亮度并不敏感，但对 400nm（紫光）～770nm（红光）波长范围内的光比较敏感。因此，这些视锥细胞使我们能够感知色彩。
视锥细胞有 3 种，每一种都带有不同的色素，分别对红光、绿光或者蓝光波长敏感，虽然这 3 种细胞的响应特性有重叠区域。总的说来，视锥细胞对波长在555nm 左右的绿光区域最为敏感。这也就是为什么在 LCD 显示器中，绿色通道的分辨率高于红色和蓝色通道。红色、绿色和蓝色视锥细胞的发现大大促进了三色理论的发展，该理论认为，任何一种有色光，可以通过不同比例的红光、绿光和蓝光的组合生成。
由于人眼含有的杆状细胞的数量要远多于视锥细胞，故眼睛对亮度的敏感度要高于对色彩的敏感度。这使得我们可以借助对色彩信息的子采样来节省视频和图像信息的带宽。
我们对亮度的感受特性是对数性的，而非线性的。换句话说，用于产生 50％灰度图（恰好在全黑和全白之间的正中）所需的实际的光强仅为我们需要产生全白图像所需的光强的 18％。这一特性在相机传感器和显示技术中尤为重要，正如我们将在后面的伽马校正中讨论的。此外，这一效应还将导致人眼对高亮度环境下的量化失真的感知度下降，导致这一特性被许多媒体编码算法所利用。视觉方面的另一新奇之处在于，人眼可以适应环境，创建自己的白光参考，即使在低照明或者人工照明的情况下也是如此。因为摄像传感器自身并不具有这一特性，因此它需要使用参考量作为绝对白色，并对传感器进行调整，这一过程称为白平衡控制。

人眼对高频信息的敏感性要低于对低频信息。而且，虽然它可以检测出静态图像中细节和彩色部分的分辨率，但对于快速移动的图像，却无法做到这一点。于是，人们可以利用变换编码（DCT、FFT 等）以及低通滤波技术来降低呈现一幅图像或者视频序列时所需的总带宽。
当图像的刷新速率低于 50～60 次/s 时，我们的眼睛会感受到一种亮光“闪烁”的效应。在光线较暗的情况下，该频率值降低到 24Hz。此外，我们更倾向于观察到大而均匀的区域内的闪烁，相比之下，对局部区域的闪烁敏感度较低。这些特性对于隔行视频、刷新速率和显示技术具有重要的潜在作用。


视频分辨率
水平分辨率是指图像每行的像素个数，而垂直分辨率则是指显示完整一帧时屏幕上出现的水平线的数量。标清 NTSC 系统采用隔行扫描方式，具有 480 线有效像素，每条线上有 720 个有效的像素（即总计 720×480 像素）。高清系统常常采用逐行扫描方式，其水平和垂直分辨率要远高于标清系统。我们将专注于标清系统，而非高清系统，但我们讨论的大部分，也将推广到具有更高帧和像素传输率的高清系统。
在讨论视频技术时，分辨率和帧速率的提升是沿着两条主要的分支发展的，即计算机图形图像格式和广播视频格式。表 1 给出了各种常见的屏幕分辨率和帧率的比较。即使这两路分支源于不同的领域，而且要求也不同（例如，计算机图形显示使用 RGB 逐行扫描方法，而广播视频则使用 YCbCr 隔行扫描方法），如今在嵌入式领域，它们在使用上几乎可以是互换的。也就是说，VGA 与 NTSC“D‐1”广播格式相当， QVGA 对应的则是 CIF。应该注意的是，虽然 D‐1 是 720 像素×480行格式，但它通常被称为 720×480 像素（这实际上是针对 DVD 和其他数字视频的 NTSC“DV”格式）。

视频源	视频标准	水平分辨率（像素）	垂直分辨率（像素）	总像素
广播	QCIF	176	144	25344
计算机图形	QVGA	320	240	76800
广播	CIF	352	288	101376
计算机图形	VGA	640	480	307200
广播	NTSC	720	480	345600
广播	PAL	720	576	414720
计算机图形	SVGA	800	600	480000
计算机图形	XGA	1024	768	786432
广播	HDTV (720P)	1280	720	921600
计算机图形	SXGA	1280	1024	1310720
计算机图形	UXGA	1600	1200	1920000
计算机图形	QXGA	2048	1536	3145728

更多详细内容请下载附件查看

2022-2-12 13:59 上传 嵌入式视频处理基本原理-中文版.pdf

文件大小:

2.91 MB

下载次数:

2

本地下载

16RD supports Paypal , Payment is calculated at the exchange rate of the day. Unable to download please contact 18902843661 (WhatsApp OR wechat number)

关于一牛网在微软浏览器(Microsoft Edge、IE浏览器)警报通告&解决方案!（无法下载直接更换浏览器即可）

*附件为作者发布，与本站无关，如有侵权，请联系客服删除