立即注册
查看: 377|回复: 0

[鸿蒙OS技术分享] 基于HarmonyOS的视频开发指导

已绑定手机
发表于 2021-9-16 11:59:05 | 显示全部楼层 |阅读模式 来自 广东省深圳市
HarmonyOS视频模块支持视频业务的开发和生态开放,开发者可以通过已开放的接口很容易地实现视频媒体的播放、操作和新功能开发。视频媒体的常见操作有视频编解码、视频合成、视频提取、视频播放以及视频录制等。

1、基本概念
1.编码
编码是信息从一种形式或格式转换为另一种形式的过程。用预先规定的方法将文字、数字或其他对象编成数码,或将信息、数据转换成规定的电脉冲信号。在本模块中,编码是指编码器将原始的视频信息压缩为另一种格式的过程。
2.解码
解码是一种用特定方法,把数码还原成它所代表的内容或将电脉冲信号、光信号、无线电波等转换成它所代表的信息、数据等的过程。在本模块中,解码是指解码器将接收到的数据还原为视频信息的过程,与编码过程相对应。
3.帧率
帧率是以帧为单位的位图图像连续出现在显示器上的频率(速率),以赫兹(Hz)为单位。

2、媒体编解码能力查询开发指导
场景介绍
媒体编解码能力查询主要指查询设备所支持的编解码器的MIME(Multipurpose Internet Mail Extensions,媒体类型)列表,并判断设备是否支持指定MIME对应的编码器/解码器。
接口说明:
getSupportedMimes():获取某设备所支持的编解码器的MIME列表。
isDecodeSupportedByMime(String mime):判断某设备是否支持指定MIME对应的解码器。
isEncodeSupportedByMime(String mime):判断某设备是否支持指定MIME对应的编码器。
isDecodeRSUpportedByFormat(Format format):判断某设备是否支持指定媒体格式对应的解码器。
isEncoderSupportedByFormat(Format format):判断某设备是否支持指定媒体格式对应的编码器。

开发步骤
调用CodecDescriptionList类的静态getSupportedMimes()方法,获取某设备所支持的编解码器的MIME列表。代码示例如下:
List<String> mimes = CodecDescriptionList.getSupportedMimes();
调用CodecDescriptionList类的静态isDecodeSupportedByMime方法,判断某设备是否支持指定MIME对应的解码器,支持返回true,否则返回false。代码示例如下:
boolean result = CodecDescriptionList.isDecodeSupportedByMime(Format.VIDEO_VP9);
调用CodecDescriptionList类的静态isEncodeSupportedByMime方法,判断某设备是否支持指定MIME对应的编码器,支持返回true,否则返回false。代码示例如下:
boolean result = CodecDescriptionList.isEncodeSupportedByMime(Format.AUDIO_FLAC);
调用CodecDescriptionList类的静态isDecoderSupportedByFormat/isEncoderSupportedByFormat方法,判断某设备是否支持指定Format的编解码器,支持返回true,否则返回false。代码示例如下:
Format format = new Format();
format.putStringValue(Format.MIME, Format.VIDEO_AVC);        
format.putIntValue(Format.WIDTH, 2560);        
format.putIntValue(Format.HEIGHT, 1440);        
format.putIntValue(Format.FRAME_RATE, 30);        
format.putIntValue(Format.FRAME_INTERVAL, 1);
boolean result = CodecDescriptionList.isDecoderSupportedByFormat(format);
result = CodecDescriptionList.isEncoderSupportedByFormat(format);

3、视频编解码开发指导
场景介绍
视频编解码的主要工作是将视频进行编码和解码。
接口说明
视频编解码类Codec的主要接口:
createDecoder():创建解码器Codec实例。
createEncoder():创建编码器Codec实例。
registerCodeclistener(ICodecListener listener):注册侦听器用来异步接收编码或解码后的数据。
setSource(Source source, TrackInfo trackInfo):根据解码器的源轨道信息设置数据源,对于编码器trackInfo无效。
setSourceFormat(Format format):编码器的管道模式下,设置编码器编码格式。
setCodecFormat(Format format):普通模式设置编/解码器参数。
setVideoSurface(Surface surface):设置解码器的Surface。
getAvailableBuffer(long timeout):普通模式获取可用ByteBuffer。
writeBuffer(ByteBuffer buffer, BufferInfo info):推送源数据给Codec。
getBufferFormat(ByteBuffer buffer):获取输出Buffer数据格式。
start():启动编/解码。
stop():停止编/解码。
release():释放所有资源。

普通模式开发步骤
在普通模式下进行编解码,应用必须持续地传输数据到Codec实例。
编码的具体开发步骤如下:
创建编码Codec实例,可调用createEncoder()创建。
final Codec encoder = Codec.createEncoder();
构造数据源格式,并设置给Codec实例,调用setCodecFormat(),代码示例如下:
Format fmt = new Format();
fmt.putStringValue(Format.MIME, Format.VIDEO_AVC);
fmt.putIntValue(Format.WIDTH, 1920);
fmt.putIntValue(Format.HEIGHT, 1080);
fmt.putIntValue(Format.BIT_RATE, 392000);
fmt.putIntValue(Format.FRAME_RATE, 30);
fmt.putIntValue(Format.FRAME_INTERVAL, 30);
codec.setCodecFormat(fmt);
如果需要编码过程中,检测是否读取到Buffer数据以及是否发生异常,可以构造ICodecListener,ICodecListener需要实现两个方法,实现读到Buffer数据时、编码发生异常时做相应的操作。举例中读到Buffer时,获取buffer的format格式,异常时抛出运行时异常,代码示例如下:
Codec.ICodecListener listener = new Codec.ICodecListener() {
    @Override
    public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
        Format fmt = codec.getBufferFormat(byteBuffer);
    }

    @Override
    public void onError(int errorCode, int act, int trackId) {
        HiLog.error(TAG, "CodeListener onError errorCode: %{public}d, act: %{public}d", errorCode, act);
    }
};
调用start()方法开始编码。
调用getAvailableBuffer()取到一个可用的ByteBuffer,把数据填入ByteBuffer里,然后再调用writeBuffer()把ByteBuffer写入编码器实例。
调用stop()方法停止编码。
编码任务结束后,调用release()释放资源。

更多详细介绍请下载附件查看
游客,如果您要查看本帖隐藏内容请回复
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

合作/建议

TEL: 19168984579

工作时间:
周一到周五 9:00-11:30 13:30-19:30
  • 扫一扫关注公众号
  • 扫一扫打开小程序
Copyright © 2013-2024 一牛网 版权所有 All Rights Reserved. 帮助中心|隐私声明|联系我们|手机版|粤ICP备13053961号|营业执照|EDI证
在本版发帖搜索
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表