展锐UDS710 Imagination AI NDK2.6环境简介

apppapp

1.1 范围
本文档主要介绍了 Imagination AI NDK2.6 的环境安装以及模型转换指引。
本文档的使用人员主要包括：
需要使用 UDS710 Imagination AI 进行 AI 应用开发的软件开发人员以及客户。

1.2 Imagination NDK简介
Imagination NDK是一套工具集，用于将Tensorflow/Caffe/ONNX/PaddlePaddle等框架的模型，编译为可以在NPU上执行的Binary，该Binary作为AI SDK的输入，最终跑到NPU硬件上。


2、环境安装
2.1 软件依赖
准备安装有 Ubuntu 16.04 操作系统的 PC，并预先安装以下软件：
python (或 python3)
python-pip (或 python3-pip)
git
curl
cmake
virtualenv
caffe 1.0

2.2 安装包目录结构
将 NDK 安装包解压后，文件目录结构如下：
a) 3rd_party_src/deploy/patch 目录：NDK 工具安装所需文件，用户可以不用关心里面文件内容。
b) json_sample 目录： IO.json 和 test_file.json 的样例 json 文件，IO.json 和 test_file.json 的用法
下文将会介绍。
c) scripts 目录：脚本目录，包含如下脚本
1) ndk_vars.sh：用于配置 NDK 运行的环境变量
2) prepare_in_sample.py:：简单的图片预处理参考脚本
3) ssd_preprocess.py：Tensorflow SSD 模型的前处理参考脚本
4) *_model_compile.sh： 各 AI 框架的模型编译脚本
d) install_rel_2_6.sh：NDK 安装脚本，它是 NDK 安装的唯一执行脚本
e) patch.sh： NDK 安装 patch 脚本，用户可以不关心该脚本，它会被 install_rel_2_6.sh 自动调用

2.3 安装配置
1) 配置 python 版本
Imagination NDK2.6 支持 python2 和 python3，通过修改 install_rel_2_6.sh 脚本中的 python_ver 来配 置 python 版本：
python_ver=2 //使用 python2
python_ver=3 //使用 python3
2) 配置安装目录
修改 scripts/ndk_vars.sh 中的 NNA_ROOT 来配置安装目录：
export NNA_ROOT=${HOME}/img_nna_2_6_cl5777119
3) 配置 caffe 目录
修改 scripts/ndk_vars.sh 中的 CAFFE_ROOT 来配置 caffe 目录(caffe 请自行安装，这边只是配置已安装好的 caffe 路径供 NDK2.6 使用)：
export CAFFE_ROOT=${HOME}/caffe

2.4 执行安装
执行脚本./install_rel_2_6.sh 安装 NDK2.6，在安装过程中会有一些提示信息，需要用户确认。对应提示信息的确认指引如下（可能因为电脑环境不同而出现不一样的指引）。
●INSTALLER: Install the IMG NNVM NDK Tools in the above directory? [Y/n]
- 主要确认” INSTALLATION_DIR”路径是否正确，选择”Y”继续安装，选择”n”终止安装
●INSTALLER: Do you wish to use the existing version of Numpy? [y/N]
- 如检测到已安装 Numpy，则会让用户选择是否直接使用现有 Numpy 版本，选择”y”跳过 Numpy 安装。
●INSTALLER: Do you wish to use the existing version of scikit-image? [y/N]
- 如检测到已安装 scikit-image，则会让用户选择是否直接使用现有 scikit-image 版本，选择”y”跳过scikit-image 安装。
●INSTALLER: Do you wish to use the existing version of TensorFlow? [y/N]
- 如检测到已安装 TensorFlow，则会让用户选择是否直接使用现有 TensorFlow 版本，选择”y”跳过TensorFlow 安装，选择”N”安装 TensorFlow2.2 版本。
●INSTALLER: Do you wish to use the existing version of ONNX? [y/N]
- 如检测到已安装 ONNX，则会让用户选择是否直接使用现有 ONNX 版本，选择”y”跳过 ONNX 安装。
●INSTALLER: Do you wish to use the existing version of Pillow? [y/N]
- 如检测到已安装 Pillow，则会让用户选择是否直接使用现有 Pillow 版本，选择”y”跳过 Pillow 安装。
●INSTALLER: Do you wish to use the existing version of pathlib? [y/N]
- 如检测到已安装 pathlib，则会让用户选择是否直接使用现有 pathlib 版本，选择”y”跳过 pathlib 安装。
安装完成后，会执行基本功能验证，输出如下信息表示 NDK 安装成功，如有出现”FAILED”项，则 NDK安装有失败项，需要根据具体安装 Log 分析失败原因。


3、模型转换
3.1 模型支持
3.1.1 支持的 AI 框架
对于不同 AI 框架的模型文件，需要先转换为 Imagination 的模型执行文件格式，目前 Imagination NDK2.6 可以直接支持的 AI 框架模型如下：
1) Tensorflow 支持至 2.2
2) TensorflowLite 支持至 2.2
3) Caffe 1.0
4) ONNX 支持至 1.6
5) 支持 PaddlePaddle
对于其它 AI 框架(例如 Pytorch, MXNet 等)模型，则需要通过第三方工具先将模型转换为以上 5 种框架模型之一，然后通过 Imagination NDK 工具转换。
3.1.2 支持的量化数据格式
Imagination NPU仅支持整型运算，对于浮点模型，需要先对模型进行整型量化，Imagination NDK2.6
目前主要支持 UINT8 和 UINT16 的数据量化。
3.1.3 有限的模型算子支持
Imagination NPU 无法支持所有的模型算子，如模型中包含不支持的算子，则模型无法转换成功。对于这些模型，可能需要先对原模型进行预处理(例如对于Tensorflow SSD网络，需要使用${NNA_ROOT}/script/ssd_preprocess.py 对模型先进行一些处理)，甚至可能需要将模型切分为几段(部分在 CPU 上运行，部分在 NPU 上运行)，需要根据具体情况提供技术支持。

更多详细内容请下载附件查看

游客，如果您要查看本帖隐藏内容请回复

konglingzhen

谢谢分享

konkong

学习学习

18692270121

好东西啊

Cupid天空

我也在研究这个NDK，希望可以交流一下~

李生金

附件有sdk吗？

SDM820

谢谢分享！