RKNN-Toolkit2 API: конфигурация, преобразование, квантование и инференс

Применимость к ArmSoM и источник

Это справка по платформе Rockchip, не отчёт испытаний ArmSoM. Источники: RK-YH-YF-412, V2.3.2, 22 китайские и 25 английских страниц. Китайская статья следует китайскому оригиналу; английская — английскому, полностью переведённому на русский и немецкий. Технических рисунков в PDF нет: весь материал представлен редактируемым текстом, таблицами и кодом, без вымышленных английских изображений. Источник охватывает RV1103/RV1103B/RV1106/RV1106B/RV1126B, RK2118, RK3562 и серии RK3566/3568/3576/3588, но не задаёт SDK/BSP и ядро конкретной платы ArmSoM. Сверяйте NPU-драйвер, Toolkit2/Runtime/Server, систему и архитектуру хоста, Python, фреймворк и формат модели. Возможности x64 нельзя автоматически переносить на ARM64. Версии, top-5, память и вывод SDK — примеры оригинала, не тесты ArmSoM. V2.3.2 обозначает исходный срез, не новейший выпуск.

Примечание сверки: тексты одной версии различаются. Для Ubuntu20.04 китайская ячейка Python содержит 3.8/3.9, английская — 3.8/3.8; в разделе ARM64 Debian помечен x64. Значения сохранены без предположений о совместимости. Все сомнения перечислены в редакционных примечаниях; API/код не являются проверенной адаптацией ArmSoM.

EDITORIAL-NOTES · ArmSoM Docs

1 Требования

1.1 Поддерживаемые модели чипов

RV1103

RV1103B

RV1106

RV1106B

RV1126B

RK2118

RK3562

RK3566 (серия)

RK3568 (серия)

RK3576 (серия)

RK3588 (серия)

Примечание: далее RK3566 / RK3568 / RK3576 / RK3588 обозначают соответствующие серии RK3566 / RK3568 / RK3576 / RK3588.

1.2 Требования к среде и зависимостям

Рекомендуется следующая среда операционной системы:

Для ARM64:

Примечания:

1. Подробные зависимости библиотек Python указаны в doc/requirements*.txt.

2. Примеры документа в основном используют Ubuntu 20.04 / Python3.8.

1.3 Поддерживаемые фреймворки глубокого обучения

RKNN-Toolkit2 поддерживает Caffe, TensorFlow, TensorFlow Lite, ONNX, DarkNet и PyTorch.

Соответствие версий RKNN-Toolkit2 и фреймворков приведено ниже:

Примечания:

1. Благодаря совместимости версий TensorFlow теоретически поддерживаются и pb-файлы, экспортированные версиями до TensorFlow 1.12.0. Подробности совместимости разных версий приведены в официальной документации: https://www.tensorflow.org/guide/versions

2. Схемы разных версий TFLite несовместимы. Если схема экспортированной модели отличается от версии схемы, используемой RKNN-Toolkit2, загрузка модели может завершиться ошибкой.

3. Протокол Caffe в RKNN-Toolkit2 основан на официальном Berkeley-протоколе с модификациями. Источник: https://github.com/BVLC/caffe/tree/master/src/caffe/proto, commit 828dd10. RKNN-Toolkit2 добавляет на этой основе некоторые операторы.

4. Соответствие выпусков ONNX версиям opset и IR описано в документации onnxruntime: https://github.com/microsoft/onnxruntime/blob/v1.10.0/docs/Versioning.md

5. Официальный репозиторий DarkNet: https://github.com/pjreddie/darknet. Правила преобразования RKNN-Toolkit2 в исходном документе основаны на последнем для его состояния коммите ветки master — 810d7f7; это не утверждение о текущем HEAD.

6. При загрузке PyTorch-модели (torchscript) рекомендуется использовать одну и ту же версию PyTorch для экспорта модели и преобразования в RKNN. Различие версий может привести к ошибке преобразования.

7. Версия ARM64 поддерживает только PyTorch и ONNX; остальные фреймворки в состоянии источника не поддерживаются.

2 Описание API RKNN-Toolkit2

2.1 Инициализация и освобождение RKNN

Эта группа интерфейсов создаёт и освобождает объект RKNN. Перед использованием любых API RKNN-Toolkit2 вызовите RKNN(); после завершения задачи освободите объект методом release().

При создании объекта RKNN параметры verbose и verbose_file управляют подробным журналом загрузки и построения модели и других операций. verbose имеет тип bool: при True RKNN-Toolkit2 печатает подробный журнал. verbose_file — строка; если она содержит путь к файлу, журнал записывается туда, причём verbose также должен быть True.

Пример кода:

# Print the detailed log information.
rknn = RKNN(verbose=True)

…

rknn.release()

2.2 Настройка модели

Перед построением модели RKNN настройте её через интерфейс config.

Пример кода:

# model config
rknn.config(mean_values=[[103.94, 116.78, 123.68]],
     std_values=[[58.82, 58.82, 58.82]],
     quant_img_RGB2BGR=True,
     target_platform='rk3566')

2.3 Загрузка модели

RKNN-Toolkit2 поддерживает загрузку исходных моделей Caffe, TensorFlow, TensorFlow Lite, ONNX, DarkNet и PyTorch, ещё не преобразованных в RKNN. Для разных форматов используются разные интерфейсы, описанные ниже.

2.3.1 Загрузка модели Caffe

Пример кода:

# Load the mobilenet_v2 Caffe model in the current path
ret = rknn.load_caffe(model='./mobilenet_v2.prototxt',
          blobs='./mobilenet_v2.caffemodel')

2.3.2 Загрузка модели TensorFlow

Пример кода:

# Load ssd_mobilenet_v1_coco_2017_11_17 TF model in the current path
ret = rknn.load_tensorflow(tf_pb='./ssd_mobilenet_v1_coco_2017_11_17.pb',
            inputs=['Preprocessor/sub'],
            outputs=['concat', 'concat_1'],
            input_size_list=[[300, 300, 3]])

2.3.3 Загрузка модели TensorFlow Lite

Пример кода:

# Load the mobilenet_v1 TF-Lite model in the current path
ret = rknn.load_tflite(model='./mobilenet_v1.tflite')

2.3.4 Загрузка модели ONNX

Пример кода:

# Load the arcface onnx model in the current path
ret = rknn.load_onnx(model='./arcface.onnx')

2.3.5 Загрузка модели DarkNet

Пример кода:

# Load the yolov3-tiny DarkNet model in the current path
ret = rknn.load_darknet(model='./yolov3-tiny.cfg',
           weight= './yolov3.weights')

2.3.6 Загрузка модели PyTorch

Пример кода:

# Load the PyTorch model resnet18 in the current path
ret = rknn.load_pytorch(model='./resnet18.pt',
           input_size_list=[[1,3,224,224]])

2.4 Построение модели RKNN

Пример кода:

# Build and quantize RKNN model
ret = rknn.build(do_quantization=True, dataset='./dataset.txt')

2.5 Экспорт модели RKNN

Модель RKNN, созданную через build, можно сохранить в файл для дальнейшего развёртывания.

Пример кода:

# save the built RKNN model as a mobilenet_v1.rknn file in the current path
ret = rknn.export_rknn(export_path='./mobilenet_v1.rknn')

2.6 Загрузка модели RKNN

Пример кода:

# Load the mobilenet_v1 RKNN model in the current path
ret = rknn.load_rknn(path='./mobilenet_v1.rknn')

2.7 Инициализация среды выполнения

Перед инференсом или оценкой производительности инициализируйте среду выполнения. Интерфейс определяет её тип: аппаратная платформа или программный симулятор.

Пример кода:

# Initialize the runtime environment
ret = rknn.init_runtime(target='rk3566')

2.8 Инференс модели RKNN

Интерфейс запускает инференс модели RKNN и получает его результат.

Пример кода:

Для классификационной модели, например mobilenet_v1, пример кода приведён ниже; полный код см. в example/tfilte/mobilenet_v1. Написание tfilte сохранено из исходника.

# Preform inference for a picture with a model and get a top-5 result
outputs = rknn.inference(inputs=[img])
show_outputs(outputs)

Пример результата top-5:

-----TOP 5-----
[ 156] score:0.928223 class:"Shih-Tzu"
[ 155] score:0.063171 class:"Pekinese, Pekingese, Peke"
[ 205] score:0.004299 class:"Lhasa, Lhasa apso"
[ 284] score:0.003096 class:"Persian cat"
[ 285] score:0.000171 class:"Siamese cat, Siamese"

2.9 Оценка производительности модели

Пример кода:

# Evaluate model performance
perf_detail = rknn.eval_perf()

2.10 Оценка использования памяти

Пример кода:

# eval memory usage
memory_detail = rknn.eval_memory()

Для примера examples/caffe/mobilenet_v2 ниже показан исходный вывод использования памяти на RK3588. Это данные оригинала, не измерения ArmSoM.

======================================================
     Memory Profile Info Dump
======================================================
NPU model memory detail(bytes):
  Weight Memory: 3.53 MiB
  Internal Tensor Memory: 1.67 MiB
  Other Memory: 473.00 KiB
  Total Memory: 5.66 MiB

INFO: When evaluating memory usage, we need consider
the size of model, current model size is: 4.09 MiB
======================================================

2.11 Получение версии SDK

Пример кода:

# Get SDK version
sdk_version = rknn.get_sdk_version()
print(sdk_version)

Пример вывода версии SDK:

==============================================
RKNN VERSION:
  API: 1.5.2 (8babfea build@2023-08-25T02:31:12)
  DRV: rknn_server: 1.5.2 (8babfea build@2023-08-25T10:30:12)
  DRV: rknnrt: 1.5.3b13 (42cbca6f5@2023-10-27T10:13:21)
==============================================

2.12 Смешанное квантование

2.12.1 hybrid_quantization_step1

Первый этап смешанного квантования выполняет hybrid_quantization_step1. Он создаёт временный файл модели (<model_name>.model), файл данных (<model_name>.data) и конфигурацию квантования (<model_name>.quantization.cfg). Описание интерфейса:

Пример кода:

# Call hybrid_quantization_step1 to generate quantization config
ret = rknn.hybrid_quantization_step1(dataset='./dataset.txt')

2.12.2 hybrid_quantization_step2

Для этапа формирования смешанно-квантованной модели RKNN вызывается hybrid_quantization_step2. Описание интерфейса:

Пример кода:

# Call hybrid_quantization_step2 to generate hybrid quantized RKNN model
ret = rknn.hybrid_quantization_step2(
       model_input='./ssd_mobilenet_v2.model',
       data_input='./ssd_mobilenet_v2.data',
       model_quantization_cfg='./ssd_mobilenet_v2.quantization.cfg')

2.13 Анализ точности квантования

Интерфейс выполняет инференс квантованной модели и формирует выходы каждого слоя для анализа точности квантования.

Пример кода:

# Accuracy analysis
ret = rknn.accuracy_analysis(inputs=['./dog_224x224.jpg'])

2.14 Список устройств

Пример кода:

rknn.list_devices()

Пример списка устройств:

*************************
all device(s) with adb mode:
VD46C3KM6N
*************************

2.15 Экспорт зашифрованной модели RKNN

Интерфейс шифрует обычную модель RKNN и формирует зашифрованную модель.

Пример кода:

ret = rknn.export_encrypted_rknn_model('test.rknn')

2.16 Регистрация пользовательского оператора

Интерфейс регистрирует пользовательский оператор.

Пример кода:

import numpy as np
from rknn.api.custom_op import get_node_attr
class cstSoftmax:
  op_type = 'cstSoftmax'
  def shape_infer(self, node, in_shapes, in_dtypes):
    out_shapes = in_shapes.copy()
    out_dtypes = in_dtypes.copy()
    return out_shapes, out_dtypes
  def compute(self, node, inputs):
    x = inputs[0]
    axis = get_node_attr(node, 'axis')
    x_max = np.max(x, axis=axis, keepdims=True)
    tmp = np.exp(x - x_max)
    s = np.sum(tmp, axis=axis, keepdims=True)
    outputs = [tmp / s]
    return outputs

ret = rknn.reg_custom_op(cstSoftmax)

2.17 Создание примера развёртывания C++

Пример кода:

ret = rknn.codegen(output_path='./rknn_app_demo',
        inputs=['./mobilenet_v2/dog_224x224.jpg'],
        overwrite=True)