RKNN-Toolkit2-API: Konfiguration, Konvertierung, Quantisierung und Inferenz

Anwendbarkeit auf ArmSoM und Quelle

Dies ist eine Rockchip-Plattformreferenz, kein ArmSoM-Testbericht. Quellen: RK-YH-YF-412, V2.3.2, 22 chinesische und 25 englische Seiten. Chinesisch folgt dem chinesischen, Englisch dem englischen Original; Russisch und Deutsch übersetzen Englisch vollständig. Die PDFs enthalten keine technischen Abbildungen: Der gesamte Inhalt besteht aus editierbarem Text, Tabellen und Code, ohne erfundene englische Bilder. Genannt sind RV1103/RV1103B/RV1106/RV1106B/RV1126B, RK2118, RK3562 und RK3566/3568/3576/3588-Serien, aber keine SDK/BSP- oder Kernelkombination eines konkreten ArmSoM-Boards. NPU-Treiber, Toolkit2/Runtime/Server-Versionen, Hostsystem/-architektur, Python, Framework und Modellformat abgleichen. x64-Funktionen nicht auf ARM64 verallgemeinern. Versions-, top-5-, Speicher- und SDK-Ausgaben sind Quellbeispiele, keine ArmSoM-Tests. V2.3.2 bezeichnet den Quellstand, nicht die neueste Veröffentlichung.

Redaktionshinweis: Auch die Quellen derselben Version unterscheiden sich. Die Python-Zelle für Ubuntu20.04 enthält chinesisch 3.8/3.9, englisch 3.8/3.8; im ARM64-Abschnitt sind Debian-Einträge als x64 markiert. Quellwerte bleiben ohne vermutete Kompatibilitätskorrektur erhalten. Weitere Zweifel stehen in den redaktionellen Hinweisen; API/Code sind keine ArmSoM-validierten Anpassungen.

EDITORIAL-NOTES · ArmSoM Docs

1 Anforderungen

1.1 Unterstützte Chipmodelle

RV1103

RV1103B

RV1106

RV1106B

RV1126B

RK2118

RK3562

RK3566-Serie

RK3568-Serie

RK3576-Serie

RK3588-Serie

Hinweis: RK3566 / RK3568 / RK3576 / RK3588 bezeichnen im Folgenden jeweils die entsprechenden RK3566-/RK3568-/RK3576-/RK3588-Serien.

1.2 Anforderungen an Umgebung und Abhängigkeiten

Für die Betriebssystemumgebung werden folgende Anforderungen empfohlen:

Für ARM64:

Hinweise:

1. Detaillierte Python-Bibliotheksabhängigkeiten stehen in doc/requirements*.txt.

2. Die Dokumentbeispiele verwenden hauptsächlich Ubuntu 20.04 / Python3.8.

1.3 Unterstützte Deep-Learning-Frameworks

RKNN-Toolkit2 unterstützt Caffe, TensorFlow, TensorFlow Lite, ONNX, DarkNet und PyTorch.

Die Zuordnung zwischen RKNN-Toolkit2 und den Framework-Versionen ist nachfolgend aufgeführt:

Hinweise:

1. Aufgrund der TensorFlow-Versionskompatibilität werden theoretisch auch pb-Dateien unterstützt, die vor TensorFlow 1.12.0 exportiert wurden. Einzelheiten zur Kompatibilität verschiedener Versionen stehen in der offiziellen Dokumentation: https://www.tensorflow.org/guide/versions

2. Die Schemas verschiedener TFLite-Versionen sind nicht miteinander kompatibel. Unterscheidet sich das Schema eines exportierten TFLite-Modells von der durch RKNN-Toolkit2 verwendeten Schemaversion, kann das Laden fehlschlagen.

3. Das Caffe-Protokoll von RKNN-Toolkit2 basiert mit Änderungen auf dem offiziellen Berkeley-Protokoll. Quelle: https://github.com/BVLC/caffe/tree/master/src/caffe/proto, Commit 828dd10. RKNN-Toolkit2 ergänzt darauf aufbauend einige Operatoren.

4. Die Zuordnung zwischen ONNX-Releases, opset- und IR-Versionen ist in der onnxruntime-Dokumentation beschrieben: https://github.com/microsoft/onnxruntime/blob/v1.10.0/docs/Versioning.md

5. Offizielles DarkNet-Repository: https://github.com/pjreddie/darknet. Die Konvertierungsregeln des Dokumentstands beruhen auf dessen letztem master-Commit 810d7f7; dies ist keine Aussage über den heutigen HEAD.

6. Beim Laden eines PyTorch-Modells (torchscript) wird dieselbe PyTorch-Version für Modellexport und RKNN-Konvertierung empfohlen. Unterschiedliche Versionen können zum Konvertierungsfehler führen.

7. Die ARM64-Version unterstützt laut Dokumentstand nur PyTorch und ONNX; andere Frameworks werden dort nicht unterstützt.

2 RKNN-Toolkit2-API-Beschreibung

2.1 RKNN initialisieren und freigeben

Diese Funktionsgruppe initialisiert das RKNN-Objekt und gibt es frei. Vor der Verwendung sämtlicher RKNN-Toolkit2-APIs RKNN() aufrufen; nach Abschluss der Aufgabe das Objekt mit release() freigeben.

Bei der Initialisierung steuern verbose und verbose_file die ausführliche Protokollierung etwa beim Laden und Erstellen von Modellen. verbose hat den Typ bool: True aktiviert detaillierte Ausgaben von RKNN-Toolkit2. verbose_file ist eine Zeichenfolge; enthält sie einen Dateipfad, wird das Protokoll dort gespeichert. Auch dafür muss verbose auf True stehen.

Beispielcode:

# Print the detailed log information.
rknn = RKNN(verbose=True)

…

rknn.release()

2.2 Modell konfigurieren

Vor dem Erstellen des RKNN-Modells dieses zunächst über config konfigurieren.

Beispielcode:

# model config
rknn.config(mean_values=[[103.94, 116.78, 123.68]],
     std_values=[[58.82, 58.82, 58.82]],
     quant_img_RGB2BGR=True,
     target_platform='rk3566')

2.3 Modell laden

RKNN-Toolkit2 unterstützt das Laden noch nicht in RKNN umgewandelter Modelle aus Caffe, TensorFlow, TensorFlow Lite, ONNX, DarkNet und PyTorch. Je Format bestehen unterschiedliche, nachfolgend beschriebene Schnittstellen.

2.3.1 Caffe-Modell laden

Beispielcode:

# Load the mobilenet_v2 Caffe model in the current path
ret = rknn.load_caffe(model='./mobilenet_v2.prototxt',
          blobs='./mobilenet_v2.caffemodel')

2.3.2 TensorFlow-Modell laden

Beispielcode:

# Load ssd_mobilenet_v1_coco_2017_11_17 TF model in the current path
ret = rknn.load_tensorflow(tf_pb='./ssd_mobilenet_v1_coco_2017_11_17.pb',
            inputs=['Preprocessor/sub'],
            outputs=['concat', 'concat_1'],
            input_size_list=[[300, 300, 3]])

2.3.3 TensorFlow Lite-Modell laden

Beispielcode:

# Load the mobilenet_v1 TF-Lite model in the current path
ret = rknn.load_tflite(model='./mobilenet_v1.tflite')

2.3.4 ONNX-Modell laden

Beispielcode:

# Load the arcface onnx model in the current path
ret = rknn.load_onnx(model='./arcface.onnx')

2.3.5 DarkNet-Modell laden

Beispielcode:

# Load the yolov3-tiny DarkNet model in the current path
ret = rknn.load_darknet(model='./yolov3-tiny.cfg',
           weight= './yolov3.weights')

2.3.6 PyTorch-Modell laden

Beispielcode:

# Load the PyTorch model resnet18 in the current path
ret = rknn.load_pytorch(model='./resnet18.pt',
           input_size_list=[[1,3,224,224]])

2.4 RKNN-Modell erstellen

Beispielcode:

# Build and quantize RKNN model
ret = rknn.build(do_quantization=True, dataset='./dataset.txt')

2.5 RKNN-Modell exportieren

Das über build erstellte RKNN-Modell kann zur Bereitstellung in einer Datei gespeichert werden.

Beispielcode:

# save the built RKNN model as a mobilenet_v1.rknn file in the current path
ret = rknn.export_rknn(export_path='./mobilenet_v1.rknn')

2.6 RKNN-Modell laden

Beispielcode:

# Load the mobilenet_v1 RKNN model in the current path
ret = rknn.load_rknn(path='./mobilenet_v1.rknn')

2.7 Laufzeitumgebung initialisieren

Vor Inferenz oder Leistungsbewertung die Laufzeitumgebung initialisieren. Diese Schnittstelle legt deren Typ fest: Hardwareplattform oder Softwaresimulator.

Beispielcode:

# Initialize the runtime environment
ret = rknn.init_runtime(target='rk3566')

2.8 Inferenz mit dem RKNN-Modell

Diese Schnittstelle startet die RKNN-Modellinferenz und liefert deren Ergebnis.

Beispielcode:

Für ein Klassifikationsmodell wie mobilenet_v1 folgt dieser Code; der vollständige Code wird in der Quelle unter example/tfilte/mobilenet_v1 angegeben. Die Schreibweise tfilte bleibt als Quellangabe erhalten.

# Preform inference for a picture with a model and get a top-5 result
outputs = rknn.inference(inputs=[img])
show_outputs(outputs)

Beispielergebnis für top-5:

-----TOP 5-----
[ 156] score:0.928223 class:"Shih-Tzu"
[ 155] score:0.063171 class:"Pekinese, Pekingese, Peke"
[ 205] score:0.004299 class:"Lhasa, Lhasa apso"
[ 284] score:0.003096 class:"Persian cat"
[ 285] score:0.000171 class:"Siamese cat, Siamese"

2.9 Modellleistung bewerten

Beispielcode:

# Evaluate model performance
perf_detail = rknn.eval_perf()

2.10 Speicherbedarf bewerten

Beispielcode:

# eval memory usage
memory_detail = rknn.eval_memory()

Für das Beispiel examples/caffe/mobilenet_v2 zeigt die Quelle folgende Speicherbelegung auf RK3588. Dies sind Originalwerte, keine ArmSoM-Messungen.

======================================================
     Memory Profile Info Dump
======================================================
NPU model memory detail(bytes):
  Weight Memory: 3.53 MiB
  Internal Tensor Memory: 1.67 MiB
  Other Memory: 473.00 KiB
  Total Memory: 5.66 MiB

INFO: When evaluating memory usage, we need consider
the size of model, current model size is: 4.09 MiB
======================================================

2.11 SDK-Version abfragen

Beispielcode:

# Get SDK version
sdk_version = rknn.get_sdk_version()
print(sdk_version)

Beispielausgabe der SDK-Version:

==============================================
RKNN VERSION:
  API: 1.5.2 (8babfea build@2023-08-25T02:31:12)
  DRV: rknn_server: 1.5.2 (8babfea build@2023-08-25T10:30:12)
  DRV: rknnrt: 1.5.3b13 (42cbca6f5@2023-10-27T10:13:21)
==============================================

2.12 Gemischte Quantisierung

2.12.1 hybrid_quantization_step1

Die erste Phase der gemischten Quantisierung verwendet hybrid_quantization_step1. Er erzeugt eine temporäre Modelldatei (<model_name>.model), eine Datendatei (<model_name>.data) und die Quantisierungskonfiguration (<model_name>.quantization.cfg). Schnittstellendetails:

Beispielcode:

# Call hybrid_quantization_step1 to generate quantization config
ret = rknn.hybrid_quantization_step1(dataset='./dataset.txt')

2.12.2 hybrid_quantization_step2

Zur Erzeugung des gemischt quantisierten RKNN-Modells wird hybrid_quantization_step2 aufgerufen. Schnittstellendetails:

Beispielcode:

# Call hybrid_quantization_step2 to generate hybrid quantized RKNN model
ret = rknn.hybrid_quantization_step2(
       model_input='./ssd_mobilenet_v2.model',
       data_input='./ssd_mobilenet_v2.data',
       model_quantization_cfg='./ssd_mobilenet_v2.quantization.cfg')

2.13 Quantisierungsgenauigkeit analysieren

Diese Schnittstelle führt die Inferenz mit dem quantisierten Modell aus und erzeugt die Ausgaben jeder Schicht zur Analyse der Quantisierungsgenauigkeit.

Beispielcode:

# Accuracy analysis
ret = rknn.accuracy_analysis(inputs=['./dog_224x224.jpg'])

2.14 Geräte auflisten

Beispielcode:

rknn.list_devices()

Beispielgeräteliste:

*************************
all device(s) with adb mode:
VD46C3KM6N
*************************

2.15 Verschlüsseltes RKNN-Modell exportieren

Diese Schnittstelle verschlüsselt ein gewöhnliches RKNN-Modell und liefert das verschlüsselte Modell.

Beispielcode:

ret = rknn.export_encrypted_rknn_model('test.rknn')

2.16 Benutzerdefinierten Operator registrieren

Diese Schnittstelle registriert einen benutzerdefinierten Operator.

Beispielcode:

import numpy as np
from rknn.api.custom_op import get_node_attr
class cstSoftmax:
  op_type = 'cstSoftmax'
  def shape_infer(self, node, in_shapes, in_dtypes):
    out_shapes = in_shapes.copy()
    out_dtypes = in_dtypes.copy()
    return out_shapes, out_dtypes
  def compute(self, node, inputs):
    x = inputs[0]
    axis = get_node_attr(node, 'axis')
    x_max = np.max(x, axis=axis, keepdims=True)
    tmp = np.exp(x - x_max)
    s = np.sum(tmp, axis=axis, keepdims=True)
    outputs = [tmp / s]
    return outputs

ret = rknn.reg_custom_op(cstSoftmax)

2.17 C++-Bereitstellungsbeispiel erzeugen

Beispielcode:

ret = rknn.codegen(output_path='./rknn_app_demo',
        inputs=['./mobilenet_v2/dog_224x224.jpg'],
        overwrite=True)