Rockchip IQ Tools: Vollständiger Leitfaden für Aufnahme, Kalibrierung und ISP-Abstimmung

ArmSoM-Anwendbarkeit und Quelle

Plattformreferenz zur Anpassung an ArmSoM auf Basis der einzigen bereitgestellten Quelle Rockchip_IQ_Tools_Guide_EN_v1.0.1.pdf (RK-SM-YF-609, 81 Seiten). Ein chinesisches PDF liegt nicht vor; Chinesisch, Russisch und Deutsch sind vollständig aus dem Englischen übersetzt. Alle Fassungen behalten die englischen Originalabbildungen; Deutsch verwendet genau dieselben Bild-URLs wie Englisch. Abschnitt 1.2 nennt RK356x/RKISP21, RK3588/RKISP30 und RV1106/RKISP32 mit Linux/Android, jedoch keine Kernelversion. ArmSoM-Board, SoC, SDK/BSP, Kernel, Sensor-/Objektivtreiber, ToolServer, Tuner und IQ-Vorlagen müssen zusammenpassen. Boardanpassung und Bildqualität wurden nicht an Hardware geprüft. Zeiten, Verstärkungen, Vergleiche und Parameter sind Quellbeispiele, keine ArmSoM-Messwerte.

Quellbeispiele enthalten Neustarts, Rechteänderungen und setenforce 0, das den SELinux-Schutz reduziert. Sie bleiben zur Vollständigkeit erhalten, wurden nicht ausgeführt und dürfen nicht ungeprüft auf Produktivsysteme angewendet werden.

Redaktionelle Prüfnotizen · ArmSoM Docs · Rockchip AIQ

Dieser Leitfaden erläutert RKISP2 Tuner und den ISP-Abstimmungsprozess. Er erleichtert den Einstieg und dient als Referenz für die IQ-Abstimmung.

1 Einführung

1.1 Überblick

RKISP Tuner (nachfolgend Tuner) stellt Werkzeuge zur Abstimmung der ISP-Parameter bereit. Alle ISP-Module lassen sich kalibrieren und abstimmen. Mit Capture Tool werden Raw-Bilder aufgenommen, mit Calibration Tool die Basismodule kalibriert und anschließend über Tuner die ISP-Parameter am verbundenen Gerät online angepasst.

1.2 Zugehörige Versionen

ISP21, ISP30 und ISP32 verbessern die Kompatibilität deutlich. ToolServer und RKISP Tuner müssen zueinander passende Versionen haben. Weichen die Parameter der Werkzeugoberfläche von den Parameterdateien auf dem Gerät ab, soll die Parametervorlage mit Unterstützung der Rockchip-Entwickler aktualisiert werden.

1.3 Umgebung vorbereiten

Anforderungen an den Computer

1. Der Tuner-PC benötigt x64 Windows 7 oder eine neuere 64-Bit-Windows-Version.

1. Vor dem Start muss die 64-Bit-Version MCR_R2016a (9.0.1) installiert sein; laut Quelle wird nur diese Version unterstützt. Download: https://ww2.mathworks.cn/products/compiler/matlab-runtime

Anforderungen an das Gerät

1. Ein Netzwerkadapter muss die Verbindung mit dem lokalen Netz über Kabel, WLAN oder ein anderes Verfahren ermöglichen.

1. Geräte ohne Netzwerkadapter sollten RNDIS unterstützen. Das Gerät wird dann als USB-Netzwerkadapter erkannt und über USB mit dem PC verbunden.

1.4 Installation und Konfiguration

RKISP2.x Tuner muss nicht installiert werden. Das Archiv in ein beliebiges Verzeichnis entpacken und direkt verwenden; Pfade mit chinesischen Zeichen vermeiden.

Die Quelle verweist für die Vorinstallation von MCR_R2016a auf Abschnitt 3. Die Schritte folgen unten; die Umgebungsanforderungen stehen tatsächlich in 1.3. Diese abweichende Querverweisung bleibt dokumentiert.

1. MCR_R2016a_x64.exe öffnen und das Entpacken abwarten.

Abbildung 1-4-1

1. Next wählen, den Bedingungen zustimmen und anschließend Next sowie Install anklicken.

Abbildung 1-4-2

1. Den Abschluss der Installation abwarten.

Abbildung 1-4-3

1. Installation abgeschlossen.

Abbildung 1-4-4

2 Funktionsübersicht

2.1 Überblick

Bei der Abstimmung den nachfolgend gezeigten Ablauf einhalten:

Abbildung 2-1-1

In der Vorbereitung wird im Werkzeug eine IQ-Basisdatei im .json-Format mit allen einstellbaren ISP-Parametern erzeugt. Nach der Abstimmung die entsprechende Datei in Firmware oder Gerät ersetzen und die Kameraanwendung neu starten, um das endgültige Bild zu prüfen.

Raw-Aufnahme, Online-Abstimmung und Parameteraustausch laufen über Netzwerkprotokolle. PC und Gerät müssen deshalb im selben lokalen Netz verbunden sein.

Die Kalibrierung folgt diesem Ablauf:

Abbildung 2-1-2

Da manche Kalibrierungen Ergebnisse vorangehender Module voraussetzen, muss die Reihenfolge eingehalten werden. Nach jedem Modul prüfen, ob das Ergebnis korrekt ist.

2.2 Sensorkonfiguration

Abbildung 2-2-1

Die Sensoroberfläche in Abbildung 2-2-1 besteht aus zwei Bereichen:

1. Parameterbereich: Beschreibungen stehen unter sensorinfo parameters in Abschnitt 4.1.2.5 von Rockchip_Tuning_Guide_ISP21/30/32. Die Werte anhand des Sensordatenblatts eingeben; gegebenenfalls einen Treiberentwickler hinzuziehen.

1. Menüleiste: Import aus SensorList.ini und Export dorthin.

2.3 RKISP Capture Tool

Abbildung 2-3-1

Die Hauptoberfläche von RKISP Capture Tool in Abbildung 2-3-1 hat drei Bereiche:

1. Geräteverbindung: Netzwerkparameter konfigurieren, Betriebsart wechseln und die Verbindung prüfen.

1. Aufnahmeeinstellungen bestehen aus Raw Capture und Online Capture. Raw Capture nimmt Raw-Bilder offline auf und umfasst Kamera- und Belichtungssteuerung. Die Kamerakonfiguration enthält Sensorbelichtungsparameter, Module/Light-Namen, Auflösung und Gain/Exposure-Bereiche. Die Belichtungssteuerung unterstützt manuelle und automatische Belichtung sowie die besondere Aufnahme für NR-Kalibrierung. Manuell lässt sich eine Schrittweite zum Durchlaufen mehrerer Belichtungskombinationen einstellen; die Automatik sucht bis zur gewünschten Zielhelligkeit. YNR Capture erzeugt Raw-Aufnahmen für die YNR-Kalibrierung, siehe 4.6.1. Online Capture nimmt raw und yuv aus einem laufenden Stream auf.

1. Raw-Vorschau und Statistik: aufgenommene Raw-Bilder in Graustufen, Histogramm und ROI-Helligkeit.

2.4 RKISP Calibration Tool

Für den gewählten Chip und die Version (Abbildung 2-4-1) wird das passende RKISP Calibration Tool geladen (2-4-2). Auch die importierte IQ-Datei muss zu Chip und Version passen.

Abbildung 2-4-1

Abbildung 2-4-2

Die Oberfläche von RKISP Calibration Tool (2-4-2) enthält BLC für Schwarzwertkorrektur, LSC für Objektivabschattung, CCM für die Farbkorrekturmatrix und AWB für automatischen Weißabgleich.

GIC gleicht die Grünkanäle ab und wird im Bayer-NR-Modul kalibriert. Bayer NR umfasst Raw-Rauschminderung mit Bayer 2DNR und Bayer 3DNR. YNR reduziert Rauschen im Y-Kanal; FEC dient zur Fisheye-Kalibrierung.

2.5 RKRAW Tool

Abbildung 2-5-1

RKRAW Tool (2-5-1) zeigt jpg/bmp/png, raw, RKRawV1 und RKRawV2 an. Die Quelle spricht von vier Bereichen, führt jedoch fünf Punkte auf; alle bleiben erhalten:

1. Dateisystem: Pfad der anzuzeigenden Bilder wählen.

1. Anzeigefenster: Rechtsklick wechselt GRAY/RGB und Normal/Hdr Short/Mid/Long; Letzteres ist nur bei RKRawV2 verfügbar, siehe 2-5-2. Mit Ctrl und Mausrad zoomen.

1. Histogramm: Statistik des Graukanals.

1. RKRawV2-Informationen: Raw-Format, Belichtungsparameter und weitere Angaben.

1. Compare: Mit Ctrl mehr als zwei Bilder gleichzeitig auswählen und compare anklicken, siehe 2-5-3.

Abbildung 2-5-2

Abbildung 2-5-3

2.6 RKISP 3D-LUT Tools

Abbildung 2-6-1

RKISP 3D-LutTool (2-6-1): links der LUT-Bereich, rechts die Vorschau.

1. File: Bilder importieren, IQ-Parameter und LUT Info importieren beziehungsweise speichern. Load Image unterstützt jpg/bmp/png/nv12; das Bild erscheint rechts in Preview (2-6-2). Load IQ File importiert IQ-Parameter mit Auswahl von Szene und Lut3D-Tabelle (2-6-3).

Abbildung 2-6-2

Abbildung 2-6-3

Save IQ File überschreibt eine vorhandene Tabelle in der IQ-Datei oder erstellt eine neue (2-6-4).

Abbildung 2-6-4

1. Farbsuche: Beim Bewegen der Maus über das Bild wird die zugehörige Farbe links in der LUT markiert (2-6-5). Linksklick fixiert sie. Adjust Sat, Adjust Hue oder direktes Ziehen ändern die Farbe. AB-, Sat-, Hue- und RGB-Werte vor und nach der Änderung sowie Farbänderungen in LUT/Preview werden angezeigt.

Abbildung 2-6-5

1. Adjust Sat: Der Schieberegler verändert die markierte Farbe zusammen mit benachbarten Farben (2-6-6(a)). Soll nur sie geändert werden, andere Farben mit Rechtsklick sperren; der Punkt wird zum Quadrat und bleibt fest. Adjust Sat verändert dann nur die markierte Farbe (2-6-6(b)).

(a)

(b)

Abbildung 2-6-6

1. After & Before: Bild vor und nach der Anpassung ansehen.

1. Reset LUT: LUT-Standardwerte wiederherstellen.

1. Image: links/rechts drehen, vertikal/horizontal spiegeln und das angepasste Bild speichern (2-6-7).

Abbildung 2-6-7

1. Options: LUT-Anzeige einstellen, Größe der Markierungspunkte und Linienbreite ändern (2-6-8).

Abbildung 2-6-8

2.7 RKISP 3A Analyzer Tool

Abbildung 2-7-1

Mit Connect zu rkaiq_tool_server verbinden und RKISP 3AAnalyzerTool öffnen (2-7-1). URL anpassen und Open für die Vorschau aktivieren. Diese Version unterstützt Statistiken der Module AE und AWB.

TimerSet: Intervall der Datenerfassung einstellen.

Reverse color: Farbe der Daten in der Vorschau ändern.

AE öffnet das Modul mit dynamischem Histogramm in AE Statistics. Die Vorschau wird in 15 * 15 Felder geteilt; jedes zeigt den 12bit-Statistikwert des zugehörigen Blocks. Channel wechselt den Kanal, HDR unterstützt L/M/S-Frame-Statistiken (2-7-2).

Abbildung 2-7-2

AWB gibt den aktuellen Status dynamisch in AWB Statistics aus. Die Vorschau wird in 15 * 15 Felder geteilt, die jeweils Weißpunktanzahl und WBGains des Blocks anzeigen (2-7-3).

Abbildung 2-7-3

3 Schnellstart

3.1 Vorbereitungen

Ein großer Teil der ISP-Abstimmung findet auf dem Gerät statt. Dort überträgt ein Dienst Daten zwischen Tuner und AIQ und übernimmt Raw-Aufnahmen sowie weitere Aufgaben. Vor Beginn Dienst und zugehörige Dateien auf das Gerät übertragen und ausführen. Im Folgenden die Vorbereitung für Android und Linux:

1. LAN-Verbindung herstellen.

1. rkaiq_tool_server starten und die Umgebung konfigurieren. Befehle und Dateien lassen sich per TFTP, serieller Schnittstelle, ADB oder anderen Werkzeugen übertragen; das Beispiel verwendet ADB.

3.1.1 Android

3.1.1.1 RK356X & RK3588

Für Geräte mit kabelgebundenem Netzwerk:

1. Gerät per Netzwerkkabel mit dem Router verbinden.

1. Geräte-IP mit ifconfig ermitteln.

1. PC über Kabel oder WLAN mit demselben Router verbinden.

1. PC-IP prüfen und mit ping an der PC- oder Gerätekommandozeile die Verbindung testen.

Für Geräte ohne kabelgebundenes Netzwerk, etwa Tablets:

1. PC und EVB per USB-Kabel am selben Anschluss wie ADB verbinden.

1. Einschalten und das System starten.

1. Settings öffnen.

1. Network&internet aufrufen.

1. Hotspot&tethering aufrufen.

1. USB tethering aktivieren.

1. Mit adb shell die Geräteshell öffnen.

1. IP-Adresse mit ifconfig usb0 anzeigen.

1. Die Netzwerkverbindung mit ping auf PC oder Gerät prüfen.

Vorgehen zum Starten von rkaiq_tool_server. Liegen Dienst und Abhängigkeiten bereits in den entsprechenden Geräteverzeichnissen, genügt der direkte Start von rkaiq_tool_server.

1. rkaiq_tool_server und rkaiq_3A_server im SDK kompilieren.

1. SDK-Pfad: external/rkaiq_tool_server. Die Firmware muss eine user-debug-Version sein.

1. android.hardware.camera.provider@2.4-service.rc nach /vendor/etc/init/ auf dem Board übertragen.

1. In /vendor/etc/init/ mit chmod 644 android.hardware.camera.provider@2.4-service.rc die Rechte ändern.

1. rkaiq_tool_server und rkaiq_3A_server nach /vendor/bin/ übertragen.

1. In /vendor/bin/ chmod 755 rkaiq_tool_server ausführen; für rkaiq_3A_server entsprechend vorgehen.

1. Den Cache mit sync synchronisieren.

1. Gerät neu starten.

1. setenforce 0 ausführen.

1. Kamera-APK öffnen.

1. rkaiq_tool_server starten.

ADB-Beispiel:

#The following commands are run in cmd on the PC side
adb root
adb remount
adb push android.hardware.camera.provider@2.4-service.rc /vendor/etc/init/
adb push rkaiq_tool_server /vendor/bin/
adb shell

# The following commands are executed in adb shell terminal
chmod 644 /vendor/etc/init/android.hardware.camera.provider@2.4-service.rc
chmod 755 /vendor/bin/rkaiq_tool_server
sync
reboot

# After restart, enter adb shell again
# disable SELinux
setenforce 0
# Manually run the camera apk first
# Then run tool server
/vendor/bin/rkaiq_tool_server &

Beispiel mit mehreren Kameras:

#If there are 2 sensors in the device and you need to switch to another sensor for tuning, run tool server as follows:
/vendor/bin/rkaiq_tool_server -d 1 &

Nach dem Übertragen der mit New erzeugten IQ-Anfangsparameter die Kameraanwendung wie folgt zurücksetzen und ToolServer neu starten. Bei Abstürzen, Hängern, fehlgeschlagener Online-Abstimmung oder fehlender Vorschau ebenfalls diese Neuverbindung versuchen.

source /vendor/etc/camera/reset_camera.sh
# run camera apk
/vendor/bin/rkaiq_tool_server &

3.1.2 Linux

3.1.2.1 RK356X & RK3588 & RV1106

Für Geräte mit kabelgebundenem Netzwerk:

1. Gerät per Netzwerkkabel mit dem Router verbinden.

1. Geräte-IP mit ifconfig ermitteln.

1. PC über Kabel oder WLAN mit demselben Router verbinden.

1. PC-IP prüfen und mit ping an der PC- oder Gerätekommandozeile die Verbindung testen.

Für Geräte ohne kabelgebundenes Netzwerk:

1. Den RNDIS-Dienst starten.

1. Geräte-IP mit ifconfig ermitteln.

1. Die Netzwerkverbindung mit ping auf PC oder Gerät prüfen.

Vorgehen zum Starten von rkaiq_tool_server. Liegen Dienst und Abhängigkeiten bereits in den entsprechenden Geräteverzeichnissen, genügt der direkte Start von rkaiq_tool_server.

1. rkaiq_tool_server und librkmedia.so im SDK kompilieren.

1. librkmedia.so nach /data/ auf dem Board übertragen.

1. In /data/ chmod 777 librkmedia.so ausführen.

1. rkaiq_tool_server nach /data/ auf dem Board übertragen.

1. In /data/ chmod 777 rkaiq_tool_server ausführen.

1. Den Cache mit sync synchronisieren.

1. Gerät neu starten.

1. Kameraanwendung starten.

1. rkaiq_tool_server starten.

ADB-Beispiel:

#The following commands are run in cmd on the PC side
adb root
adb remount
adb push librkmedia.so /data/
adb push rkaiq_tool_server /data/
adb shell

# The following commands are executed in adb shell
chmod 777 /data/rkaiq_tool_server
sync
reboot

# After restart, enter adb shell again
# Run the camera app first
/data/rkaiq_tool_server &

3.2 ToolServer-Parameter

Parameter und Konfiguration von rkaiq_tool_server:

-d: Sensor über Gerätenummer 0/1/2 auswählen, Standard 0. media-ctl -p -d /dev/mediaX (X=0/1/2/3…) zeigt die Topologie mit Sensornamen. Bei m01_b_ov8858 2-0036 entspricht m01 dem Schema mNN mit zweistelligem Sensorindex NN. Daher -d 1 verwenden; eine führende Null ist nicht erforderlich.

-s: Videoknoten für YUV-Aufnahmen. Standardmäßig wird iqtool gesucht; mainPath oder selfPath können manuell angegeben werden.

-r: RTSP-Schalter, 0 aus, 1 ein, Standard 0. Nach Aktivierung kann Start RTSP in CaptureTool verwendet werden.

-i: IQ-Dateipfad; bei Pfadänderungen mit anpassen. Bei -r 0 kann er ignoriert werden.

-w/-h: Ausgabeauflösung der RTSP-Vorschau, ausgehend von der ISP-Ausgabe skaliert; Standard 1920/1080.

-n: Pufferanzahl für fortlaufende Online-Raw-Aufnahmen, Standard 4. Für viele aufeinanderfolgende Raw-Bilder sollte der Wert erhöht werden.

-f: Sendebildrate der Offline-Frame-Funktion; die Quelle nennt als Standard 10 frames.

3.3 Plattform und IP-Adresse einstellen

1. RKISP Tuner öffnen; das Anfangskonfigurationsfenster zeigt Abbildung 3-3-1.

Abbildung 3-3-1

1. Chip auswählen und die zuvor ermittelte IP eingeben. Standardport ist 5543; ohne besondere Anforderungen nicht ändern. rkaiq_tool_server muss korrekt laufen. Connect to rkaiq_tool_server anklicken. Für die Vorschau mit Fremdwerkzeugen verweist die Quelle auf Punkt 3 in Abschnitt 3.7.

1. OK anklicken; die Abstimmungsoberfläche des gewählten Chips und der Version zeigt 3-3-2.

Abbildung 3-3-2

3.4 Neue Sensorkonfiguration und IQ-Datei erstellen

1. File → New wählen.

Abbildung 3-4-1

Abbildung 3-4-2

1. New rechts neben der Sensorliste öffnet Sensor Information.

Abbildung 3-4-3

1. Sensor Information ausfüllen und File → Export To Sensor List wählen.

Abbildung 3-4-4

1. Sensornamen eingeben und die Konfiguration mit OK speichern.

Abbildung 3-4-5

1. Konfigurationsseite schließen. Im Fenster Generated New IQ File erscheint der neue Sensor in der Liste.

Abbildung 3-4-6

1. Sensor auswählen und mit Generate IQ File die IQ-Datei erzeugen.

3.5 Parameter laden, speichern und Szene auswählen

1. File → Open… wählen und die IQ-Datei auswählen.

Abbildung 3-5-1

1. Scene Selection zeigt die Szenengruppen der IQ-Datei. Gewünschte Szene auswählen und OK anklicken.

Abbildung 3-5-2

1. IQ-Datei und UI-Vorlage werden verglichen; Abweichungen erscheinen in Different Member List. Links unter Missing stehen in IQ fehlende Parameter. Rechts unter Existed stehen IQ-Parameter, die in der UI-Vorlage entfernt oder umbenannt wurden.

Abbildung 3-5-3

1. File → Save As… (3-5-4, 3-5-5) speichert die Parameter in der in Schritt 2 gewählten oder einer neuen Szene. Nur ausgewählte Module lassen sich speichern; rechts werden die geänderten Parameter angezeigt.

Abbildung 3-5-4

Abbildung 3-5-5

3.6 Sensorinformationen bearbeiten

1. IQ-Parameterdatei wie im vorherigen Abschnitt laden.

1. Tuning → Edit Sensor Information öffnet die Sensor-Info-Konfiguration.

Abbildung 3-6-1

Abbildung 3-6-2

1. File → Import From Sensor List wählen.

Abbildung 3-6-3

1. Sensor wie nachfolgend gezeigt auswählen.

Abbildung 3-6-4

1. Mit OK die Konfigurationsparameter importieren.

1. Sensor Information schließen.

1. Fehlt der Sensorname in der Liste, anhand des Sensordatenblatts eine neue Konfiguration in Sensor Information erstellen.

3.7 Raw- und YUV-Bilder aufnehmen

3.7.1 Raw-Bilder offline aufnehmen

1. Tools → RK Capture Tool wählen.

Abbildung 3-7-1-1

1. Geräte-IP prüfen und Device Status anklicken. Ist Tuner korrekt mit rkaiq_tool_server verbunden, erscheint Device is Ready.

Abbildung 3-7-1-2

1. Start RTSP Streaming aktiviert Kamera und RTSP-Videostream optional.

1) Android: Nach Start RTSP Streaming lässt sich rtsp://192.168.10.104:1234/v mit einem Fremdplayer öffnen. Die Kamera-APK auf dem Gerät wird dabei getrennt. Für deren Nutzung zuerst Stop RTSP Streaming und dann Switch To Tuning Mode wählen.

2) Linux: Andere laufende Kameraanwendungen auf dem Board beenden und danach ToolServer starten. Nach Start RTSP Streaming rtsp://192.168.10.104/live/0 mit einem Fremdplayer öffnen.

1. Namen des abzustimmenden Sensors auswählen.

Abbildung 3-7-1-3

1. Passende Auflösung, Lichtquelle und Modulnamen zur Unterscheidung auswählen.

1. Gain, Exposure Time, Anzahl und weitere Parameter einstellen.

1. Start Manual Capture anklicken.

1. Die Raw-Aufnahme erscheint rechts in Raw Preview & Statistics.

1. Dort stehen auch Histogramm, maximale/minimale/mittlere Helligkeit, globaler wb gain und weitere Daten.

1. Raw-Bilder werden standardmäßig unter ./raw_capture/module name/ gespeichert.

Abbildung 3-7-1-4: einzelne Raw-Aufnahme mit Gain=5x ExpTime=0.01s

3.7.2 YUV-Bilder online aufnehmen

1. Kameraanwendung öffnen und die Gerätevorschau prüfen.

1. ToolServer starten, IP im Werkzeug eingeben und verbinden.

1. Online Capture wählen und Sensor Name als Präfix des YUV-Dateinamens eingeben.

1. Für aufeinanderfolgende Aufnahmen die Anzahl in Frame Num einstellen.

1. Capture YUV anklicken. Das Bild wird angezeigt und unter raw_capture/yuv/ gespeichert (3-7-2-1).

Abbildung 3-7-2-1

3.7.3 Raw-Bilder online aufnehmen

1. Kameraanwendung öffnen und die Gerätevorschau prüfen.

1. ToolServer starten, IP im Werkzeug eingeben und verbinden.

1. Online Capture wählen und Sensor Name als Präfix des Raw-Dateinamens eingeben.

1. Für aufeinanderfolgende Aufnahmen die Anzahl in Frame Num einstellen.

1. Capture Raw anklicken. Das Bild erscheint in der Vorschau und wird unter raw_capture/ gespeichert (3-7-3-1).

Abbildung 3-7-3-1

Maximale Anzahl aufeinanderfolgender Online-Raw-Aufnahmen

Die maximale Frameanzahl hängt von den angeforderten Puffern ab und wird über -n in ToolServer eingestellt. Mehr Puffer erlauben mehr aufeinanderfolgende Aufnahmen. Sind weniger Puffer als Frames vorhanden, können Frames verloren gehen. Die zulässige Anzahl hängt außerdem von den Kernelpuffern und dem verfügbaren Speicher ab. Ein Kernelbeispiel folgt.

Das Patchbild ist nachfolgend vollständig abgeschrieben und bleibt zum Vergleich erhalten. Es handelt sich um ein Quellfragment, nicht um einen für beliebige Kernel geprüften Patch.

diff --git a/include/media/videobuf2-core.h b/include/media/videobuf2-core.h
index 3f4f171..ee359c5 100644
--- a/include/media/videobuf2-core.h
+++ b/include/media/videobuf2-core.h
@@ -19,7 +19,7 @@
 #include <linux/bitops.h>
 #include <media/media-request.h>

-#define VB2_MAX_FRAME (64)
+#define VB2_MAX_FRAME (128)
 #define VB2_MAX_PLANES (8)

 /**
diff --git a/include/uapi/linux/videodev2.h b/include/uapi/linux/videodev2.h
index d900af7..592fccc 100644
--- a/include/uapi/linux/videodev2.h
+++ b/include/uapi/linux/videodev2.h
@@ -70,7 +70,7 @@
 /*
  * Common stuff for both V4L1 and V4L2
  * Moved from videodev.h
  */
-#define VIDEO_MAX_FRAME        64
+#define VIDEO_MAX_FRAME        128
 #define VIDEO_MAX_PLANES       8

4 Kalibrierung erläutert

Die Kalibrierung jedes Moduls umfasst drei Schritte:

1. Aufnahme: Raw-Bilder der Kalibriertafel oder Szene mit für das Modul geeigneter Belichtung aufnehmen.

1. Berechnung: Raw-Bilder importieren und Kalibrierparameter berechnen. Einzelne Module erlauben bei Bedarf eine Feinabstimmung.

1. Bestätigung und Speicherung: Parameter anhand der Kriterien des jeweiligen Moduls prüfen.

4.1 Raw-Bilder aufnehmen

Die Quelle verweist auf 3.6; dort steht jedoch die Sensorbearbeitung, während die Aufnahme in 3.7 beschrieben wird. Die abweichende Verweisung ist dokumentiert.

4.2 BLC-Kalibrierung

4.2.1 Grundlagen

Aufgrund des Black Level liefert der Sensor auch ohne äußeres Licht eine Spannung, die vom Ausgangssignal abzuziehen ist. Dafür sind unbelichtete Pixel reserviert. Ihre Werte liefern den Optical Black Level in Echtzeit: Raw = Sensor Input - Optical Black Level.

Mit Blick auf das Signal-Rausch-Verhältnis wird üblicherweise ein grundlegender Pedestal berücksichtigt: Raw = Sensor Input - Optical Black Level - Pedestal.

Je nach Sensorkonfiguration lässt sich der endgültige BLC-Korrekturwert aus RAW-Aufnahmen einer vollständig dunklen Szene bestimmen.

Der Korrekturwert hängt hauptsächlich von Gain und Temperature ab und muss für verschiedene ISO-Werte separat kalibriert werden. BLC ist ein Offset, den andere Module bei der Kalibrierung abziehen müssen, um korrekte Parameter zu erhalten.

RV1106: Um bei Bayer2D/Bayer3D mehr dunkle Bildinformationen zu erhalten, ergänzt BLC die Sensor-OB-Konfiguration, also den genannten Pedestal. Einige Hersteller erlauben die Einstellung in der Treibersequenz, andere verwenden feste Werte. Diese lassen sich

im Datenblatt oder Treibercode nachschlagen. Ist der Wert schwer festzustellen, kann der Referenzwert aus 4.2.4 oder der bei Gain=1x berechnete mittlere BLC-Wert jedes Kanals verwendet werden.

4.2.2 Anforderungen an Raw-Bilder

1. Objektiv bei der Aufnahme lichtdicht abdecken.

1. Gain=1x, 2x, 4x, 8x, 16x…Max durchlaufen; unterstützt der Treiber maximal 40x, gilt Max=32.

1. Die Belichtungszeit beeinflusst die BLC-Kalibrierung nicht und kann einheitlich 10ms betragen.

4.2.3 Raw-Bilder aufnehmen

1. RK Capture Tool gemäß 3.1/3.2 öffnen und verbinden. Lichtquelle unknow (kein Licht), Modul BLC wählen.

1. Gerät oder Modul in eine dunkle Umgebung stellen und das Objektiv mit schwarzem Tuch oder Deckel dicht verschließen.

1. In Manual Exposure Step und 2^n aktivieren. Gemäß Gain Range Gain Begin=1.0, Gain End=Max und ExpTime=0.010 setzen.

1. Start Manual Capture nimmt Raw-Bilder in Schritten von Zweierpotenzen auf.

1. Raw-Bilder erscheinen rechts; mit der Auswahlliste das gewünschte Bild wählen.

Abbildung 4-2-3-1

4.2.4 Kalibrierablauf

Abbildung 4-2-4-1: BLC-Kalibrierergebnisse

1. In Calibration Tool links oben Edit Options öffnen und Raw-Abmessungen, Bittiefe und Bayer-Reihenfolge eingeben.

1. Auf der BLC-Seite Load Raw Files wählen und den Raw-Ordner auswählen.

1. Importierte Raw-Bilder erscheinen in der rechten Liste.

1. Calibrate starten. Bei RV1106 muss für die Linear-Kalibrierung zuerst Sensor OB eingegeben werden. Übliche Referenzwerte:

1. Die berechnete Black Level Curve erscheint im oberen Diagramm.

1. Die BLC-Werte stehen in der Tabelle; Save anklicken.

Hinweise:

1. Auf einfallendes Licht von Betriebs- und Statusanzeigen achten.

1. Ein falscher BLC-Wert beeinflusst alle nachfolgenden Module. Vor deren Kalibrierung die BLC-Ergebnisse prüfen.

4.3 LSC-Kalibrierung

4.3.1 Grundlagen

Luma Shading entsteht durch die optischen Eigenschaften des Objektivs. Als konvexe Linse betrachtet, bündelt sein Zentrum Licht stärker als die Ränder; der Sensor empfängt deshalb in der Mitte mehr Licht als in den Ecken. Für eine verzerrungsfreie Kamera folgt der Beleuchtungsabfall dieser Formel:

cos^4(theta)

4.3.2 Anforderungen an Raw-Bilder

1. Diffusor vor das Objektiv setzen oder DNP-Lichtkasten, Ulbrichtkugel beziehungsweise vergleichbare Ausrüstung verwenden.

1. Im Lichtkasten mit Normlicht aufnehmen; empfohlen sind HZ, A, CWF, TL84, D50, D65 und D75.

1. Gegen Flimmern von Wechsellicht die Belichtungszeit auf ein ganzzahliges Vielfaches von 10ms setzen.

1. Die maximale Raw-Helligkeit liegt bei etwa 200 (8bit); die minimale muss deutlich über dem zuvor kalibrierten Schwarzwert liegen.

1. Empfohlen wird der nachfolgend gezeigte Diffusor.

Abbildung 4-3-2-1: Opaldiffusor

4.3.3 Raw-Bilder aufnehmen

1. RK Capture Tool gemäß 3.1/3.2 öffnen, verbinden und LSC als Modul wählen.

1. Modul im Lichtkasten mit HZ-Licht betreiben und den Diffusor nah vor das Objektiv setzen.

1. HZ wählen, in Auto Exposure Search Exposure by Max Luma (8bit) und Anti Flicker (50hz) aktivieren. Rechts die maximale Zielhelligkeit auf 200±10% und Frame Number = 1 setzen.

1. Start Auto Capture wählen. Das Werkzeug sucht automatisch eine Belichtung bis zur vorgegebenen Maximalhelligkeit.

1. Lichtquelle auf A und ihren Namen auf A ändern. Schritt 4 für sämtliche Lichtquellen wiederholen.

Abbildung 4-3-3-1

4.3.4 Kalibrierablauf

1. In Calibration Tool links oben Edit Options öffnen und Raw-Größe, Bittiefe und Bayer-Reihenfolge eingeben.

1. LSC auswählen und mit Load Raw Files alle Raw-Bilder importieren.

1. Die importierten Bilder erscheinen im oberen Fenster.

1. Light Fall off auf 100% setzen.

1. Calibrate starten.

1. Nach der Kalibrierung auf der Ergebnisseite die Raw-Bilder aller Lichtquellen prüfen.

1. Save anklicken.

1. Light Fall off auf 70% ändern und Schritte 5–7 wiederholen.

Abbildung 4-3-4-1

Abbildung 4-3-4-2

Bei zu hellem oder zu dunklem Licht findet das Werkzeug eventuell keine passende Belichtung. Mögliche Abhilfen:

1. Helligkeit der Lichtquelle anpassen.

1. ND-Filter verwenden.

1. Objektivausrichtung ändern.

1. Gain Range oder Exp Range anpassen.

1. Maximale Helligkeit oder Schwellwert der automatischen Belichtung ändern.

1. Manuell belichten; als Mindestbedingung muss die minimale Helligkeit deutlich über dem zuvor kalibrierten Schwarzwert liegen.

4.4 AWB-Kalibrierung

4.4.1 Einführung

Kalibriert werden die Raw-Weißpunktbedingungen in XY, UV und YUV, die Parameter des einfachen Farbalgorithmus sowie Weißabgleichsverstärkungen unter Normlicht.

4.4.2 Anforderungen an Raw-Bilder

Vorbereitung der Raw-Aufnahme:

1. Ausrüstung: X-Rite 24 ColorChecker und Lichtkasten mit D75, D65, D50, TL84, CWF, A, HZ.

1. Belichtung so einstellen, dass der Maximalwert des hellsten weißen Felds bei [150-240] liegt, innerhalb dessen möglichst hell. Wird dasselbe Raw-Bild für CCM verwendet, sollte es dunkler sein.

1. ColorChecker belegt mehr als 1/9 des Bildes.

Raw-Aufnahmeverfahren:

1. RK Capture Tool gemäß 3.1/3.2 öffnen, verbinden und CCM_AWB wählen.

1. Gerät und ColorChecker im Lichtkasten so ausrichten, dass die Tafel möglichst groß in der Bildmitte liegt. Gerät nicht bewegen.

1. Lichtkasten einschalten und HZ wählen.

1. HZ wählen, in Auto Exposure Search Exposure By Max Luma (8bit) und Anti Flicker (50hz) aktivieren. Maximale Zielhelligkeit 200±10%, Frame Number = 1. Falls bei 1x Gain und ganzzahligen Vielfachen von 10ms kein Raw-Bild entsteht, Anti-Flicker (50hz) deaktivieren und erneut versuchen.

Abbildung 4-4-2-1

1. Start Auto Capture sucht automatisch eine passende Belichtung bis zur vorgegebenen Maximalhelligkeit.

1. Lichtquelle und Namen auf A ändern und die vorherigen Schritte für alle Lichtquellen wiederholen.

Beispiele der Kalibrier-Raw-Bilder nach dem Demosaicing:

Abbildung 4-4-2-2

4.4.3 Kalibrierwerkzeug

1. Weißpunktbedingungen im UV- und XY-Raum sowie TH im YUV-Raum einstellen.

Abbildung 4-4-3-1

Abbildung 4-4-3-2

1. Weißpunktbedingungen in UV und XY anpassen:

a) Vier Ecken des Weißpunktbereichs einer Lichtquelle im Koordinatensystem ziehen, um Lage und Größe zu ändern.

b) In freien Koordinatenbereichen ziehen, um den Anzeigebereich zu ändern.

c) Mit dem Mausrad den Maßstab ändern.

d) Exclude WPC Range legt Nichtweißpunktbereiche und zusätzliche Lichtquellen-Weißpunktbereiche fest.

1. AWB Simulation erkennt Weißpunkte im Originalbild, berechnet WB Gain und Weißpunktanzahl und bildet ausgewählte Pixel auf UV und XY ab, um die Bedingungen zu prüfen.

Abbildung 4-4-3-3

a) Nach dem Raw-Import mit LoadImage erscheinen Weißpunktinformationen. Unterschiedliche Lichtquellen haben unterschiedliche Farben. Die Anzahl im mittleren und großen Rahmen sowie aufsummierte RGain-/BGain-Werte erscheinen in WP Number, RGain und BGain.

Abbildung 4-4-3-4

b) Ein Klick ins Bild (schwarzer Pfeil) bildet den Punkt als schwarzes Quadrat in UV und XY ab. So lässt sich prüfen, ob er im Weißpunktbereich liegt. Angezeigt werden R G B U V X Y RGain BGain im roten Rahmen sowie u, th und die Abweichung vom Standardweißpunkt nach Zuordnung zu den Lichtquellen im YUV-Raum, in den drei grünen Spalten.

Abbildung 4-4-3-5

Abbildung 4-4-3-6

4.4.4 Kalibrierablauf

1. In Calibration Tool → Edit Options Raw-Abmessungen, sensor bpp und Bayer-Reihenfolge eingeben.

1. BLC und LSC müssen vor AWB abgeschlossen sein.

1. Mit Load Raw Files Raw-Bilder der sieben empfohlenen Lichtquellen A, CWF, D50, D65, D75, HZ und TL84 importieren.

1. Find Chart öffnet die Farbfeldsuche. Spiegelverkehrte Bilder lassen sich rechts mit Flip horizontal oder vertikal spiegeln.

Abbildung 4-4-4-1

a) Die roten Rahmenmittelpunkte oben links/rechts und unten links/rechts ziehen, bis die Statistikbereiche möglichst mittig in jedem Farbfeld liegen (4-4-4-1).

b) FindChart erkennt die Farbfelder aller Lichtquellen (4-4-4-2).

Abbildung 4-4-4-2

c) Andere Lichtquellen auswählen und die Erkennung prüfen. 4-4-4-4 zeigt ein korrektes, 4-4-4-3 ein falsch positioniertes Ergebnis. Bei Fehlern in Mode Find Current Chart wählen und a)/b) nur für diese Quelle wiederholen.

Abbildung 4-4-4-3

Abbildung 4-4-4-4

d) Mit save die Erkennung abschließen.

1. Calibrate benötigt laut Quelle etwa 30s und liefert anfängliche Weißpunktbedingungen und weitere Parameter. Die farbigen Punkte in UV/XY zeigen die ColorChecker-Feldwerte der Lichtquellen, die Rechtecke deren Weißpunktbedingungen.

Abbildung 4-4-4-5

Abbildung 4-4-4-6

1. In AWB Simulation nacheinander Raw-Bilder von A, CWF, D50, D65, D75, HZ und TL84 importieren und die Weißpunkterkennung prüfen.

1. Rahmen in UV/XY oder TH in YUV anpassen, um die Weißpunkterkennung aller Lichtquellen zu verbessern.

1. Save und danach Run Simulator in AWB Simulation wählen, um die Weißpunkterkennung der importierten Lichtquellenbilder anzusehen.

1. Schritte 6–8 wiederholen, bis die Erkennung aller Lichtquellen plausibel ist.

Hinweise:

1. Weißpunkte der Felder 19, 20, 21 und 22 möglichst innerhalb, Nichtweißpunkte außerhalb des Rahmens halten.

1. Die mittleren Rahmen aller Lichtquellen entlang des Schwarzkörperorts müssen in x-Richtung lückenlos sein. Fehlerbeispiel: kleine Abstände zwischen großen, aber große Abstände zwischen mittleren Rahmen.

Korrektes Beispiel:

1. In Y-Richtung des XY-Raums können A/HZ etwas kleiner und D50/D65 etwas größer sein.

1. CWF und TL84 mit sehr ähnlicher Farbtemperatur lassen sich in Y-Richtung benachbart anordnen.

1. Im UV-Raum dürfen zwischen den Lichtquellen keine Lücken liegen.

1. Lichtquellenbereiche dürfen sich überlappen, jedoch nicht gleichzeitig in XY und UV.

1. Beim Ausschließen von Nichtweißpunkten UV anhand der XY-Verteilung anpassen.

Beispielsweise liegt das markierte siebte D75-Feld im HZ-Bereich und wird fälschlich als Weißpunkt erkannt.

Nach der Anpassung gehört das siebte D75-Feld in xy und uv nicht mehr zur gleichen Lichtquelle und wird nicht als Weißpunkt erkannt.

1. Liegt ein Nichtweißpunkt in den Weißpunktbereichen von XY und UV, kann er durch Senken von TH oder Vergrößern des Nichtweißpunktbereichs ausgeschlossen werden.

1. Wird ein Punkt trotz Lage im XY-/UV-Weißpunktbereich nicht erkannt, kann er außerhalb des Helligkeitsbereichs, innerhalb eines Nichtweißpunktbereichs oder unter TH und damit außerhalb des YUV-Weißpunktintervalls liegen.

4.4.5 Beispiele der AWB-Kalibrierergebnisse

Endgültige Weißpunktbedingungen:

Abbildung 4-4-5-1

Weißpunkterkennung der einzelnen Lichtquellen:

Abbildung 4-4-5-1 A

Abbildung 4-4-5-2 CWF

Abbildung 4-4-5-3 D50

Abbildung 4-4-5-4 D65

Abbildung 4-4-5-5 D75

Abbildung 4-4-5-6 HZ

Abbildung 4-4-5-7 TL84

4.5 CCM-Kalibrierung

4.5.1 Anforderungen an Raw-Bilder

Raw-Anforderungen siehe 4.4; CCM kann AWB-Raw-Bilder verwenden. Da Gamma das CCM-Ergebnis beeinflusst, muss CCM nach einer Gamma-Änderung eventuell erneut angepasst werden. Siehe

4.5.2, Punkt 12.

4.5.2 CCM-Kalibrierablauf

1. In Calibration Tool CCM wählen und mit Load Raw Files alle Raw-Bilder importieren. Sie erscheinen in der Liste.

Abbildung 4-5-2-1

1. Find Chart öffnet die Farbfeldsuche.

Abbildung 4-5-2-2

1. Rote Rahmenmittelpunkte an den vier Ecken ziehen, sodass die Abtastbereiche mittig in jedem Farbfeld liegen.

1. Find Chart ermittelt die Farbfeldwerte und markiert die Statistikbereiche grün.

1. Für jede Lichtquelle der Liste die Statistikbereiche prüfen.

Abbildung 4-5-2-3

1. Nach der Suche mit Save speichern und schließen.

1. Sättigung auf 100% setzen, siehe 4-5-2-4.

Abbildung 4-5-2-4

1. Calibrate starten; laut Quelle dauert dies etwa 20s.

1. Nach Abschluss erscheinen die Berechnungsergebnisse auf der Ergebnisseite.

1. Save anklicken.

1. Sättigung auf 74% ändern und 8–10 wiederholen.

Abbildung 4-5-2-5

1. Ein zu großes ΔE kann von zu hellen Raw-Bildern kommen. Im ColorChecker rechts in 4-5-2-5 per Rechtsklick Save Current wählen und das gespeicherte Bild auf überbelichtete Felder oder gesättigte Kanäle prüfen. Die CCM-Kalibrierung nach Anwendung der Gamma-Kurve kann Farbfelder sättigen.

a) Bei Überbelichtung oder Sättigung die Belichtung reduzieren, die Tafel dieser Lichtquelle neu aufnehmen und erneut kalibrieren.

b) Bei normaler Farbfeldhelligkeit kommen fehlerhafte BLC-/LSC-Parameter, Lichteinfall am Objektiv durch Infrarotlicht oder ähnliche Ursachen infrage.

1. Konkrete Abstimmungsverfahren stehen in Rockchip_Color_Optimization_Guide.

4.6 NR-Kalibrierung

4.6.1 Anforderungen an Raw-Bilder

Raw-Aufnahmen für das NR-Modul:

1. Im Normlichtkasten aufnehmen, vorzugsweise mit dimmbarer Gleichstromlichtquelle.

1. Die Graustufen-Verlaufstafel aus 4-6-1-1 ist erforderlich.

Abbildung 4-6-1-1

1. Gain=1x, 2x, 4x, 8x, 16x…Max durchlaufen; bei unterstütztem Maximum 40x gilt Max=32.

1. Pro Gain vier Raw-Bilder aufnehmen: helles Mehrbild, helles Einzelbild, dunkles Mehrbild und dunkles Einzelbild.

1. Helle und dunkle Aufnahmebedingungen werden durch Belichtungszeit oder Lichthelligkeit eingestellt. Mehrbild- und Einzelbilddaten erzeugt das Werkzeug.

1. Alle folgenden Helligkeitswerte sind 8-bit-Werte.

1. Dunkle Aufnahmen: Das hellste Feld in 4-6-1-1 erreicht 30, damit Feldgrenzen sichtbar sind; bei Bedarf etwas erhöhen. Das dunkelste Feld erreicht Black-Level, was üblicherweise erfüllt ist, wenn das hellste gerade 30 erreicht.

1. Helle Aufnahmen: Das hellste Feld erreicht 255, das dunkelste üblicherweise etwa 60–70.

1. YNR Capture in RK Capture Tool sucht anhand der eingestellten Helligkeiten des dunkelsten und hellsten Felds automatisch passende Belichtungskombinationen.

4.6.2 Raw-Bilder aufnehmen

1. RK Capture Tool gemäß 3.1/3.2 öffnen und das Gerät verbinden.

1. Gerät oder Modul in den Lichtkasten stellen und die Verlaufstafel daran befestigen.

1. Gerät so ausrichten, dass die Verlaufstafel mittig liegt und das Bild möglichst ausfüllt.

1. Lichtkasten einschalten und TL84 oder CWF wählen.

1. Lichtquellenname auf TL84 oder CWF und Modulname auf NR_Normal setzen.

1. Bei einem Sensor mit Gain=1-24 werden 1x, 2x, 4x, 8x und 16x aufgenommen.

1. YNR Capture wählen und zunächst ein Raw-Bild aufnehmen. Rechts in der Vorschau per Rechtsklick Draw ROI wählen und nacheinander hellstes und dunkelstes Feld markieren, nachfolgend Weiß- und Schwarzfeld. Doppelklick zeichnet das Rechteck neu. Bild und Rechtecke fixieren und NR aufnehmen, siehe

Abbildung 4-6-2-1.

Abbildung 4-6-2-1

1. Dunkles Raw-Bild: Lichtkasten etwa 800lux, Gain Range 1.0 - 1.0, Exp Range unverändert. Multi-Frame und Low-Light aktivieren. In YNR Capture die Feldschwellen eintragen, FrameNumber=32. Black Block Mean Luma ist das Schwarzziel, zunächst BLC(8bit)+1; White Block Mean Luma ist das Weißziel, zunächst

30.

Abbildung 4-6-2-2

a) Start YNR Capture starten. Das Protokoll zeigt die Mittelwerte beider Rechtecke und die Belichtung. meanValue[0]: aktueller Schwarzwert; meanValue[1]: aktueller Weißwert; blackTarget: eingetragener Black Block Mean Luma; whiteTarget: eingetragener White Block Mean Luma.

b) Verhindert der Schwellwert die Aufnahme (4-6-2-3), das Protokoll prüfen. Die Quelle beschreibt unklar einen „meanValue[0], bei dem meanValue[1] gerade größer als whiteTarget ist“, der als Black Block Mean Luma einzutragen sei; gegen Rauschen könne meanValue[0] etwas erhöht werden (4-6-2-4). Diese mehrdeutige Vergleichsangabe bleibt als Prüfpunkt dokumentiert, ohne eine vermutete Korrektur.

Abbildung 4-6-2-3

Abbildung 4-6-2-4

c) Nach Ermitteln passender Schwellen Start YNR Capture erneut starten. Es entstehen Raw-Bilder mit den Suffixen Multiple und Single (4-6-2-5).

Abbildung 4-6-2-5

1. Helles Raw-Bild: Lichtkasten etwa 800lux, Gain Range 1.0 - 1.0, Exp Range unverändert. Multi-Frame und High-Light aktivieren. In YNR Capture Black Block Mean Luma zunächst 60, White Block Mean Luma fest 255 und FrameNumber=32 setzen.

Abbildung 4-6-2-6

a) Nach Start YNR Capture protokolliert jede Belichtungsänderung ROI-Mittelwert, Belichtung und Gain. meanValue[0] ist das dunkelste, meanValue[1] das hellste Feld; blackTarget und whiteTarget entsprechen den eingetragenen Black Block Mean Luma beziehungsweise White Block Mean Luma.

b) Erreicht das hellste Feld trotz maximaler Belichtung und Verstärkung keine 255 (4-6-2-7), die Lichtkastenhelligkeit manuell ändern und Start YNR Capture erneut ausführen. Bei erfüllten Bedingungen entstehen Multiple-/Single-Raw-Bilder (4-6-2-8).

Abbildung 4-6-2-7

Abbildung 4-6-2-8

1. Gain Range auf 2x ändern und 8/9 für sämtliche Gain-Stufen wiederholen.

1. Mit steigendem Gain beeinflusst Rauschen die Schwarzschwelle stärker. Sie kann anhand des Protokolls leicht angepasst werden.

4.6.3 Kalibrierablauf

GIC & BayerNR und YNR & MFNR verwenden denselben Raw-Bildsatz:

1. In Calibration Tool links oben Edit Options öffnen und Raw-Größe, Bittiefe und Bayer-Reihenfolge eingeben.

1. Auf GIC & Bayer NR mit Load Raw Files alle Raw-Bilder importieren. Sie erscheinen unten in der Liste.

1. Mit Find ROI die Verlaufstafel markieren (4-6-3-1). Das Rechteck muss innerhalb des Farbfelds liegen.

Abbildung 4-6-3-1

1. Calibrate starten.

1. Die BayerNR-Rauschkurve erscheint nach Abschluss rechts (4-6-3-2).

Abbildung 4-6-3-2

1. Save anklicken.

1. Auf YNR&MFNR mit Load Raw Files alle Raw-Bilder importieren; sie erscheinen unten.

1. Calculate YUV verarbeitet Raw-Bilder mit dem Simulator zu YUV.

1. Calibrate starten. Vorher YNRCurve Print aktivieren, um Parameter und Abtastpunkte jedes iso zu speichern.

1. Die YNR-Rauschkurve erscheint rechts (4-6-3-3).

1. Save anklicken.

Abbildung 4-6-3-3

Weicht die Rauschkurve stark von 4-6-3-3 ab, können helle oder dunkle Aufnahmen falsch belichtet sein. Fehler links betreffen die dunklen, rechts die hellen Aufnahmen. Zu hohe oder niedrige Farbtemperaturen können Calculate YUV verfälschen. Reicht die minimale Lichtkastenhelligkeit nicht aus, kann eine lichtdämpfende Folie helfen.

4.7 FEC/LDCH

FEC/LDCH benötigt eine map table mit x/y-Bildkoordinaten nach dem Downsampling. Für ihre Ermittlung werden Objektivparameter, ein Satz Schachbrettaufnahmen und das Kalibrierwerkzeug benötigt.

4.7.1 Anforderungen an Kalibrierbilder

Die Schachbrettgröße ist variabel; unterstützt werden jpg, bmp und png. Verfahren 1: ein Schachbrett pro Bild, höhere Präzision, empfohlen. Verfahren 2: n Schachbretter je Bild, zur bequemeren Kalibrierung n=4.

1. Vorbereitung

(1) Eine standardisierte Kalibriertafel verwenden. Beim Selbstdruck auf reale Abmessungen und eine plane Fläche achten, möglichst auf einer ebenen Platte befestigen. Unterschiedliche horizontale und vertikale Feldanzahlen erleichtern die Richtungserkennung.

(2) Bei mäßiger Beleuchtung müssen alle Blickwinkel scharf und frei von Reflexionen oder Unschärfe sein. Während des gesamten Ablaufs Blende und Brennweite unverändert lassen, damit Lichteinfall und Brennweite konstant bleiben.

1. Aufnahmeregeln

(1) Das Schachbrett sollte etwa 1/4 bis 1/8 des Sichtfelds belegen.

(2) Alle Aufnahmen zusammen müssen das Sichtfeld abdecken, üblicherweise etwa 15 Bilder. Zu wenige verschlechtern die Parameter. Je Position 3–4 Bilder erleichtern Auswahl und Ersatz ungeeigneter Aufnahmen.

(3) Die Tafel gleichmäßig über Bereiche und Ecken verteilen; die Quelle verweist auf 2-1. Am Sichtfeldrand möglichst nahe heranrücken, aber nicht aus dem Bild geraten lassen.

(4) Unterschiedliche Neigungen aufnehmen, nicht nur parallel zur Objektivebene.

1. Aufnahmebeispiele

Zwei Verfahren: (1) empfohlenes Verfahren 1 mit vier Bildern, deren Schachbrett oben links/rechts und unten links/rechts liegt; die Reihenfolge ist beliebig.

Abbildung 4-7-1-1

(2) Verfahren 2: ein Bild mit Schachbrettern in allen vier Ecken.

Abbildung 4-7-1-2

4.7.2 Kalibrierablauf

Abbildung 4-7-2-1

1. In Raw Options die Auflösung einstellen; Bit und Bayer Pattern können ignoriert werden.

1. Kalibrierbildordner importieren; jpg, bmp und png werden unterstützt.

1. Kalibrierparameter anpassen.

a) Square Size: reale Feldgröße, üblicherweise 30mm oder 25mm.

b) Horizontal/Vertical: Anzahl innerer Eckpunkte in horizontaler beziehungsweise vertikaler Richtung.

c) Check Board Number: Schachbrettanzahl je Bild, 1 oder 4.

d) Level: 256 Korrekturstufen. Bei Level = 0 hat die Tabelle keine Korrekturwirkung, Ausgabe gleich Eingabe. Level = 255 ist die maximal erreichbare LDCH-Korrektur.

e) Correct Direction für FEC: i. Nur Correct X korrigiert horizontal, ähnlich LDCH. ii. Nur Correct Y korrigiert vertikal. iii. Correct X und Correct Y korrigieren beide Richtungen.

1. Calibrate starten.

1. Ergebnisse speichern.

Ecken und innere Ecken zeigt 4-7-2-2. Bei 12 horizontalen und 9 vertikalen Feldern gibt es horizontal 13 Eckpunkte und 11 innere Eckpunkte. Daher Horizontal = 11 und Vertical = 8.

Abbildung 4-7-2-2: Eckpunkte und innere Eckpunkte

Eckpunkte umfassen rote und grüne, innere Eckpunkte nur rote Markierungen.

Hinweise:

1. Neben Calibration Tool muss ein Ordner result vorhanden sein; gegebenenfalls anlegen.

1. Der äußerste Schachbrettring wird mitberechnet. Seine schwarzen und weißen Felder dürfen bei der Aufnahme nicht vollständig durch die Vorschau verdeckt werden.

1. Horizontale Eckpunktanzahl: horizontale Anzahl schwarzer/weißer Felder minus 1.

1. Vertikale Eckpunktanzahl: vertikale Anzahl schwarzer/weißer Felder minus 1.

1. FEC korrigiert standardmäßig beide Richtungen; bei der Kalibrierung kann die Richtung gewählt werden.

1. Den Bildordner möglichst nach Sensorname + Objektivname/Brennweite + Auflösung benennen. Das Werkzeug erzeugt unter diesem Namen den Kalibrierdateiordner.

4.7.3 Beispiele der Kalibrierergebnisse

1. Fehlgeschlagene Kalibrierungen entstehen meist durch unscharfe Schachbretter mit ungenauen oder unvollständigen Eckpunkten. Alle Bilder prüfen; mindestens 3 müssen vollständig erkannt sein.

1. Bei Erfolg erscheint 4-7-3-1. Im log links stehen von oben nach unten sechs Parameter: Kamerazentrum cx, cy und Verzerrungsparameter a0, a2, a3, a4.

1. Unter result die Eckpunkterkennung jedes Bilds prüfen. Ungeeignete Bilder löschen und erneut kalibrieren. FEC-/LDCH-Abbildungstabellen liegen im zugehörigen Unterordner von result.

Abbildung 4-7-3-1

5 Online-Abstimmung

5.1 Abstimmungsoberfläche

Abbildung 5-1-1: Hauptoberfläche von RKISP Tuner v2

5-1-1 zeigt den typischen Zustand nach Laden der Oberfläche und Importieren der IQ-Parameter. Die Markierungen bedeuten:

1. Modulbaum: normal: day oben bezeichnet die beim IQ-Laden gewählte Szene; normal ist die Haupt-, day die Unterszene.

1. ISP-Module: Eine Szene kann mehrere Module mit mehreren Seiten enthalten.

1. Abstimmungsseite: Ein Modulknoten kann mehrere Seiten mit mehreren Abstimmungseinheiten enthalten.

1. Abstimmungseinheit: etwa InitExp mit 5 numerischen Mitgliedsparametern.

1. Lese-/Schreibschaltflächen der Einheit greifen online auf alle ihre Parameter zu.

1. Automatisches Schreiben: Bei Verbindung mit rkaiq_tool_server wird jede Parameteränderung automatisch an das Gerät gesendet und wirksam.

1. Lese-/Schreibschaltflächen für die gesamte Seite oder das Modul.

1. Undo/Redo macht die letzte Änderung rückgängig. Bei aktiviertem AutoWrite wird auch das Gerät synchronisiert.

1. Suche: Seite eines Parameters anhand eines Schlüsselworts finden.

5.2 Plattform- und Netzwerkkonfiguration

Beim ersten Start oder über Project → Network and Platform Settings das Plattform-/Netzwerkfenster öffnen.

Abbildung 5-2-1

1. Platform Setting lädt je Chip andere Oberflächenkonfigurationen. Die Zuordnung steht in config/config.ini.

1. Network Config stellt die Geräteadresse ein. Standardport 5543 nur bei besonderem Bedarf ändern.

Connect versucht die Verbindung zu rkaiq_tool_server auf dem Gerät; der Dienst muss korrekt laufen.

5.3 Register und Algorithmusparameter

Jede Abstimmungseinheit enthält Register- oder Algorithmusparameter. Je nach Form und Wertebereich gibt es vier typische Bedienelemente:

1. Zahlen: Ganzzahl oder Gleitkommawert mit Wertebereich. Direkt eingeben, Pfeiltasten oder den rechten Schieberegler verwenden.

Abbildung 5-3-1

1. Boolean: 0/1 für Funktionsschalter; Enable = 1, Disable = 0.

Abbildung 5-3-2

1. Liste: vordefinierte Optionen für Modi, ISO, Day/Night und LCG/HCG.

Abbildung 5-3-3

1. Tabelle: NxM-Matrix aus Ganzzahl- oder Gleitkommaelementen, geöffnet mit Show data oder Enter Array Table.

Abbildung 5-3-4

5.4 Gamma-Parameter online abstimmen

5.4.1 Visuelle Gamma-Abstimmung

1. Auf GammaTuningPara für Gamma_Curve Edit Curve wählen, um die visuelle Abstimmung zu öffnen (5-4-1-1).

Abbildung 5-4-1-1: Gamma-Oberfläche

1. Funktionen der visuellen Oberfläche in 5-4-1-2:

1) Kurvenbereich: Rote Punkte ziehen. Bei AutoWrite wird jede Änderung sofort auf das Board geschrieben.

2) Curve Coeff erzeugt Gamma-Kurven anhand von Koeffizienten. Eine Änderung erzeugt automatisch eine neue Kurve und kann die manuell angepasste überschreiben.

1. Position Control: Beim Zeigen auf einen Punkt aktualisieren sich X und Y. Y lässt sich manuell setzen.

1. Control Point Number: Anzahl der Kontrollpunkte, wahlweise 49, 45, 24 oder 13.

1. Axis Range ändert den Maßstab von X und Y, besonders für dicht liegende Punkte im dunklen Bereich.

1. Export/Import speichert Gamma-Kurven in Dateien oder liest sie daraus.

Abbildung 5-4-1-2: visuelles Gamma-Abstimmungsfenster

5.4.2 Gamma-Kurve abstimmen

Blau zeigt die ursprüngliche, Rot die aktuelle Kurve. Über einem roten Punkt erscheint ein Auf-/Ab-Pfeil. Beim vertikalen Ziehen folgt die rote Kurve der Punktposition (5-4-2-1).

Abbildung 5-4-2-1: Kurve nach Ziehen des Punkts

Gamma Coeff in Curve Coeff auf 1.5 setzen und Enter drücken. Daraus entsteht eine neue Kurve (5-4-2-2).

Abbildung 5-4-2-2: Kurve anhand von Koeffizienten

6 Weitere Funktionen

6.1 IQ-Datei importieren

File Transfer → Send File To Device wählen, IQ-Datei und Speicherpfad auf dem Gerät angeben und Send anklicken. Nach der Übertragung liegt die Datei im Zielpfad (6-1-1).

Abbildung 6-1-1: Übertragungspfad festlegen

Abbildung 6-1-2: Datei erfolgreich übertragen

6.2 Offline-Raw-Simulation

Diese Funktion überträgt Raw-Bilder zurück auf das Board und verarbeitet sie mit dem ISP.

1. File → Send RAW Image To Device öffnet die Konfiguration.

Abbildung 6-2-1: Raw-Konfigurationsseite öffnen

1. Mit Add Raw-Dateien laden.

Abbildung 6-2-2: Raw-Bilder laden

Nur .rkraw mit internen Daten compact+align256 wird unterstützt. Andere Formate lassen sich mit RKRAW Tool stapelweise konvertieren. Bei Raw-Aufnahmen außerdem RKRawV2 in config.ini auf 1 setzen. Die Quelle verweist für Online-Raw auf 3.7.2; tatsächlich steht Raw in 3.7.3. Die Abweichung ist dokumentiert.

1. Send überträgt Raw zum Gerät und erzeugt eine Konfigurationsdatei unter /tmp.

Abbildung 6-2-3: Raw zum Gerät senden

1. Fenster offen lassen und die Kameraanwendung neu starten. Nach Erkennen der Konfigurationsdatei wechselt das Gerät in die Offline-Simulation. Schritt 4 fehlt in der Quelle; die ursprüngliche Nummerierung ist mit Hinweis erhalten.

1. Run startet die Simulation.

1. Raw-Bilder werden nacheinander zum ISP gesendet. Verarbeitete Bilder erscheinen in der Kameravorschau. Online-Parameterlesen/-schreiben und YUV-Aufnahmen bleiben möglich.

1. Zum Wechseln der Raw-Dateien:

1) Stop pausiert die Offline-Simulation.

2) Mit Add Raw-Dateien laden.

3) Mit Send Raw-Dateien senden.

4) Run startet die Offline-Simulation.