Eigene 3A-Algorithmen für Rockchip ISP30: AE-, AWB- und AF-APIs und Statistiken

Dieser Artikel bewahrt den vollständigen technischen Hauptteil (PDF-Seiten 5–46) der 46-seitigen englischen Quelle V1.1.0 mit vollständigen chinesischen, russischen und deutschen Übersetzungen. Ein entsprechendes chinesisches PDF wurde nicht bereitgestellt. Alle Sprachfassungen verwenden die 14 Originalabbildungen aus dem englischen PDF; darin bereits vorhandene chinesische Oberflächenbeschriftungen bleiben erhalten. Code, Kommentare, APIs, Parameter, Registerwerte und Beispielkonstanten bewahren den Quelltext; Bildunterschriften und Fließtext sind lokalisiert.

Der Produktumfang und die Betriebssystemunterstützung der Quelle werden nachfolgend wiedergegeben. Sie dokumentieren den Stand der Quelle und bestätigen nicht die Kompatibilität aller aktuellen Versionen. Dies ist eine Plattformreferenz für ArmSoM: Prüfen Sie tatsächliches Board, RK3588, Sensor/VCM, ISP30, SDK/BSP, AIQ und Kernelversion. Es wurde keine Hardwarevalidierung auf ArmSoM durchgeführt. Übertragen Sie die Beschreibung gemischter RK-/eigener Bibliotheken nicht auf ungeprüfte Versionen. Belichtung, Verstärkung, Fokus und Motorsteuerung können Bildaufnahme oder Hardwarezustand verändern; es wurden weder Code noch Gerätekonfigurationen oder Motorbewegungen ausgeführt.

Hinweise zur Quelle: Wiederholte Schnittstellenbeschreibungen und Überschriften, gemischte uapi-/uapi2-Namen, ein ISP32-Querverweis, zwei beschädigte Tabellenbeschreibungen und widersprüchliche Fensterparameter bleiben erhalten und sind dokumentiert. Der Code ist ein Quellbeispiel ohne Garantie der Kompilierbarkeit. Siehe die redaktionellen Prüfnotizen.

Quellen- und Anpassungshinweise: Redaktionelle Prüfnotizen. ArmSoM · Rockchip Linux

1 Überblick

Dieses Dokument erläutert vor allem die Implementierung von 3A-Bibliotheken und führt durch die Entwicklung eigener 3A-Algorithmusbibliotheken.

Die 3A-Algorithmusbibliothek hängt von AIQ ab. AIQ enthält bereits die 3A-Algorithmusbibliothek von RK, die standardmäßig aktiviert ist. Bei Bedarf können Benutzer nach diesem Dokument eigene 3A-Bibliotheken implementieren.

1.1 Entwurfsprinzip

Das grundlegende Entwurfsprinzip zeigt folgende Abbildung:

Technische Abbildung aus der englischen Quelle, PDF-S. 5.

Die 3A-Bibliothek wird bei der ISP-Bibliothek registriert. Die 3A-Bibliothek von RK ist bereits implizit registriert und muss vom Benutzer nicht ausdrücklich registriert werden.

Nach der Registrierung empfängt die ISP-Bibliothek die 3A-Statistiken vom Treiber und ruft die Schnittstelle der 3A-Bibliothek auf, um neue 3A-Parameter zu erhalten. Anschließend übergibt sie diese Parameter an den Treiber.

1.2 Dateiorganisation

Die Dateiorganisation zeigt folgende Abbildung:

Technische Abbildung aus der englischen Quelle, PDF-S. 6.

Die ISP-Firmware gliedert sich in die Anwendungsschicht librkaiq.so und die Treiberschicht mit ISP- und Peripherietreibern, einschließlich Sensor, VCM und Blitzlicht.

librkaiq.so enthält zahlreiche Algorithmusbibliotheken, etwa für 3A und HDR. Diese liegen als statische Bibliotheken vor und werden schließlich zu librkaiq.so gelinkt. Außer für die 3A-Bibliotheken librkaiq_ae/awb/af.a, deren Quellcode nicht bereitgestellt wird, ist der Quellcode der übrigen Basisbibliotheken offen.

Die Algorithmusbibliotheken sämtlicher vom Framework unterstützten Module können kundeneigene Algorithmen verwenden. Abgesehen von der anzupassenden 3A-Bibliothek können jedoch normalerweise die von RK bereitgestellten Standardbibliotheken eingesetzt werden.

1.3 Entwicklungsmodi

Die folgenden drei Entwicklungsmodi werden unterstützt:

Die 3A-Bibliothek verwendet die RK-Bibliothek. Dabei stehen die 3A-Bibliotheks-APIs von RK zur Verfügung, darunter rk_aiq_user_api2_ae.h, rk_aiq_user_api2_af.h und rk_aiq_user_api2_awb.h.

Die 3A-Bibliothek verwendet teilweise die RK-Bibliothek und teilweise eine eigene Bibliothek. Beispielsweise kann AE eine eigene Bibliothek verwenden, während AWB die RK-Bibliothek nutzt.

Eigene 3A-Bibliothek und RK-Bibliothek werden gleichzeitig verwendet. Läuft beispielsweise eine eigene AE-Bibliothek zusammen mit der RK-Bibliothek, wird zuerst RK AE und anschließend die eigene AE-Bibliothek ausgeführt. Deren Ergebnis überschreibt das RK-AE-Ergebnis. Dieser Modus vereinfacht die Entwicklung: Die eigene Bibliothek muss nicht alle vom AIQ-Framework benötigten Ergebnisse liefern; einen Teil kann RK AE bereitstellen.

1.4 Softwareabläufe

1.4.1 Grundablauf

Der RK-3A-Algorithmus muss nicht ausdrücklich registriert werden, da dies implizit im AIQ-Framework geschieht. Die Registrierung eines eigenen 3A-Algorithmus wird am Beispiel von AE durch folgenden Pseudocode veranschaulicht:

// Initialize the usage scenario, not required, defaults to normal, day, which is used to select scene parameters in the JSON IQ file
if (work_mode == RK_AIQ_WORKING_MODE_NORMAL)
        ret = rk_aiq_uapi2_sysctl_preInit_scene(sns_entity_name, "normal",
"day");
  else
        ret = rk_aiq_uapi2_sysctl_preInit_scene(sns_entity_name, "hdr", "day");
// Depending on whether the usage pattern is surround view or single camera, initialize Group Ctx or AIQ ctx
   if (!group_mode)
        ctx->aiq_ctx = rk_aiq_uapi2_sysctl_init(sns_entity_name, ctx->iqpath,
NULL, NULL);
  else {
       rk_aiq_camgroup_instance_cfg_t camgroup_cfg;
       memset(&camgroup_cfg, 0, sizeof(camgroup_cfg));
       camgroup_cfg.sns_num = 1;
       camgroup_cfg.sns_num++;
       camgroup_cfg.sns_ent_nm_array[0] = sns_entity_name;
       camgroup_cfg.sns_ent_nm_array[1] = sns_entity_name2;
       camgroup_cfg.config_file_dir = ctx->iqpath;
       camgroup_cfg.overlap_map_file = "srcOverlapMap.bin";
       ctx->camgroup_ctx = rk_aiq_uapi2_camgroup_create(&camgroup_cfg);
  }
// If you need to register a custom AE algorithm, register a custom AE callback
  rk_aiq_customeAe_cbs_t cbs = {
                           .pfn_ae_init = custom_ae_init,
                           .pfn_ae_run = custom_ae_run,
                           .pfn_ae_ctrl = custom_ae_ctrl,
                           .pfn_ae_exit = custom_ae_exit,
                       };
  rk_aiq_uapi2_customAE_register((const rk_aiq_sys_ctx_t*)(ctx->camgroup_ctx),
&cbs);
// If you need to run a third-party AE algorithm, enable the custom AE algorithm. Third-party AE library registration interface, single camera and surround view shared.
//In the current AIQ version, both the default RK algorithm and the third-party algorithm will run, and if necessary, you can call rk_aiq_uapi2_sysctl_enableAxlib to force off RK AE.
  rk_aiq_uapi2_customAE_enable((const rk_aiq_sys_ctx_t*)(ctx->camgroup_ctx),
true);
// Prepare the ISP pipeline and configure initialization parameters such as ISP and Sensor
// If necessary, you can call the module API before prepare to modify the module initialization parameters, otherwise the initialization parameters are specified by the IQ file, or are specified by hard code in AIQ, or the chip reset value
 if (!group_mode) {
      rk_aiq_uapi2_sysctl_prepare(ctx->aiq_ctx, ctx->width, ctx->height,
work_mode);
      rk_aiq_uapi2_sysctl_start(ctx->aiq_ctx );
 } else {
      rk_aiq_uapi2_camgroup_prepare(ctx->camgroup_ctx, work_mode);
      ret = rk_aiq_uapi2_camgroup_start(ctx->camgroup_ctx);
 }
// Turn on the VI data flow and note that no AIQ library interfaces are called in this section.
start_capturing(ctx);
......
// AIQ internal thread loop work: obtain 3A statistics from the driver, call each algorithm library to calculate new ISP parameters, sensor parameters, etc., and issue new parameters to ISP drivers and sensor drivers.
// This procedure calls the API to set parameters for each algorithm module
......
// Stop the data flow first on exit
stop_capturing(ctx);
// Stop AIQ ctx or Group ctx
 if (!group_mode)
       rk_aiq_uapi2_sysctl_stop(ctx->aiq_ctx, false);
else
       rk_aiq_uapi2_camgroup_stop(ctx->camgroup_ctx);
// Anti-register third-party AEs
 rk_aiq_uapi2_customAE_unRegister(ctx->aiq_ctx);
// Deinitialize AIQ ctx or Group ctx
 if (!group_mode)
        rk_aiq_uapi2_sysctl_deinit(ctx->aiq_ctx);
else
       rk_aiq_uapi2_camgroup_destroy(ctx->camgroup_ctx);

1.4.2 Interne Abläufe

Die internen Abläufe von AIQ zeigt folgende Abbildung:

Technische Abbildung aus der englischen Quelle, PDF-S. 9.

Thread zum Abrufen der Statistiken: Er liest fortlaufend 3A-Statistiken vom ISP-Treiber und sendet sie an den 3A-Berechnungsthread.

3A-Berechnungsthread: Nach Empfang der Statistiken ruft er die Modulalgorithmen einschließlich Drittanbieter-Callbacks auf, berechnet neue Parameter und sendet diese an den Thread zur ISP-Parametereinstellung und den SOF-Thread.

Thread zur ISP-Parametereinstellung: Nach Empfang einer neuen Einstellungsanforderung übermittelt er die Parameter zum geeigneten Zeitpunkt an den ISP-Treiber.

SOF-Thread: Dieser Thread reagiert auf das Frame-Start-Ereignis des Sensors. Er empfängt neue Belichtungseinstellungen und übergibt die neuen Belichtungsparameter aus der Warteschlange an den Sensortreiber.

2 Entwicklerleitfaden

2.1 AE-Algorithmus registrieren

Der Registrierungsablauf umfasst Registrierung, Aktivierung und Abmeldung des Algorithmus. Die Registrierung erfolgt durch Aufruf von rk_aiq_uapi_customAE_register, die Aktivierung über rk_aiq_uapi_customAE_enable und die Abmeldung durch Aufruf von rk_aiq_uapi_customAE_unRegister.

2.1.1 rk_aiq_uapi2_customAE_register

【Beschreibung】 AE-Algorithmusbibliothek registrieren

【Syntax】

XCamReturn
rk_aiq_uapi2_customAE_register(const rk_aiq_sys_ctx_t* ctx,
rk_aiq_customeAe_cbs_t* cbs)

【Parameter】

【Rückgabewert】

2.1.2 rk_aiq_uapi2_customAE_enable

【Beschreibung】 AE-Algorithmusbibliothek registrieren

【Syntax】

XCamReturn
rk_aiq_uapi2_customAE_enable(const rk_aiq_sys_ctx_t* ctx, bool enable);

【Parameter】

【Rückgabewert】

2.1.3 rk_aiq_uapi2_customAE_unRegister

【Beschreibung】 AE-Algorithmusbibliothek registrieren

【Syntax】

XCamReturn
rk_aiq_uapi2_customAE_unRegister(const rk_aiq_sys_ctx_t* ctx);

【Parameter】

【Rückgabewert】

2.1.4 Callback-Funktionen und Datentypen

In der selbst entwickelten AE-Bibliothek müssen folgende Callback-Funktionen implementiert werden:

rk_aiq_customeAe_cbs_t cbs = {
.pfn_ae_init = custom_ae_init,
.pfn_ae_run = custom_ae_run,
.pfn_ae_ctrl = custom_ae_ctrl,
.pfn_ae_exit = custom_ae_exit,
};

2.1.4.1 custom_ae_init

【Beschreibung】 AE-Algorithmusbibliothek initialisieren

【Syntax】

int32_t custom_ae_init(void* ctx);

【Parameter】

【Rückgabewert】

2.1.4.2 custom_ae_run

【Beschreibung】 AE-Algorithmusbibliothek ausführen, um Belichtungszeit und Verstärkung des Sensors sowie die digitale ISP-Verstärkung zu berechnen und die Hardwarekonfigurationsparameter zu aktualisieren

【Syntax】

int32_t custom_ae_run(void* ctx, const rk_aiq_customAe_stats_t* pstAeInfo,
                      rk_aiq_customeAe_results_t* pstAeResult);

【Parameter】

【Rückgabewert】

2.1.4.3 custom_ae_ctrl

【Beschreibung】 Internen Zustand der Algorithmusbibliothek ändern; derzeit nicht verwendbar

【Syntax】

int32_t custom_ae_ctrl(void* ctx, uint32_t u32Cmd, void *pValue);

【Parameter】

【Rückgabewert】

2.1.4.4 custom_ae_exit

【Beschreibung】 AE-Algorithmusbibliothek abmelden

【Syntax】

int32_t custom_ae_exit(void* ctx)；

【Parameter】

【Rückgabewert】

2.1.5 Eingabedatenparameter

【Beschreibung】

Die Eingabedatenparameter einer Drittanbieter-AE umfassen Bildhelligkeitsstatistiken und zugehörige Belichtungsparameter. Sie unterstützen Einzelkamera- und Surround-View-Anwendungen. 【Definition】

#define RK_AIQ_MAX_HDR_FRAME (3)
typedef struct rk_aiq_customAe_stats_s
{
    //hw stats
    Aec_Stat_Res_t rawae_stat[RK_AIQ_MAX_HDR_FRAME]; // before awb gain
    Aec_Stat_Res_t extra; // after awb gain, lsc, TMO
    //exposure
    RkAiqExpParamComb_t linear_exp;
    RkAiqExpParamComb_t hdr_exp[RK_AIQ_MAX_HDR_FRAME];
    struct rk_aiq_customAe_stats_s* next; // for surround view(multiple cams)
} rk_aiq_customAe_stats_t;

【Mitglieder】

【Beschreibung】

Die Eingabedatenparameter umfassen zwei Arten von Parametern: die Hardwarestatistiken des Bildes und die dazugehörigen Belichtungsparameter.

Die Eingabedatenparameter unterstützen Einzelkamera- und Surround-View-Mehrkamera-Anwendungen. Über den Zeiger next lassen sich die Eingabedaten mehrerer Kameras abrufen.

Der Datentyp der Bildhardwarestatistiken ist Aec_Stat_Res_t, derjenige der Belichtungsinformationen RkAiqExpParamComb_t. Einzelheiten enthält Rockchip_Development_Guide_ISP30.

RK_AIQ_MAX_HDR_FRAME gibt an, dass RK HDR mit bis zu 3 Bildern unterstützt.

2.1.6 Ausgabeparameter des Algorithmusergebnisses

【Beschreibung】

Die Ausgabeparameter einer Drittanbieter-AE umfassen Belichtungsparameter, Hardwareparameter usw. und unterstützen Einzelkamera- und Surround-View-Anwendungen.

【Definition】

#define RK_AIQ_MAX_HDR_FRAME (3)
typedef struct rk_aiq_i2c_data_s {
    bool bValid;
    unsigned int nNumRegs;
    unsigned int* pRegAddr;
    unsigned int* pRegValue;
    unsigned int* pDelayFrames;
} rk_aiq_i2c_data_t;
typedef struct rk_aiq_customeAe_results_singel_s
{
    //exposure result (including:reg value & real value)
    RkAiqExpParamComb_t linear_exp;
    RkAiqExpParamComb_t hdr_exp[RK_AIQ_MAX_HDR_FRAME];
    rk_aiq_i2c_data_t exp_i2c_params;
    //hw result
    struct window meas_win;
    unsigned char meas_weight[15 * 15];
    struct rk_aiq_customeAe_results_singel_s* next; // for surround view(multiple
cams)
} rk_aiq_customeAe_results_single_t;
typedef struct rk_aiq_customeAe_results_s
{
    //exposure result (including:reg value & real value)
    RkAiqExpParamComb_t linear_exp;
    RkAiqExpParamComb_t hdr_exp[RK_AIQ_MAX_HDR_FRAME];
    rk_aiq_i2c_data_t exp_i2c_params;
    //hw result
    struct window meas_win;
    unsigned char meas_weight[15 * 15];
    RkAiqIrisParamComb_t Iris;
    uint32_t frame_length_lines;
    bool is_longfrm_mode;
    struct rk_aiq_customeAe_results_singel_s* next; // for surround view(multiple
cams)
} rk_aiq_customeAe_results_t;

【Mitglieder】

【Hinweise】

Die Algorithmusergebnisse unterstützen Einzelkamera- und Surround-View-Mehrkamera-Anwendungen. Bei Surround View können gemeinsame oder mehrere unterschiedliche Algorithmusergebnisse verwendet werden.

meas_win beschreibt den Fensterbereich der AE-Hardwarestatistik. Hardwarestatistiken wie Kachelhelligkeit und Histogramm werden auf Basis dieses Bereichs ermittelt. Bei HDR-Mehrfachbelichtung ist das Statistikfenster standardmäßig für alle Bilder gleich.

meas_weight ist der für gewichtete Histogrammstatistiken benötigte Gewichtungsparameter. Er entspricht im Allgemeinen der Softwaregewichtung zur Berechnung des gewichteten Mittelwerts der Kachelhelligkeit.

Beim Einstellen der Belichtung müssen tatsächlicher Belichtungswert und zugehöriger Registerwert konfiguriert werden. Der tatsächliche Wert umfasst Belichtungszeit in Sekunden, Belichtungsverstärkung als Faktor und DCG-Zustand (0:LCG, 1:HCG) für andere Algorithmusmodule. Der Belichtungsregisterwert wird an den Sensor übergeben und unterstützt RK- sowie Drittanbieterformate.

Für Belichtungsregisterwerte werden RK- und Drittanbieterformate unterstützt. Registerwerte im RK-Format muss der Kunde nicht setzen; sie werden intern aus dem tatsächlichen Belichtungswert umgerechnet. Dafür muss bValid in exp_i2c_params false sein. Drittanbieterformate erfordern das Setzen der benötigten Registerwerte und Adressen durch den Benutzer sowie bValid=true in exp_i2c_params.

Sollen bei Surround View alle Kameras dieselben Belichtungs- und Hardwarewerte verwenden, setzen Sie nur die Parameter in rk_aiq_customeAe_results_t; next bleibt leer. Benötigt jede Kamera andere Werte, setzen Sie die Ergebnisse der Reihe nach und reservieren Sie Speicher, sodass next auf das Ergebnis der nächsten Kamera verweist. Beachten Sie die Unterschiede zwischen rk_aiq_customeAe_results_t und rk_aiq_customeAe_results_single_t: Erstere Struktur enthält zusätzliche Ergebnisparameter, die gemeinsam gelten und standardmäßig für alle Kameras auf denselben Wert gesetzt werden.

Der Datentyp der Bildhardwarestatistik ist Aec_Stat_Res_t, derjenige der RK-Belichtungsinformationen RkAiqExpParamComb_t und derjenige der RK-Blendenparameter RkAiqIrisParamComb_t. Einzelheiten enthält Rockchip_Development_Guide_ISP30.

2.2 AWB-Algorithmus registrieren

Der RK-AWB-Algorithmus implementiert die Registrierungsfunktion rk_aiq_uapi_customAWB_register. Der Benutzer registriert damit seinen eigenen AWB-Algorithmus beim ISP. Das Beispiel entspricht der Registrierung der AE-Algorithmusbibliothek. Aktiviert wird der eigene AWB-Algorithmus über rk_aiq_uapi_customAWB_enable.

Hinweis: Für eine reibungslose Portierung wird empfohlen, Folgendes zu lesen:

(1) Folgende Inhalte aus „Rockchip_Color_Optimization_Guide“:

(a) Abschnitt „2 AWB/2.1 Function Description“ zur Funktionsbeschreibung sowie das AWB-Ablaufdiagramm.

(b) AWB-Ablaufdiagramm zur Weißpunkterkennung im Abschnitt „2 AWB/2.2 White Spot Detection Process for Key Parameters/Hardware“.

(2) Abschnitt „Statistics / Data Types / rk_aiq_isp_awb_stats2_v3x_t“ in Rockchip_Development_Guide_ISP30.

2.2.1 API

2.2.1.1 rk_aiq_uapi_customAWB_register

【Beschreibung】 Eigenen AWB-Algorithmus registrieren.

【Syntax】

XCamReturn
rk_aiq_uapi_customAWB_register(const rk_aiq_sys_ctx_t* ctx,
rk_aiq_customeAwb_cbs_t* cbs);

【Parameter】

【Rückgabewert】

【Hinweis】

Zuerst muss rk_aiq_uapi_sysctl_init aufgerufen werden, um den AIQ-Kontextzeiger ctx zu initialisieren.

【Voraussetzungen】

Headerdatei: rk_aiq_user_api_custom_awb.h

Bibliotheksdatei: librkaiq.so

2.2.1.2 rk_aiq_uapi_customAWB_enable

【Beschreibung】 Eigenen AWB-Algorithmus aktivieren.

【Syntax】

XCamReturn
rk_aiq_uapi_customAWB_enable(const rk_aiq_sys_ctx_t* ctx, bool enable);

【Parameter】

【Rückgabewert】

【Hinweis】

Nach abgeschlossener Registrierung des eigenen AWB-Algorithmus durch rk_aiq_uapi_customAWB_register aufrufen.

【Voraussetzungen】

Headerdatei: rk_aiq_user_api_custom_awb.h

Bibliotheksdatei: librkaiq.so

2.2.1.3 rk_aiq_uapi_customAWB_unRegister

【Beschreibung】 Eigenen AWB-Algorithmus abmelden.

【Syntax】

XCamReturn
rk_aiq_uapi_customAWB_unRegister(const rk_aiq_sys_ctx_t* ctx);

【Parameter】

【Rückgabewert】

【Hinweis】

Nach abgeschlossener Registrierung des eigenen AWB-Algorithmus durch rk_aiq_uapi_customAWB_register aufrufen.

【Voraussetzungen】

Headerdatei: rk_aiq_user_api_custom_awb.h

Bibliotheksdatei: librkaiq.so

2.2.2 Datentypen

2.2.2.1 Bei der ISP-Bibliothek registrierter Callback

2.2.2.1.1 rk_aiq_customeAwb_cbs_t

【Beschreibung】 Definiert die Callback-Funktionen, die der eigene AWB-Algorithmus bei der ISP-Bibliothek registriert.

【Definition】

typedef struct rk_aiq_customeAwb_cbs_s
{
    int32_t (*pfn_awb_init)(void* ctx);
    int32_t (*pfn_awb_run)(void* ctx, const rk_aiq_customAwb_stats_t* pstAwbInfo,
rk_aiq_customeAwb_results_t* pstAwbResult);
    int32_t (*pfn_awb_run)(void* ctx, uint32_t u32Cmd, void *pValue);
    int32_t (*pfn_awb_exit)(void* ctx);
} rk_aiq_customeAwb_cbs_t;

【Mitglied】

【Hinweis】

Die obigen Callbacks müssen in der eigenen AWB-Bibliothek implementiert werden.

Für die Implementierung von pfn_awb_run dient der Pseudocode in custom_awb_run in third_party_awb_algo.cpp als Referenz.

2.2.2.2 Statistiken

2.2.2.2.1 rk_aiq_customAwb_stats_t

【Beschreibung】 Definiert die Weißabgleich-Hardwarestatistiken, die der eigene AWB-Algorithmus erhält.

【Definition】

typedef struct rk_aiq_customAwb_stats_s
{
    rk_aiq_awb_stat_wp_res_light_v201_t light[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    int WpNo2[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    rk_aiq_awb_stat_blk_res_v201_t blockResult[RK_AIQ_AWB_GRID_NUM_TOTAL];
    rk_aiq_awb_stat_wp_res_light_v201_t multiwindowLightResult[4];
    rk_aiq_awb_stat_wp_res_v201_t
excWpRangeResult[RK_AIQ_AWB_STAT_WP_RANGE_NUM_V201];
    unsigned int WpNoHist[RK_AIQ_AWB_WP_HIST_BIN_NUM];
    struct rk_aiq_customAwb_stats_s* next;
} rk_aiq_customAwb_stats_t;

【Mitglied】

【Hinweis】

Einzelheiten zu den Mitgliedern stehen in „Statistics/Data Types“ von Rockchip_Development_Guide_ISP30 unter der Definition der Strukturmitglieder von rk_aiq_isp_awb_stats2_v3x_t.

2.2.2.3 Berechnungsergebnis

2.2.2.3.1 rk_aiq_customeAwb_results_t

【Beschreibung】 Definiert Konfigurationsparameter und Berechnungsergebnisse des eigenen AWB-Algorithmus.

【Definition】

typedef struct rk_aiq_customeAwb_results_s
{
    bool IsConverged; true: converged; false: not converged
    rk_aiq_wb_gain_t awb_gain_algo;
    float awb_smooth_factor;
    rk_aiq_customAwb_hw_cfg_t awbHwConfig;
    rk_aiq_customeAwb_single_results_t *next;//defalut vaue is nullptr,which means all cameras with the same cfg;
} rk_aiq_customeAwb_results_t;

【Mitglied】

2.2.2.3.2 rk_aiq_customeAwb_single_results_t

【Beschreibung】 Definiert Konfigurationsparameter und Berechnungsergebnisse jeder Kamera im Surround-View-Modus des eigenen AWB-Algorithmus. Außerhalb von Surround View nicht relevant.

【Definition】

typedef struct rk_aiq_customeAwb_single_results_s
{
    rk_aiq_wb_gain_t awb_gain_algo;//for each camera
    rk_aiq_customAwb_single_hw_cfg_t awbHwConfig;//for each camera
    struct rk_aiq_customeAwb_single_results_s *next;
} rk_aiq_customeAwb_single_results_t;

【Mitglied】

2.2.2.3.3 rk_aiq_wb_gain_t

Siehe die Strukturdefinition rk_aiq_wb_gain_t im Abschnitt „AWB/Function-Level API/Data Type“ von Rockchip_Development_Guide_ISP32; der ISP32-Querverweis der Quelle bleibt erhalten.

2.2.2.3.4 rk_aiq_customAwb_hw_cfg_t

【Beschreibung】 Definiert Hardwarekonfigurationsparameter des eigenen AWB-Algorithmus, darunter Haupt-/Mehrfachfensterkonfiguration und Auswahl des Statistikbildes.

【Definition】

typedef struct rk_aiq_customAwb_hw_cfg_s {
    bool awbEnable;
    bool lscBypEnable;
    uint8_t frameChoose;
    unsigned short windowSet[4];
    unsigned char lightNum;
    unsigned short maxR;
    unsigned short minR;
    unsigned short maxG;
    unsigned short minG;
    unsigned short maxB;
    unsigned short minB;
    unsigned short maxY;
    unsigned short minY;
    bool uvDetectionEnable;
    rk_aiq_awb_uv_range_para_t uvRange_param[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    bool xyDetectionEnable;
    rk_aiq_rgb2xy_para_t rgb2xy_param;
    rk_aiq_awb_xy_range_para_t xyRange_param[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    bool threeDyuvEnable;
    unsigned short threeDyuvIllu[RK_AIQ_AWB_YUV_LS_PARA_NUM];
    short icrgb2RYuv_matrix[12];
    rk_aiq_awb_rt3dyuv_range_para_t
ic3Dyuv2Range_param[RK_AIQ_AWB_YUV_LS_PARA_NUM];
    bool multiwindow_en;
    unsigned short multiwindow[RK_AIQ_AWB_MULTIWINDOW_NUM_V201][4];
} rk_aiq_customAwb_hw_cfg_t;

【Mitglied】

【Hinweis】

Die in der Quelle schwarz markierten Parameter können mit Standardwerten konfiguriert werden.

Für ein vertieftes Verständnis dieser Parameter siehe folgende Inhalte in Rockchip_Color_Optimization_Guide:

(a) Abschnitt „2 AWB/2.1 Function Description“ zur Funktionsbeschreibung sowie das AWB-Ablaufdiagramm.

(b) AWB-Ablaufdiagramm zur Weißpunkterkennung im Abschnitt „2 AWB/2.2 White Spot Detection Process for Key Parameters/Hardware“.

2.2.2.3.5 rk_aiq_customAwb_hw_cfg_t

【Beschreibung】 Definiert unterschiedliche Hardwarekonfigurationen der einzelnen Kameras im Surround-View-Modus; außerhalb von Surround View nicht relevant.

【Definition】

typedef struct rk_aiq_customAwb_single_hw_cfg_t {
    unsigned short windowSet[4];
    bool multiwindow_en;
    unsigned short multiwindow[RK_AIQ_AWB_MULTIWINDOW_NUM_V201][4];
    bool blkWeightEnable;
    unsigned char blkWeight[RK_AIQ_AWB_GRID_NUM_TOTAL];
} rk_aiq_customAwb_single_hw_cfg_t;

【Mitglied】

2.2.2.3.6 rk_aiq_awb_uv_range_para_t

【Erläuterung】 Definiert Begrenzungsparameter des viereckigen UV-Weißpunktbereichs für den eigenen AWB-Algorithmus.

Technische Abbildung aus der englischen Quelle, PDF-S. 30.

【Definition】

typedef struct rk_aiq_awb_uv_range_para_s {
    unsigned short pu_region[5];
    unsigned short pv_region[5];
    int slope_inv[4];
} rk_aiq_awb_uv_range_para_t;

【Mitglied】

【Hinweis】

Festkomma- oder umgerechnete Parameter auf Grundlage des Abschnitts „AWB/UV domain white points detector“ in Rockchip_Color_Optimization_Guide_ISP30; sie werden vom Kalibrierwerkzeug geliefert.

Die modulspezifischen Parameter müssen bei uvDetectionEnable=ture korrekt konfiguriert werden; „ture“ ist die Schreibweise der Quelle.

2.2.2.3.7 rk_aiq_rgb2xy_para_t

【Erläuterung】 Definiert die Umrechnungsparameter von RGB nach XY für den eigenen AWB-Algorithmus.

【Definition】

typedef struct rk_aiq_rgb2xy_para_s {
    unsigned short pseudoLuminanceWeight[3];
    short rotationMat[9];
} rk_aiq_rgb2xy_para_t;

【Mitglied】

【Hinweis】

Die vom Kalibrierwerkzeug gelieferten Parameter werden anhand des Abschnitts „AWB/RGB2XY“ in Rockchip_Color_Optimization_Guide_ISP30 in Festkommadarstellung umgesetzt.

Die modulspezifischen Parameter müssen bei xyDetectionEnable=ture korrekt konfiguriert werden; „ture“ ist die Schreibweise der Quelle.

2.2.2.3.8 rk_aiq_awb_xy_range_para_t

【Erläuterung】 Definiert Begrenzungsparameter des viereckigen XY-Weißpunktbereichs für den eigenen AWB-Algorithmus.

Technische Abbildung aus der englischen Quelle, PDF-S. 31.

【Definition】

typedef struct rk_aiq_awb_xy_range_para_s {
    int NorrangeX[2];
    int NorrangeY[2];
    int SperangeX[2];
    int SperangeY[2];
    int SmalrangeX[2];
    int SmalrangeY[2];
} rk_aiq_awb_xy_range_para_t;

【Mitglied】

【Hinweise】

Festkommaparameter auf Grundlage des Abschnitts „AWB/XY domain white points detector“ in Rockchip_Color_Optimization_Guide_ISP30; sie werden vom Kalibrierwerkzeug geliefert.

Die modulspezifischen Parameter müssen bei xyDetectionEnable=ture korrekt konfiguriert werden; „ture“ ist die Schreibweise der Quelle.

2.2.2.3.9 rk_aiq_awb_rt3dyuv_range_para_t

【Erläuterung】 Definiert YUV-Weißpunktbegrenzungsparameter für den eigenen AWB-Algorithmus.

【Definition】

typedef struct rk_aiq_awb_rt3dyuv_range_para_s {
    unsigned char thcurve_u[6];
    unsigned short thcure_th[6];
    unsigned short lineP1[3];
    short vP1P2[3];
    unsigned char disP1P2;
} rk_aiq_awb_rt3dyuv_range_para_t;

【Mitglied】

【Hinweise】

Technische Abbildung aus der englischen Quelle, PDF-S. 33.

Festkomma- oder umgerechnete Parameter auf Grundlage des Abschnitts „AWB/YUV domain white points detector“ in Rockchip_Color_Optimization_Guide_ISP30; sie werden vom Kalibrierwerkzeug geliefert.

Die modulspezifischen Parameter müssen bei threeDyuvEnable=ture und threeDyuvIllu ungleich 7 korrekt konfiguriert werden; „ture“ ist die Schreibweise der Quelle.

2.2.2.3.10 rk_aiq_awb_exc_range_v201_t

【Erläuterung】 Definiert Begrenzungsparameter für ausgeschlossene oder zusätzliche Weißpunktbereiche in UV oder XY für den eigenen AWB-Algorithmus.

【Definition】

typedef struct rk_aiq_awb_exc_range_v201_s {
    rk_aiq_awb_exc_range_domain_t domain;
    bool excludeEnable[RK_AIQ_AWB_XY_TYPE_MAX_V201];
    bool measureEnable;
    int xu[2];
    int yv[2];
} rk_aiq_awb_exc_range_v201_t;

【Mitglied】

【Hinweise】

Höchstens 7 Fenster sind konfigurierbar; measureEnable darf jedoch nur bei den ersten 4 auf true gesetzt werden.

2.3 Eigene AF-Algorithmen entwickeln

Wird die RK-AF-Algorithmusbibliothek nicht verwendet, kann auf Basis der 3A-Statistikwerte ein eigener AF-Algorithmus entwickelt werden, beispielsweise für Zoom und Fokussierung.

Bei der Implementierung eines eigenen AF-Algorithmus:

1. Zuerst rk_aiq_user_api2_af_SetAttrib aufrufen, um die AF-Statistik zu konfigurieren.

2. Anschließend 3A-Statistikwerte mit rk_aiq_uapi_sysctl_get3AStatsBlk abrufen. Diese API blockiert und kehrt sofort zurück, sobald neue 3A-Statistikwerte vorliegen.

3. Der eigene AF-Algorithmus berechnet anhand dieser Werte die erforderlichen Ergebnisse und bewegt Zoom- und Fokusmotor.

4. Abschließend die erhaltenen 3A-Statistikwerte durch rk_aiq_uapi_sysctl_release3AStatsRef freigeben.

Den Gesamtablauf zeigt folgende Abbildung.

Technische Abbildung aus der englischen Quelle, PDF-S. 35.

2.3.1 AF-Statistikmodul

Technische Abbildung aus der englischen Quelle, PDF-S. 35.

Liefert der Sensor ein HDR-Bild, kann das AF-Modul das kurz, mittel oder lang belichtete HDR-Bild oder Daten des zusammengeführten HDR-Bildes als Eingabe für die AF-Statistik wählen.

Liefert der Sensor ein normales Bild, kann das AF-Modul das Sensoreingabebild oder das demosaizierte Bild als Eingabe der AF-Statistik wählen.

Unterstützt werden insgesamt zwei Fenster: Hauptfenster A und unabhängiges Fenster B.

Hauptfenster A enthält 15*15 Unterfenster. Es lässt sich mit vier Filtern V1/V2/H1/H2 konfigurieren und liefert die vier entsprechenden FV-Werte sowie Helligkeits- und Spitzlichtstatistiken.

Das unabhängige Fenster B berechnet den FV-Wert mit einem festen Operator und liefert einen FV-Wert, einen Helligkeitswert und einen Spitzlichtstatistikwert.

2.3.2 AF-Statistikfenster konfigurieren

Hauptfenster A und unabhängiges Fenster B unterstützen rechteckige Fenster. Konfigurierbar sind die Koordinaten der linken oberen Ecke sowie Breite und Höhe.

Technische Abbildung aus der englischen Quelle, PDF-S. 36.

2.3.3 Gamma

Gamma wandelt das RAW-Eingabebild des Sensors entsprechend der menschlichen Wahrnehmung natürlicher Helligkeit um. Die x-Koordinate von 0 bis 1023 wird wie folgt unterteilt: 16 16 16 16 32 32 32 32 64 64 64 128 128 128 128 128. Der Wertebereich der y-Koordinate beträgt 0 bis 1023.

Technische Abbildung aus der englischen Quelle, PDF-S. 36.

2.3.4 Fokusfilter

Für Hauptfenster A lassen sich vier Filter V1/V2/H1/H2 einstellen. Das unabhängige Fenster B verwendet feste Operatoren.

Die Frequenzbänder der Filter V1/V2/H1/H2 sind einstellbar; Filterentwurfswerkzeuge erzeugen die zugehörigen Registerwerte.

Technische Abbildung aus der englischen Quelle, PDF-S. 37.

2.3.5 Helligkeit und Spitzlichter

Hauptfenster A liefert Helligkeitsstatistiken und eine Zählung der Spitzlichter.

Lichtquellen beeinflussen den FV-Wert leicht. Bei unscharfem Fokus nimmt durch die Ausbreitung des Lichthofs der niederfrequente Bildanteil zu. Das Bild wird unscharf, während der FV-Wert steigen kann.

Üblicherweise wird dies mit einem Spitzlichtzähler behandelt: Bei Unschärfe wächst der Lichthof und damit die Zahl heller Spitzlichtpunkte. Bei scharfem Fokus ist diese Zahl am kleinsten.

2.3.6 Helligkeitsabhängige Verstärkung

Die LDG-Funktion kann den Einfluss von Lichtquellen ebenfalls reduzieren: Sie schwächt den FV-Wert entsprechend der Pixelhelligkeit ab und verringert ihn an hellen sowie zu dunklen Punkten.

Technische Abbildung aus der englischen Quelle, PDF-S. 38.

Liegt die Helligkeit innerhalb [ldg_xl, ldg_xh], beträgt die ausgegebene Verstärkung 1; der FV-Wert wird nicht abgeschwächt.

Liegt die Helligkeit innerhalb [0, ldg_xl], wird die Verstärkung entsprechend der Steigung ldg_kl abgeschwächt, jedoch nicht unter ldg_yl.

gain = 256 - ldg_kl*(ldg_xl - x)/256; gain = max(gain, ldg_yl);

Liegt die Helligkeit innerhalb [ldg_xh, 255], wird die Verstärkung entsprechend der Steigung ldg_kh abgeschwächt, jedoch nicht unter ldg_yh.

gain = 256 - ldg_kh*(x-ldg_xh)/256; gain = max(gain, ldg_yh);

Die horizontalen Kanäle H1/H2 teilen sich eine LDG-Kurve; die vertikalen Kanäle V1/V2 teilen sich eine weitere.

2.3.7 Fv-Schwelle

Ein berechneter Fv-Wert unterhalb der Fv-Schwelle wird in der endgültigen Ausgabe nicht berücksichtigt. Dies kann den Rauscheinfluss verringern.

Technische Abbildung aus der englischen Quelle, PDF-S. 39.

Die Fv-Schwelle gilt für den LDG-Ausgabewert nach der Filterung.

2.3.8 Fv-Berechnung

Der Fv-Wert unterstützt Betrags- und Quadratmodus. Im Quadratmodus wird Fv quadriert, wodurch sich der Anteil scharf fokussierter Positionen am FV-Wert erhöhen lässt.

Zur Vermeidung eines Überlaufs des endgültigen Fv-Ausgabewerts lassen sich im Hauptfenster vier Rechtsverschiebungswerte für v1/v2/h1/h2 und im unabhängigen Fenster zwei für fv/luma einstellen.

2.3.9 Fv-Ausgabe

Die Ausgabe von Hauptfenster A enthält v1/v2/h1/h2-Fv-Informationen für 1515 sowie luma/highlight-Informationen für 1515. Die Schreibweise „1515“ der Quelle bleibt erhalten; das zugehörige Raster zeigt 15×15.

Die räumliche Verteilung der Ausgabe von Hauptfenster A ist nachfolgend dargestellt.

Das unabhängige Fenster B gibt einen Fv-Wert, eine Helligkeitsinformation und eine Spitzlichtstatistik aus.

Technische Abbildung aus der englischen Quelle, PDF-S. 40.

Bearbeitbare Übertragung des FV-Rasters aus der Quelle:

2.3.10 Endgültigen FV-Wert berechnen

H1 und V1 können für die Grobsuche auf ein Tiefpassband, H2 und V2 für die Feinsuche auf ein Hochpassband eingestellt werden.

Die horizontale Filterausgabe H und die vertikale Filterausgabe V lassen sich gewichten:

FV = FvH * weight + FvV * (1-weight)

Die FV-Werte der einzelnen Blöcke können bei Bedarf ebenfalls unterschiedlich gewichtet werden.

2.3.11 AF-Statistik konfigurieren

Verwenden Sie zur Konfiguration rk_aiq_user_api2_af_SetAttrib.

XCamReturn
rk_aiq_user_api2_af_SetAttrib(const rk_aiq_sys_ctx_t* sys_ctx, rk_aiq_af_attrib_t
attr);

rk_aiq_af_algo_meas_v30_t im Parameter rk_aiq_af_attrib_t wird nachfolgend beschrieben:

typedef struct {
    unsigned char af_en;
    unsigned char rawaf_sel;
    unsigned char gamma_en;
    unsigned char gaus_en;
    unsigned char v1_fir_sel;
    unsigned char hiir_en;
    unsigned char viir_en;
unsigned char v1_fv_outmode; // 0 square, 1 absolute
unsigned char v2_fv_outmode; // 0 square, 1 absolute
unsigned char h1_fv_outmode; // 0 square, 1 absolute
unsigned char h2_fv_outmode; // 0 square, 1 absolute
unsigned char ldg_en;
unsigned char accu_8bit_mode; // fix to 1
unsigned char ae_mode;
unsigned char y_mode; // fix to 0
unsigned char line_en[RKAIQ_RAWAF_LINE_NUM];
unsigned char line_num[RKAIQ_RAWAF_LINE_NUM];
unsigned char window_num;
unsigned short wina_h_offs;
unsigned short wina_v_offs;
unsigned short wina_h_size;
unsigned short wina_v_size;
unsigned short winb_h_offs;
unsigned short winb_v_offs;
unsigned short winb_h_size;
unsigned short winb_v_size;
unsigned short gamma_y[RKAIQ_RAWAF_GAMMA_NUM];
// [old version param]
unsigned short thres;
unsigned char shift_sum_a;
unsigned char shift_sum_b;
unsigned char shift_y_a;
unsigned char shift_y_b;
/**********[Vertical IIR (v1 & v2)]************/
short v1_iir_coe[9];
short v1_fir_coe[3];
short v2_iir_coe[3];
short v2_fir_coe[3];
/**********[Horizontal IIR (h1 & h2)]************/
short h1_iir1_coe[6];
short h2_iir1_coe[6];
short h1_iir2_coe[6];
short h2_iir2_coe[6];
/**********[Focus value statistic param]**********/
// level depended gain
// input8 lumi, output8bit gain
unsigned char h_ldg_lumth[2]; //luminance thresh
unsigned char h_ldg_gain[2]; //gain for [minLum,maxLum]
unsigned short h_ldg_gslp[2]; //[slope_low,-slope_high]
unsigned char v_ldg_lumth[2];
unsigned char v_ldg_gain[2];
unsigned short v_ldg_gslp[2];
// coring
unsigned short v_fv_thresh;
unsigned short h_fv_thresh;
    // left shift, more needed if outmode=square
    unsigned char v1_fv_shift; //only for sel1
    unsigned char v2_fv_shift;
    unsigned char h1_fv_shift;
    unsigned char h2_fv_shift;
    /**********[High light]**********/
    unsigned short highlit_thresh;
} rk_aiq_af_algo_meas_v30_t;

2.3.12 AF-Statistikwerte abrufen

Einzelheiten enthält der Abschnitt „Statistics“ in Rockchip_Development_Guide_ISP30.

rk_aiq_uapi_sysctl_get3AStatsBlk () / rk_aiq_uapi_sysctl_release3AStatsRef()

Die Struktur für AF-Statistikergebnisse heißt rk_aiq_af_algo_stat_v30_t.

2.3.13 Filterentwurfswerkzeuge verwenden

Siehe die Dokumentation des Filterentwurfswerkzeugs.

2.4 Codebeispiele als Referenz

Referenzcode für die Implementierung eigener 3A-Algorithmen finden Sie unter:

Verzeichnis: AIQ root/rkisp_demo/demo/

|——-ae_algo_demo // Referenzcode für AE-Algorithmen

|——-awb_algo_demo // Referenzcode für AWB-Algorithmen

|——-af_algo_demo // Referenzcode für AF-Algorithmen