Разработка собственной 3A для Rockchip ISP30: API и статистика AE, AWB, AF

Статья полностью сохраняет техническую часть (стр.5–46 PDF) английского исходника V1.1.0 объёмом 46 страниц и предоставляет полный китайский и русский перевод. Соответствующий китайский PDF не предоставлен. Все три статьи используют 14 оригинальных рисунков английского PDF, включая имеющиеся китайские подписи. Код, комментарии, API, параметры, значения регистров и константы примеров сохранены; подписи и текст локализованы.

Ниже приведены область применимости и поддержка ОС по исходнику, а не утверждения о совместимости всех современных версий. Это справочник по платформе для ArmSoM: проверьте плату, RK3588, Sensor/VCM, ISP30, SDK/BSP, AIQ и версию ядра. Аппаратная проверка ArmSoM не проводилась. Описание совместной работы библиотек RK и собственных библиотек не следует переносить на непроверенные версии. Экспозиция, усиление, фокусировка и моторы могут изменять съёмку и состояние аппаратуры; код, настройки устройств и движение моторов не выполнялись.

Неоднозначности исходника: сохранены и отмечены повторяющиеся описания/заголовки, смешение имён uapi/uapi2, ссылка на ISP32, две повреждённые формулировки таблицы и противоречивые параметры окон. Код является примером исходника и не гарантирует компилируемость. См. редакционные записи.

Неоднозначности исходника и адаптации: EDITORIAL-NOTES. ArmSoM · Rockchip Linux

1 Обзор

Документ описывает реализацию библиотек 3A и помогает пользователям создавать собственные библиотеки алгоритмов 3A.

Библиотека алгоритмов 3A зависит от AIQ, уже содержащего библиотеку 3A RK, включённую по умолчанию. При необходимости пользователь может реализовать собственную библиотеку 3A по этому руководству.

1.1 Принцип проектирования

Основная схема показана ниже:

Технический рисунок английского исходника, PDF p.5.

Библиотека 3A подключается к библиотеке ISP посредством регистрации. Библиотека 3A RK уже зарегистрирована неявно; явная регистрация пользователем не требуется.

После регистрации библиотеки 3A библиотека ISP получает статистику 3A от драйвера, вызывает интерфейс библиотеки 3A для вычисления новых параметров, затем передаёт их драйверу.

1.2 Организация файлов

Организация файлов показана ниже:

Технический рисунок английского исходника, PDF p.6.

Прошивка ISP разделена на прикладной уровень librkaiq.so и уровень драйверов: драйвер ISP и драйверы периферии Sensor, VCM и Flashlight.

librkaiq.so содержит библиотеки алгоритмов 3A, HDR и другие. Они существуют как статические библиотеки и в итоге связываются в librkaiq.so. Кроме библиотек 3A librkaiq_ae/awb/af.a, исходники которых не предоставляются, исходный код остальных базовых библиотек открыт.

Для всех поддерживаемых платформой модулей допускаются пользовательские алгоритмы. Однако обычно, кроме требующей настройки библиотеки 3A, остальные базовые библиотеки можно оставить стандартными, предоставленными RK.

1.3 Режимы разработки

Поддерживаются следующие три режима разработки:

Для 3A используется библиотека RK. В этом случае доступны API библиотеки 3A RK: rk_aiq_user_api2_ae.h, rk_aiq_user_api2_af.h и rk_aiq_user_api2_awb.h.

Часть 3A использует библиотеку RK, другая часть — пользовательскую. Например, AE использует собственную библиотеку, а AWB — библиотеку RK.

Пользовательская библиотека 3A и библиотека RK используются одновременно. Например, при совместной работе AE сначала выполняется библиотека RK AE, затем пользовательская AE; её результаты заменяют результаты RK AE. Это упрощает разработку: пользовательской библиотеке не требуется выдавать все результаты, необходимые AIQ, часть может предоставлять библиотека RK AE.

1.4 Программные процессы

1.4.1 Основной процесс

Алгоритм 3A RK неявно зарегистрирован внутри AIQ и не требует явной регистрации пользователем. Ниже приведён псевдокод регистрации собственного алгоритма 3A на примере AE:

// Initialize the usage scenario, not required, defaults to normal, day, which is used to select scene parameters in the JSON IQ file
if (work_mode == RK_AIQ_WORKING_MODE_NORMAL)
        ret = rk_aiq_uapi2_sysctl_preInit_scene(sns_entity_name, "normal",
"day");
  else
        ret = rk_aiq_uapi2_sysctl_preInit_scene(sns_entity_name, "hdr", "day");
// Depending on whether the usage pattern is surround view or single camera, initialize Group Ctx or AIQ ctx
   if (!group_mode)
        ctx->aiq_ctx = rk_aiq_uapi2_sysctl_init(sns_entity_name, ctx->iqpath,
NULL, NULL);
  else {
       rk_aiq_camgroup_instance_cfg_t camgroup_cfg;
       memset(&camgroup_cfg, 0, sizeof(camgroup_cfg));
       camgroup_cfg.sns_num = 1;
       camgroup_cfg.sns_num++;
       camgroup_cfg.sns_ent_nm_array[0] = sns_entity_name;
       camgroup_cfg.sns_ent_nm_array[1] = sns_entity_name2;
       camgroup_cfg.config_file_dir = ctx->iqpath;
       camgroup_cfg.overlap_map_file = "srcOverlapMap.bin";
       ctx->camgroup_ctx = rk_aiq_uapi2_camgroup_create(&camgroup_cfg);
  }
// If you need to register a custom AE algorithm, register a custom AE callback
  rk_aiq_customeAe_cbs_t cbs = {
                           .pfn_ae_init = custom_ae_init,
                           .pfn_ae_run = custom_ae_run,
                           .pfn_ae_ctrl = custom_ae_ctrl,
                           .pfn_ae_exit = custom_ae_exit,
                       };
  rk_aiq_uapi2_customAE_register((const rk_aiq_sys_ctx_t*)(ctx->camgroup_ctx),
&cbs);
// If you need to run a third-party AE algorithm, enable the custom AE algorithm. Third-party AE library registration interface, single camera and surround view shared.
//In the current AIQ version, both the default RK algorithm and the third-party algorithm will run, and if necessary, you can call rk_aiq_uapi2_sysctl_enableAxlib to force off RK AE.
  rk_aiq_uapi2_customAE_enable((const rk_aiq_sys_ctx_t*)(ctx->camgroup_ctx),
true);
// Prepare the ISP pipeline and configure initialization parameters such as ISP and Sensor
// If necessary, you can call the module API before prepare to modify the module initialization parameters, otherwise the initialization parameters are specified by the IQ file, or are specified by hard code in AIQ, or the chip reset value
 if (!group_mode) {
      rk_aiq_uapi2_sysctl_prepare(ctx->aiq_ctx, ctx->width, ctx->height,
work_mode);
      rk_aiq_uapi2_sysctl_start(ctx->aiq_ctx );
 } else {
      rk_aiq_uapi2_camgroup_prepare(ctx->camgroup_ctx, work_mode);
      ret = rk_aiq_uapi2_camgroup_start(ctx->camgroup_ctx);
 }
// Turn on the VI data flow and note that no AIQ library interfaces are called in this section.
start_capturing(ctx);
......
// AIQ internal thread loop work: obtain 3A statistics from the driver, call each algorithm library to calculate new ISP parameters, sensor parameters, etc., and issue new parameters to ISP drivers and sensor drivers.
// This procedure calls the API to set parameters for each algorithm module
......
// Stop the data flow first on exit
stop_capturing(ctx);
// Stop AIQ ctx or Group ctx
 if (!group_mode)
       rk_aiq_uapi2_sysctl_stop(ctx->aiq_ctx, false);
else
       rk_aiq_uapi2_camgroup_stop(ctx->camgroup_ctx);
// Anti-register third-party AEs
 rk_aiq_uapi2_customAE_unRegister(ctx->aiq_ctx);
// Deinitialize AIQ ctx or Group ctx
 if (!group_mode)
        rk_aiq_uapi2_sysctl_deinit(ctx->aiq_ctx);
else
       rk_aiq_uapi2_camgroup_destroy(ctx->camgroup_ctx);

1.4.2 Внутренний процесс работы

Внутренняя работа AIQ показана ниже:

Технический рисунок английского исходника, PDF p.9.

Поток получения статистики: непрерывно получает статистику 3A от драйвера ISP и передаёт её потоку вычислений 3A.

Поток вычислений 3A: после получения статистики вызывает алгоритмы модулей (включая обратные вызовы сторонних алгоритмов), вычисляет новые параметры и передаёт их потоку настройки параметров ISP и потоку SOF.

Поток настройки параметров ISP: получив новый запрос настройки, в подходящий момент передаёт его драйверу ISP.

Поток SOF: обработчик события начала кадра Sensor; принимает новый запрос экспозиции, извлекает новые параметры экспозиции из очереди и передаёт их драйверу Sensor.

2 Руководство разработчика

2.1 Регистрация алгоритма AE

Процесс подключения AE включает регистрацию через rk_aiq_uapi_customAE_register, включение через rk_aiq_uapi_customAE_enable и отмену регистрации через rk_aiq_uapi_customAE_unRegister (имена сохранены из этого абзаца; прототипы далее используют uapi2).

2.1.1 rk_aiq_uapi2_customAE_register

【Описание】Регистрация библиотеки алгоритма AE.

【Синтаксис】

XCamReturn
rk_aiq_uapi2_customAE_register(const rk_aiq_sys_ctx_t* ctx,
rk_aiq_customeAe_cbs_t* cbs)

【Параметры】

【Возвращаемое значение】

2.1.2 rk_aiq_uapi2_customAE_enable

【Описание】Регистрация библиотеки алгоритма AE.

【Синтаксис】

XCamReturn
rk_aiq_uapi2_customAE_enable(const rk_aiq_sys_ctx_t* ctx, bool enable);

【Параметры】

【Возвращаемое значение】

2.1.3 rk_aiq_uapi2_customAE_unRegister

【Описание】Регистрация библиотеки алгоритма AE.

【Синтаксис】

XCamReturn
rk_aiq_uapi2_customAE_unRegister(const rk_aiq_sys_ctx_t* ctx);

【Параметры】

【Возвращаемое значение】

2.1.4 Обратные вызовы и типы данных

В собственной библиотеке AE пользователь должен реализовать следующие обратные вызовы:

rk_aiq_customeAe_cbs_t cbs = {
.pfn_ae_init = custom_ae_init,
.pfn_ae_run = custom_ae_run,
.pfn_ae_ctrl = custom_ae_ctrl,
.pfn_ae_exit = custom_ae_exit,
};

2.1.4.1 custom_ae_init

【Описание】Инициализация библиотеки алгоритма AE.

【Синтаксис】

int32_t custom_ae_init(void* ctx);

【Параметры】

【Возвращаемое значение】

2.1.4.2 custom_ae_run

【Описание】Выполнение алгоритма AE для расчёта времени экспозиции и усиления Sensor, цифрового усиления ISP и обновления параметров конфигурации аппаратуры.

【Синтаксис】

int32_t custom_ae_run(void* ctx, const rk_aiq_customAe_stats_t* pstAeInfo,
                      rk_aiq_customeAe_results_t* pstAeResult);

【Параметры】

【Возвращаемое значение】

2.1.4.3 custom_ae_ctrl

【Описание】Изменение внутреннего состояния библиотеки алгоритма; временно недоступно.

【Синтаксис】

int32_t custom_ae_ctrl(void* ctx, uint32_t u32Cmd, void *pValue);

【Параметры】

【Возвращаемое значение】

2.1.4.4 custom_ae_exit

【Описание】Отмена регистрации библиотеки алгоритма AE.

【Синтаксис】

int32_t custom_ae_exit(void* ctx)；

【Параметры】

【Возвращаемое значение】

2.1.5 Входные данные

【Описание】

Входные данные стороннего AE включают статистику яркости изображения и соответствующие параметры экспозиции; поддерживаются одиночная камера и круговой обзор. 【Определение】

#define RK_AIQ_MAX_HDR_FRAME (3)
typedef struct rk_aiq_customAe_stats_s
{
    //hw stats
    Aec_Stat_Res_t rawae_stat[RK_AIQ_MAX_HDR_FRAME]; // before awb gain
    Aec_Stat_Res_t extra; // after awb gain, lsc, TMO
    //exposure
    RkAiqExpParamComb_t linear_exp;
    RkAiqExpParamComb_t hdr_exp[RK_AIQ_MAX_HDR_FRAME];
    struct rk_aiq_customAe_stats_s* next; // for surround view(multiple cams)
} rk_aiq_customAe_stats_t;

【Поля】

【Описание】

Входные параметры делятся на аппаратную статистику изображения и соответствующие изображению параметры экспозиции.

Входные параметры совместимы с одиночной камерой и многокамерным круговым обзором; данные нескольких камер доступны через указатель next.

Тип аппаратной статистики изображения — Aec_Stat_Res_t, тип информации об экспозиции — RkAiqExpParamComb_t. Подробности приведены в Rockchip_Development_Guide_ISP30.

RK_AIQ_MAX_HDR_FRAME означает поддержку RK максимум 3 кадров HDR.

2.1.6 Выходные результаты алгоритма

【Описание】

Выход стороннего AE включает параметры экспозиции, аппаратные параметры и другие данные; поддерживаются одиночная камера и круговой обзор.

【Определение】

#define RK_AIQ_MAX_HDR_FRAME (3)
typedef struct rk_aiq_i2c_data_s {
    bool bValid;
    unsigned int nNumRegs;
    unsigned int* pRegAddr;
    unsigned int* pRegValue;
    unsigned int* pDelayFrames;
} rk_aiq_i2c_data_t;
typedef struct rk_aiq_customeAe_results_singel_s
{
    //exposure result (including:reg value & real value)
    RkAiqExpParamComb_t linear_exp;
    RkAiqExpParamComb_t hdr_exp[RK_AIQ_MAX_HDR_FRAME];
    rk_aiq_i2c_data_t exp_i2c_params;
    //hw result
    struct window meas_win;
    unsigned char meas_weight[15 * 15];
    struct rk_aiq_customeAe_results_singel_s* next; // for surround view(multiple
cams)
} rk_aiq_customeAe_results_single_t;
typedef struct rk_aiq_customeAe_results_s
{
    //exposure result (including:reg value & real value)
    RkAiqExpParamComb_t linear_exp;
    RkAiqExpParamComb_t hdr_exp[RK_AIQ_MAX_HDR_FRAME];
    rk_aiq_i2c_data_t exp_i2c_params;
    //hw result
    struct window meas_win;
    unsigned char meas_weight[15 * 15];
    RkAiqIrisParamComb_t Iris;
    uint32_t frame_length_lines;
    bool is_longfrm_mode;
    struct rk_aiq_customeAe_results_singel_s* next; // for surround view(multiple
cams)
} rk_aiq_customeAe_results_t;

【Поля】

【Предостережения】

Выходные результаты совместимы с одиночной камерой и многокамерным круговым обзором. Для кругового обзора поддерживаются как единый, так и отдельные результаты алгоритма.

meas_win задаёт область окна аппаратной статистики AE; статистика яркости блоков и гистограмма рассчитываются по этой области. Для многокадровой экспозиции HDR окно по умолчанию одинаково для всех кадров.

meas_weight — веса для взвешенной гистограммы; обычно они совпадают с программными весами при вычислении взвешенного среднего яркости блоков.

При настройке экспозиции задаются фактическое значение и соответствующее значение регистра. Для других алгоритмов фактические значения включают время экспозиции (секунды), усиление (множитель) и состояние DCG (0:LCG, 1:HCG). Регистровые значения взаимодействуют с Sensor и поддерживают форматы RK и сторонних разработчиков.

Регистровые значения экспозиции формата RK пользователь не задаёт: они преобразуются внутри из фактической экспозиции; bValid в exp_i2c_params должен быть false. Для стороннего формата пользователь задаёт значения регистров и адреса, а bValid должен быть true.

Если всем камерам кругового обзора требуются одинаковые экспозиция и аппаратные настройки, задаётся только rk_aiq_customeAe_results_t, а next пуст. Для разных настроек результаты задаются последовательно, с выделением памяти и указателем next на результат следующей камеры. rk_aiq_customeAe_results_t и rk_aiq_customeAe_results_single_t различаются: первый содержит дополнительные общие параметры результатов, по умолчанию одинаковые для всех камер.

Тип аппаратной статистики — Aec_Stat_Res_t, тип экспозиции RK — RkAiqExpParamComb_t, тип параметров диафрагмы RK — RkAiqIrisParamComb_t. Подробнее см. Rockchip_Development_Guide_ISP30.

2.2 Регистрация алгоритма AWB

Алгоритм RK AWB предоставляет функцию rk_aiq_uapi_customAWB_register. Пользователь вызывает её для регистрации собственного AWB в ISP, аналогично регистрации AE, затем включает его через rk_aiq_uapi_customAWB_enable.

Для успешного переноса рекомендуется ознакомиться со следующим:

(1) Следующие материалы Rockchip_Color_Optimization_Guide:

(a) Раздел «2 AWB/2.1 Описание функции» и схема AWB.

(b) Схема обнаружения белых точек AWB в разделе «2 AWB/2.2 Ключевые параметры/аппаратное обнаружение белых точек».

(2) Раздел «Статистика/Типы данных/rk_aiq_isp_awb_stats2_v3x_t» документа Rockchip_Development_Guide_ISP30.

2.2.1 API

2.2.1.1 rk_aiq_uapi_customAWB_register

【Описание】Регистрация собственного алгоритма AWB.

【Синтаксис】

XCamReturn
rk_aiq_uapi_customAWB_register(const rk_aiq_sys_ctx_t* ctx,
rk_aiq_customeAwb_cbs_t* cbs);

【Параметры】

【Возвращаемое значение】

【Примечание】

Сначала необходимо вызвать rk_aiq_uapi_sysctl_init для инициализации указателя контекста AIQ ctx.

【Требования】

Заголовочный файл: rk_aiq_user_api_custom_awb.h

Библиотека: librkaiq.so

2.2.1.2 rk_aiq_uapi_customAWB_enable

【Описание】Включение собственного алгоритма AWB.

【Синтаксис】

XCamReturn
rk_aiq_uapi_customAWB_enable(const rk_aiq_sys_ctx_t* ctx, bool enable);

【Параметры】

【Возвращаемое значение】

【Примечание】

Вызывается после завершения регистрации собственного AWB через rk_aiq_uapi_customAWB_register.

【Требования】

Заголовочный файл: rk_aiq_user_api_custom_awb.h

Библиотека: librkaiq.so

2.2.1.3 rk_aiq_uapi_customAWB_unRegister

【Описание】Отмена регистрации собственного алгоритма AWB.

【Синтаксис】

XCamReturn
rk_aiq_uapi_customAWB_unRegister(const rk_aiq_sys_ctx_t* ctx);

【Параметры】

【Возвращаемое значение】

【Примечание】

Вызывается после завершения регистрации собственного AWB через rk_aiq_uapi_customAWB_register.

【Требования】

Заголовочный файл: rk_aiq_user_api_custom_awb.h

Библиотека: librkaiq.so

2.2.2 Типы данных

2.2.2.1 Обратные вызовы, регистрируемые в библиотеке ISP

2.2.2.1.1 rk_aiq_customeAwb_cbs_t

【Описание】Определяет обратные вызовы собственного AWB, регистрируемые в библиотеке ISP.

【Определение】

typedef struct rk_aiq_customeAwb_cbs_s
{
    int32_t (*pfn_awb_init)(void* ctx);
    int32_t (*pfn_awb_run)(void* ctx, const rk_aiq_customAwb_stats_t* pstAwbInfo,
rk_aiq_customeAwb_results_t* pstAwbResult);
    int32_t (*pfn_awb_run)(void* ctx, uint32_t u32Cmd, void *pValue);
    int32_t (*pfn_awb_exit)(void* ctx);
} rk_aiq_customeAwb_cbs_t;

【Поля】

【Примечание】

Пользователь должен реализовать указанные обратные вызовы в собственной библиотеке AWB.

Для реализации pfn_awb_run можно использовать псевдокод функции custom_awb_run в third_party_awb_algo.cpp.

2.2.2.2 Статистика

2.2.2.2.1 rk_aiq_customAwb_stats_t

【Описание】Определяет аппаратную статистику баланса белого, получаемую собственным AWB.

【Определение】

typedef struct rk_aiq_customAwb_stats_s
{
    rk_aiq_awb_stat_wp_res_light_v201_t light[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    int WpNo2[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    rk_aiq_awb_stat_blk_res_v201_t blockResult[RK_AIQ_AWB_GRID_NUM_TOTAL];
    rk_aiq_awb_stat_wp_res_light_v201_t multiwindowLightResult[4];
    rk_aiq_awb_stat_wp_res_v201_t
excWpRangeResult[RK_AIQ_AWB_STAT_WP_RANGE_NUM_V201];
    unsigned int WpNoHist[RK_AIQ_AWB_WP_HIST_BIN_NUM];
    struct rk_aiq_customAwb_stats_s* next;
} rk_aiq_customAwb_stats_t;

【Поля】

【Примечание】

Подробности полей см. в определении структуры rk_aiq_isp_awb_stats2_v3x_t раздела «Статистика/Типы данных» документа Rockchip_Development_Guide_ISP30.

2.2.2.3 Результаты вычислений

2.2.2.3.1 rk_aiq_customeAwb_results_t

【Описание】Определяет параметры конфигурации и результаты вычисления собственного AWB.

【Определение】

typedef struct rk_aiq_customeAwb_results_s
{
    bool IsConverged; true: converged; false: not converged
    rk_aiq_wb_gain_t awb_gain_algo;
    float awb_smooth_factor;
    rk_aiq_customAwb_hw_cfg_t awbHwConfig;
    rk_aiq_customeAwb_single_results_t *next;//defalut vaue is nullptr,which means all cameras with the same cfg;
} rk_aiq_customeAwb_results_t;

【Поля】

2.2.2.3.2 rk_aiq_customeAwb_single_results_t

【Описание】Определяет настройки и результаты собственного AWB для каждой камеры кругового обзора; вне режима кругового обзора не требуется.

【Определение】

typedef struct rk_aiq_customeAwb_single_results_s
{
    rk_aiq_wb_gain_t awb_gain_algo;//for each camera
    rk_aiq_customAwb_single_hw_cfg_t awbHwConfig;//for each camera
    struct rk_aiq_customeAwb_single_results_s *next;
} rk_aiq_customeAwb_single_results_t;

【Поля】

2.2.2.3.3 rk_aiq_wb_gain_t

Определение rk_aiq_wb_gain_t см. в разделе «AWB/API уровня функций/Типы данных» документа Rockchip_Development_Guide_ISP32 (исходник ссылается именно на ISP32).

2.2.2.3.4 rk_aiq_customAwb_hw_cfg_t

【Описание】Определяет аппаратную конфигурацию собственного AWB: главное и дополнительные окна, выбор кадра статистики и другие настройки.

【Определение】

typedef struct rk_aiq_customAwb_hw_cfg_s {
    bool awbEnable;
    bool lscBypEnable;
    uint8_t frameChoose;
    unsigned short windowSet[4];
    unsigned char lightNum;
    unsigned short maxR;
    unsigned short minR;
    unsigned short maxG;
    unsigned short minG;
    unsigned short maxB;
    unsigned short minB;
    unsigned short maxY;
    unsigned short minY;
    bool uvDetectionEnable;
    rk_aiq_awb_uv_range_para_t uvRange_param[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    bool xyDetectionEnable;
    rk_aiq_rgb2xy_para_t rgb2xy_param;
    rk_aiq_awb_xy_range_para_t xyRange_param[RK_AIQ_AWB_MAX_WHITEREGIONS_NUM];
    bool threeDyuvEnable;
    unsigned short threeDyuvIllu[RK_AIQ_AWB_YUV_LS_PARA_NUM];
    short icrgb2RYuv_matrix[12];
    rk_aiq_awb_rt3dyuv_range_para_t
ic3Dyuv2Range_param[RK_AIQ_AWB_YUV_LS_PARA_NUM];
    bool multiwindow_en;
    unsigned short multiwindow[RK_AIQ_AWB_MULTIWINDOW_NUM_V201][4];
} rk_aiq_customAwb_hw_cfg_t;

【Поля】

【Примечание】

В исходнике указано, что параметры, отмеченные чёрным, могут использовать значения по умолчанию; эта формулировка сохранена, проверяйте также описание каждого параметра.

Для более глубокого понимания параметров см. следующие материалы Rockchip_Color_Optimization_Guide:

(a) Раздел «2 AWB/2.1 Описание функции» и схема AWB.

(b) Схема обнаружения белых точек AWB в разделе «2 AWB/2.2 Ключевые параметры/аппаратное обнаружение белых точек».

2.2.2.3.5 rk_aiq_customAwb_hw_cfg_t

【Описание】Определяет отдельные аппаратные настройки каждой камеры кругового обзора; вне этого режима не требуется. Заголовок исходника повторяет имя предыдущей структуры; определение кода сохранено.

【Определение】

typedef struct rk_aiq_customAwb_single_hw_cfg_t {
    unsigned short windowSet[4];
    bool multiwindow_en;
    unsigned short multiwindow[RK_AIQ_AWB_MULTIWINDOW_NUM_V201][4];
    bool blkWeightEnable;
    unsigned char blkWeight[RK_AIQ_AWB_GRID_NUM_TOTAL];
} rk_aiq_customAwb_single_hw_cfg_t;

【Поля】

2.2.2.3.6 rk_aiq_awb_uv_range_para_t

【Описание】Определяет границы четырёхугольной области белых точек в UV для собственного AWB.

Технический рисунок английского исходника, PDF p.30.

【Определение】

typedef struct rk_aiq_awb_uv_range_para_s {
    unsigned short pu_region[5];
    unsigned short pv_region[5];
    int slope_inv[4];
} rk_aiq_awb_uv_range_para_t;

【Поля】

【Примечание】

Параметры получаются инструментом калибровки и переводятся в фиксированную точку либо преобразуются согласно разделу «AWB/Обнаружение белых точек UV» документа Rockchip_Color_Optimization_Guide_ISP30.

Параметры зависят от модуля; при uvDetectionEnable=ture (написание исходника) они должны быть заданы корректно.

2.2.2.3.7 rk_aiq_rgb2xy_para_t

【Описание】Определяет параметры преобразования RGB в XY для собственного AWB.

【Определение】

typedef struct rk_aiq_rgb2xy_para_s {
    unsigned short pseudoLuminanceWeight[3];
    short rotationMat[9];
} rk_aiq_rgb2xy_para_t;

【Поля】

【Примечание】

Параметры получаются инструментом калибровки и переводятся в фиксированную точку согласно разделу «AWB/RGB2XY» документа Rockchip_Color_Optimization_Guide_ISP30.

Параметры зависят от модуля; при xyDetectionEnable=ture (написание исходника) они должны быть заданы корректно.

2.2.2.3.8 rk_aiq_awb_xy_range_para_t

【Описание】Определяет границы четырёхугольной области белых точек в XY для собственного AWB.

Технический рисунок английского исходника, PDF p.31.

【Определение】

typedef struct rk_aiq_awb_xy_range_para_s {
    int NorrangeX[2];
    int NorrangeY[2];
    int SperangeX[2];
    int SperangeY[2];
    int SmalrangeX[2];
    int SmalrangeY[2];
} rk_aiq_awb_xy_range_para_t;

【Поля】

【Примечания】

Параметры получаются инструментом калибровки и переводятся в фиксированную точку согласно разделу «AWB/Обнаружение белых точек XY» документа Rockchip_Color_Optimization_Guide_ISP30.

Параметры зависят от модуля; при xyDetectionEnable=ture (написание исходника) они должны быть заданы корректно.

2.2.2.3.9 rk_aiq_awb_rt3dyuv_range_para_t

【Описание】Определяет ограничения белых точек в YUV для собственного AWB.

【Определение】

typedef struct rk_aiq_awb_rt3dyuv_range_para_s {
    unsigned char thcurve_u[6];
    unsigned short thcure_th[6];
    unsigned short lineP1[3];
    short vP1P2[3];
    unsigned char disP1P2;
} rk_aiq_awb_rt3dyuv_range_para_t;

【Поля】

【Примечания】

Технический рисунок английского исходника, PDF p.33.

Параметры получаются инструментом калибровки и переводятся в фиксированную точку либо преобразуются согласно разделу «AWB/Обнаружение белых точек YUV» документа Rockchip_Color_Optimization_Guide_ISP30.

Параметры зависят от модуля; при threeDyuvEnable=ture (написание исходника) и threeDyuvIllu, отличном от 7, они должны быть заданы корректно.

2.2.2.3.10 rk_aiq_awb_exc_range_v201_t

【Описание】Определяет границы исключаемых/дополнительных областей белых точек в UV или XY для собственного AWB.

【Определение】

typedef struct rk_aiq_awb_exc_range_v201_s {
    rk_aiq_awb_exc_range_domain_t domain;
    bool excludeEnable[RK_AIQ_AWB_XY_TYPE_MAX_V201];
    bool measureEnable;
    int xu[2];
    int yv[2];
} rk_aiq_awb_exc_range_v201_t;

【Поля】

【Примечания】

Можно настроить максимум 7 окон, но measureEnable=true допустимо только для первых 4.

2.3 Разработка собственного AF

Если библиотека RK AF не используется, пользователь может разработать AF по статистике 3A для управления увеличением, фокусировкой и другими функциями.

При реализации AF:

1. Сначала вызовите rk_aiq_user_api2_af_SetAttrib для настройки статистики AF.

2. Получите статистику 3A через rk_aiq_uapi_sysctl_get3AStatsBlk. Это блокирующий API, возвращающий управление сразу после появления новых данных.

3. Собственный AF выполняет расчёты по статистике 3A и управляет движением моторов увеличения и фокусировки.

4. В конце вызовите rk_aiq_uapi_sysctl_release3AStatsRef для освобождения полученной статистики 3A.

Общий процесс показан на схеме ниже.

Технический рисунок английского исходника, PDF p.35.

2.3.1 Модуль статистики AF

Технический рисунок английского исходника, PDF p.35.

При HDR-входе Sensor модуль AF может использовать изображение короткой, средней или длинной экспозиции HDR либо данные объединённого HDR-изображения для статистики.

При обычном входе Sensor модуль AF может использовать входное изображение Sensor либо изображение после debayer для статистики.

Поддерживаются два окна: главное A и независимое B.

Главное окно A содержит 15*15 подокон и четыре настраиваемых фильтра V1/V2/H1/H2; выдаются четыре группы FV, значения яркости и статистика светлых участков.

Независимое окно B вычисляет FV фиксированным оператором и выдаёт одно значение FV, яркость и статистику светлых участков.

2.3.2 Настройка окон статистики AF

Главное окно A и независимое B имеют прямоугольную форму; задаются координаты левого верхнего угла, ширина и высота.

Технический рисунок английского исходника, PDF p.36.

2.3.3 Gamma

Gamma преобразует входной RAW Sensor в представление естественной яркости, воспринимаемой глазом. Координата x: от 0 до 1023; сегменты: 16 16 16 16 32 32 32 32 64 64 64 128 128 128 128 128. Диапазон y: от 0 до 1023.

Технический рисунок английского исходника, PDF p.36.

2.3.4 Фильтры фокусировки

Главное окно A предоставляет четыре настраиваемых фильтра V1/V2/H1/H2; независимое B использует фиксированные операторы.

Полосы частот V1/V2/H1/H2 можно настраивать; значения регистров генерируются инструментом проектирования фильтров.

Технический рисунок английского исходника, PDF p.37.

2.3.5 Яркость/светлые участки

Главное окно A предоставляет статистику яркости и счётчик светлых участков.

FV чувствительно к источнику света. При расфокусировке расширение ореола усиливает низкочастотную составляющую: изображение становится нерезким, но FV увеличивается.

Обычно используется счётчик светлых участков: при расфокусировке ореол расширяется и число светлых точек возрастает; при резком изображении оно минимально.

2.3.6 Усиление в зависимости от яркости (LDG)

Влияние источника света также можно уменьшить функцией LDG: она ослабляет FV по яркости пикселя, снижая вклад слишком светлых и слишком тёмных точек.

Технический рисунок английского исходника, PDF p.38.

При яркости в [ldg_xl, ldg_xh] выходное усиление равно 1, FV не ослабляется.

При яркости в [0, ldg_xl] усиление уменьшается с наклоном ldg_kl, но не ниже ldg_yl.

gain = 256 - ldg_kl*(ldg_xl - x)/256; gain = max(gain, ldg_yl);

При яркости в [ldg_xh, 255] усиление уменьшается с наклоном ldg_kh, но не ниже ldg_yh.

gain = 256 - ldg_kh*(x-ldg_xh)/256; gain = max(gain, ldg_yh);

Горизонтальные H1/H2 используют общую кривую LDG; вертикальные V1/V2 — другую общую кривую.

2.3.7 Порог FV

При вычислении FV значения ниже порога FV не учитываются в итоговом выходе, что уменьшает влияние шума.

Технический рисунок английского исходника, PDF p.39.

Порог FV применяется к результату фильтрации после обработки LDG.

2.3.8 Расчёт FV

FV поддерживает режим абсолютного значения и квадратный режим. Возведение FV в квадрат увеличивает относительный вклад резких областей.

Для предотвращения переполнения итогового FV задаются четыре правых сдвига v1/v2/h1/h2 главного окна и два сдвига fv/luma независимого окна.

2.3.9 Выход FV

Главное окно A выдаёт данные FV v1/v2/h1/h2 для 1515 и luma/highlight для 1515 (так напечатано в исходнике; предыдущий текст и рисунок показывают сетку 15×15).

Распределение выхода главного окна A по изображению показано ниже.

Выход независимого окна B содержит одно значение FV, одно значение яркости и статистику светлых участков.

Технический рисунок английского исходника, PDF p.40.

Редактируемая расшифровка сетки FV:

2.3.10 Расчёт итогового FV

H1 и V1 можно настроить на низкочастотную полосу для грубого поиска, H2 и V2 — на высокочастотную для точного.

Выходы горизонтального фильтра H и вертикального V можно объединять с заданными весами.

FV = FvH * weight + FvV * (1-weight)

Значения FV отдельных блоков также можно взвешивать по необходимости.

2.3.11 Настройка статистики AF

Для настройки используется rk_aiq_user_api2_af_SetAttrib.

XCamReturn
rk_aiq_user_api2_af_SetAttrib(const rk_aiq_sys_ctx_t* sys_ctx, rk_aiq_af_attrib_t
attr);

Определение rk_aiq_af_algo_meas_v30_t в параметре rk_aiq_af_attrib_t приведено ниже:

typedef struct {
    unsigned char af_en;
    unsigned char rawaf_sel;
    unsigned char gamma_en;
    unsigned char gaus_en;
    unsigned char v1_fir_sel;
    unsigned char hiir_en;
    unsigned char viir_en;
unsigned char v1_fv_outmode; // 0 square, 1 absolute
unsigned char v2_fv_outmode; // 0 square, 1 absolute
unsigned char h1_fv_outmode; // 0 square, 1 absolute
unsigned char h2_fv_outmode; // 0 square, 1 absolute
unsigned char ldg_en;
unsigned char accu_8bit_mode; // fix to 1
unsigned char ae_mode;
unsigned char y_mode; // fix to 0
unsigned char line_en[RKAIQ_RAWAF_LINE_NUM];
unsigned char line_num[RKAIQ_RAWAF_LINE_NUM];
unsigned char window_num;
unsigned short wina_h_offs;
unsigned short wina_v_offs;
unsigned short wina_h_size;
unsigned short wina_v_size;
unsigned short winb_h_offs;
unsigned short winb_v_offs;
unsigned short winb_h_size;
unsigned short winb_v_size;
unsigned short gamma_y[RKAIQ_RAWAF_GAMMA_NUM];
// [old version param]
unsigned short thres;
unsigned char shift_sum_a;
unsigned char shift_sum_b;
unsigned char shift_y_a;
unsigned char shift_y_b;
/**********[Vertical IIR (v1 & v2)]************/
short v1_iir_coe[9];
short v1_fir_coe[3];
short v2_iir_coe[3];
short v2_fir_coe[3];
/**********[Horizontal IIR (h1 & h2)]************/
short h1_iir1_coe[6];
short h2_iir1_coe[6];
short h1_iir2_coe[6];
short h2_iir2_coe[6];
/**********[Focus value statistic param]**********/
// level depended gain
// input8 lumi, output8bit gain
unsigned char h_ldg_lumth[2]; //luminance thresh
unsigned char h_ldg_gain[2]; //gain for [minLum,maxLum]
unsigned short h_ldg_gslp[2]; //[slope_low,-slope_high]
unsigned char v_ldg_lumth[2];
unsigned char v_ldg_gain[2];
unsigned short v_ldg_gslp[2];
// coring
unsigned short v_fv_thresh;
unsigned short h_fv_thresh;
    // left shift, more needed if outmode=square
    unsigned char v1_fv_shift; //only for sel1
    unsigned char v2_fv_shift;
    unsigned char h1_fv_shift;
    unsigned char h2_fv_shift;
    /**********[High light]**********/
    unsigned short highlit_thresh;
} rk_aiq_af_algo_meas_v30_t;

2.3.12 Получение статистики AF

Подробности см. в разделе «Статистика» документа Rockchip_Development_Guide_ISP30.

rk_aiq_uapi_sysctl_get3AStatsBlk () / rk_aiq_uapi_sysctl_release3AStatsRef()

Структура результатов статистики AF — rk_aiq_af_algo_stat_v30_t.

2.3.13 Использование инструмента проектирования фильтров

См. документацию Filter Design Tool.

2.4 Примеры кода

Для реализации собственного 3A можно использовать следующие примеры:

Каталог: корень AIQ/rkisp_demo/demo/

|-------ae_algo_demo: пример алгоритма AE.

|-------awb_algo_demo: пример алгоритма AWB.

|-------af_algo_demo: пример алгоритма AF.