Rockchip IQ Tools: полный захват, калибровка и интерактивная настройка ISP

Применимость к ArmSoM и источник

Справочный материал для адаптации ArmSoM по единственному предоставленному Rockchip_IQ_Tools_Guide_EN_v1.0.1.pdf (RK-SM-YF-609, 81 страница). Китайского PDF нет; китайская, русская и немецкая версии полностью переведены с английского. Во всех версиях английские оригинальные рисунки; URL немецких и английских изображений совпадают. Область 1.2: RK356x/RKISP21, RK3588/RKISP30, RV1106/RKISP32, Linux/Android; версия ядра не указана. Сверьте плату ArmSoM, SoC, SDK/BSP, ядро, драйверы сенсора/объектива, ToolServer, Tuner и шаблоны IQ. Адаптация платы и качество изображения аппаратно не проверены. Время, усиление, сравнения и параметры — примеры исходника, не измерения ArmSoM.

Примеры содержат перезагрузку, изменение прав и setenforce 0 (ослабление SELinux). Они сохранены для полноты, не выполнялись при подготовке и не предназначены для слепого применения в рабочей системе.

Редакционные примечания · ArmSoM Docs · Rockchip AIQ

Статья описывает RKISP2 Tuner и настройку ISP, помогая инженерам начать работу и предоставляя справочный материал для настройки IQ.

1 Введение

1.1 Обзор

RKISP Tuner (далее Tuner) предоставляет набор инструментов настройки параметров ISP: Calibration, Tuning и другие операции со всеми модулями. Capture Tool захватывает Raw, Calibration Tool калибрует базовые модули, затем Tuner подключается к устройству для интерактивной настройки ISP.

1.2 Поддерживаемые версии

Версии ISP21, ISP30 и ISP32 значительно улучшили совместимость. Версии ToolServer и RKISP Tuner должны соответствовать друг другу. Если параметры интерфейса отличаются от файлов устройства, обратитесь к инженерам Rockchip для обновления шаблона параметров.

1.3 Подготовка среды

Требования к компьютеру

1. Компьютеру Tuner требуется x64 Windows 7 либо более новая 64-битная Windows.

1. До запуска установите 64-битный MCR_R2016a (9.0.1); исходник поддерживает только эту версию. Загрузка: https://ww2.mathworks.cn/products/compiler/matlab-runtime

Требования на стороне устройства

1. Нужен сетевой адаптер с проводным, беспроводным или иным подключением к локальной сети.

1. Устройство без сетевого адаптера должно поддерживать RNDIS: оно определяется как USB-сетевой адаптер и соединяется с ПК через USB.

1.4 Установка и настройка

RKISP2.x Tuner не требует установки: распакуйте архив в любой каталог и запускайте. Избегайте путей с китайскими символами.

Исходник ссылается на раздел 3 с требованием предварительной установки MCR_R2016a. Шаги ниже; фактически требования находятся в 1.3, несоответствие ссылки отмечено.

1. Запустите MCR_R2016a_x64.exe и дождитесь распаковки.

Рисунок 1-4-1

1. Нажмите Next, примите условия, затем Next и Install.

Рисунок 1-4-2

1. Дождитесь завершения установки.

Рисунок 1-4-3

1. Установка завершена.

Рисунок 1-4-4

2 Описание функций

2.1 Обзор

Следуйте приведённому ниже процессу настройки:

Рисунок 2-1-1

На подготовительном этапе создайте базовый IQ-файл (.json) со всеми регулируемыми параметрами ISP. После настройки замените соответствующий файл прошивки или устройства и перезапустите приложение камеры для проверки результата.

Захват Raw, интерактивная настройка и обмен параметрами работают через сетевой протокол. ПК и устройство должны находиться в одной локальной сети.

Процесс калибровки:

Рисунок 2-1-2

Калибровка некоторых модулей зависит от результатов предыдущих. Соблюдайте порядок и проверяйте корректность результата после каждого модуля.

2.2 Конфигурация сенсора

Рисунок 2-2-1

Интерфейс сенсора на рисунке 2-2-1 состоит из двух частей:

1. Область параметров: см. sensorinfo parameters, 4.1.2.5 Rockchip_Tuning_Guide_ISP21/30/32. Заполняйте по Datasheet сенсора; может потребоваться помощь разработчика драйвера.

1. Меню: импорт из SensorList.ini и экспорт в него.

2.3 RKISP Capture Tool

Рисунок 2-3-1

Основной интерфейс RKISP Capture Tool на рисунке 2-3-1 содержит три части:

1. Соединение с устройством: сетевые параметры, переключение режима и проверка связи.

1. Настройки захвата делятся на Raw Capture и Online Capture. Raw Capture — автономный захват Raw с конфигурацией камеры и экспозиции. Задаются параметры сенсора, имена Module/Light, разрешение и диапазоны Gain/Exposure. Поддерживаются ручная и автоматическая экспозиция и захват для калибровки NR. В ручном режиме шаг задаёт перебор комбинаций экспозиции; автоматический ищет параметры до целевой яркости. YNR Capture получает Raw для калибровки YNR, см. 4.6.1. Online Capture захватывает raw и yuv из работающего потока.

1. Предпросмотр и статистика Raw: серое изображение, гистограмма и яркость ROI.

2.4 RKISP Calibration Tool

Для выбранных SoC и версии (рисунок 2-4-1) загружается соответствующий RKISP Calibration Tool (2-4-2). Импортируемый IQ-файл также должен соответствовать SoC и версии.

Рисунок 2-4-1

Рисунок 2-4-2

Интерфейс RKISP Calibration Tool (2-4-2) включает BLC — коррекцию чёрного, LSC — коррекцию затенения объектива, CCM — матрицу цветокоррекции, AWB — автоматический баланс белого.

GIC — баланс зелёных каналов (калибровка входит в Bayer NR); Bayer NR — шумоподавление Raw с Bayer 2DNR/Bayer 3DNR; YNR — шумоподавление Y; FEC — калибровка fisheye.

2.5 RKRAW Tool

Рисунок 2-5-1

RKRAW Tool (2-5-1) просматривает jpg/bmp/png, raw, RKRawV1 и RKRawV2. Исходник говорит о четырёх частях, но перечисляет пять; сохранены все:

1. Файловая система: выбор пути изображения.

1. Окно просмотра: правой кнопкой переключаются GRAY/RGB и Normal/Hdr Short/Mid/Long (последние только RKRawV2), см. 2-5-2. Ctrl и колесо изменяют масштаб.

1. Гистограмма: статистика серого канала.

1. Информация RKRawV2: формат raw, экспозиция и другие параметры.

1. Compare: удерживая Ctrl, выберите более двух изображений и нажмите compare, см. 2-5-3.

Рисунок 2-5-2

Рисунок 2-5-3

2.6 RKISP 3D-LUT Tools

Рисунок 2-6-1

RKISP 3D-LutTool (2-6-1): слева область LUT, справа предпросмотр.

1. File: импорт изображений, импорт/сохранение IQ и LUT Info. Load Image поддерживает jpg/bmp/png/nv12 и показывает изображение справа в Preview (2-6-2). Load IQ File импортирует IQ с выбором сцены и таблицы Lut3D (2-6-3).

Рисунок 2-6-2

Рисунок 2-6-3

Save IQ File: перезапись существующей таблицы IQ либо создание новой (2-6-4).

Рисунок 2-6-4

1. Поиск цвета: при движении мыши соответствующий цвет отмечается в LUT слева (2-6-5). Левая кнопка фиксирует его. Меняйте цвет через Adjust Sat, Adjust Hue либо перетаскиванием точки. Отображаются AB, Sat, Hue, RGB до/после и изменения LUT/Preview.

Рисунок 2-6-5

1. Adjust Sat: ползунок меняет отмеченный цвет и соседние (2-6-6(a)). Для изменения только отмеченного цвета зафиксируйте остальные правой кнопкой: круг превращается в квадрат. После этого Adjust Sat меняет лишь отмеченный цвет (2-6-6(b)).

(a)

(b)

Рисунок 2-6-6

1. After & Before: просмотр до и после настройки.

1. Reset LUT: восстановление LUT по умолчанию.

1. Image: вращение влево/вправо, вертикальное/горизонтальное отражение и сохранение результата (2-6-7).

Рисунок 2-6-7

1. Options: настройки отображения LUT, размера точек и толщины линий (2-6-8).

Рисунок 2-6-8

2.7 RKISP 3A Analyzer Tool

Рисунок 2-7-1

Нажмите Connect для соединения с rkaiq_tool_server и откройте RKISP 3AAnalyzerTool (2-7-1). Измените URL, включите Open для предпросмотра. Версия поддерживает статистику AE и AWB.

TimerSet: интервал получения данных.

Reverse color: изменение цвета данных в предпросмотре.

Кнопка AE открывает модуль и динамическую гистограмму в AE Statistics. Предпросмотр делится на 15 * 15 ячеек с 12bit-статистикой соответствующих блоков. Channel переключает канал; HDR поддерживает кадры L/M/S (2-7-2).

Рисунок 2-7-2

Кнопка AWB выводит текущий статус в AWB Statistics. Предпросмотр делится на 15 * 15 ячеек с числом белых точек и WBGains соответствующего блока (2-7-3).

Рисунок 2-7-3

3 Быстрый старт

3.1 Подготовка

Значительная часть настройки ISP выполняется на устройстве. Сервис передаёт данные между Tuner и AIQ, захватывает Raw и выполняет другие задачи. До настройки передайте сервис и связанные файлы на устройство и запустите их. Ниже подготовка Android и Linux:

1. Подключение к LAN.

1. Запуск rkaiq_tool_server и настройка среды. Команды и файлы передаются через TFTP, последовательный порт, ADB и другие средства; пример использует ADB.

3.1.1 Android

3.1.1.1 RK356X & RK3588

Для устройств с проводной сетью:

1. Соедините устройство и маршрутизатор сетевым кабелем.

1. Проверьте IP устройства командой ifconfig.

1. Подключите ПК к тому же маршрутизатору по кабелю или Wi-Fi.

1. Проверьте IP ПК и выполните ping на ПК или устройстве для проверки связи.

Для устройств без проводной сети (планшетов и т. п.):

1. Соедините ПК и EVB кабелем USB через тот же порт, что ADB.

1. Включите питание и загрузите систему.

1. Откройте Settings.

1. Перейдите в Network&internet.

1. Перейдите в Hotspot&tethering.

1. Включите USB tethering.

1. Войдите на устройство через adb shell.

1. Выполните ifconfig usb0 для просмотра IP.

1. Проверьте сеть командой ping на ПК или устройстве.

Порядок запуска rkaiq_tool_server. Если сервис и зависимости уже находятся в нужных каталогах устройства, просто запустите rkaiq_tool_server.

1. Соберите rkaiq_tool_server и rkaiq_3A_server в SDK.

1. Путь SDK: external/rkaiq_tool_server. Нужна прошивка user-debug.

1. Передайте android.hardware.camera.provider@2.4-service.rc в /vendor/etc/init/ платы.

1. В /vendor/etc/init/ выполните chmod 644 android.hardware.camera.provider@2.4-service.rc.

1. Передайте rkaiq_tool_server и rkaiq_3A_server в /vendor/bin/.

1. В /vendor/bin/ выполните chmod 755 rkaiq_tool_server, аналогично для rkaiq_3A_server.

1. Сбросьте кэш командой sync.

1. Перезагрузите устройство.

1. Выполните setenforce 0.

1. Запустите apk камеры.

1. Запустите rkaiq_tool_server.

Пример работы через ADB:

#The following commands are run in cmd on the PC side
adb root
adb remount
adb push android.hardware.camera.provider@2.4-service.rc /vendor/etc/init/
adb push rkaiq_tool_server /vendor/bin/
adb shell

# The following commands are executed in adb shell terminal
chmod 644 /vendor/etc/init/android.hardware.camera.provider@2.4-service.rc
chmod 755 /vendor/bin/rkaiq_tool_server
sync
reboot

# After restart, enter adb shell again
# disable SELinux
setenforce 0
# Manually run the camera apk first
# Then run tool server
/vendor/bin/rkaiq_tool_server &

Пример нескольких камер:

#If there are 2 sensors in the device and you need to switch to another sensor for tuning, run tool server as follows:
/vendor/bin/rkaiq_tool_server -d 1 &

После передачи на устройство исходных IQ-параметров, созданных New, сбросьте приложение камеры и снова запустите ToolServer следующим образом. При сбое, зависании, отказе настройки или предпросмотра также попробуйте это переподключение.

source /vendor/etc/camera/reset_camera.sh
# run camera apk
/vendor/bin/rkaiq_tool_server &

3.1.2 Linux

3.1.2.1 RK356X & RK3588 & RV1106

Для устройств с проводной сетью:

1. Соедините устройство и маршрутизатор сетевым кабелем.

1. Проверьте IP устройства командой ifconfig.

1. Подключите ПК к тому же маршрутизатору по кабелю или Wi-Fi.

1. Проверьте IP ПК и выполните ping на ПК или устройстве для проверки связи.

Для устройств без проводной сети:

1. Попробуйте запустить RNDIS.

1. Проверьте IP устройства командой ifconfig.

1. Проверьте сеть командой ping на ПК или устройстве.

Порядок запуска rkaiq_tool_server. Если сервис и зависимости уже находятся в нужных каталогах устройства, просто запустите rkaiq_tool_server.

1. Соберите rkaiq_tool_server и librkmedia.so в SDK.

1. Передайте librkmedia.so в /data/ платы.

1. В /data/ выполните chmod 777 librkmedia.so.

1. Передайте rkaiq_tool_server в /data/ платы.

1. В /data/ выполните chmod 777 rkaiq_tool_server.

1. Сбросьте кэш командой sync.

1. Перезагрузите устройство.

1. Запустите приложение камеры.

1. Запустите rkaiq_tool_server.

Пример работы через ADB:

#The following commands are run in cmd on the PC side
adb root
adb remount
adb push librkmedia.so /data/
adb push rkaiq_tool_server /data/
adb shell

# The following commands are executed in adb shell
chmod 777 /data/rkaiq_tool_server
sync
reboot

# After restart, enter adb shell again
# Run the camera app first
/data/rkaiq_tool_server &

3.2 Параметры ToolServer

Параметры и конфигурация rkaiq_tool_server:

-d: выбор сенсора по номеру 0/1/2, по умолчанию 0. Команда media-ctl -p -d /dev/mediaX (X=0/1/2/3…) показывает топологию с именами сенсоров. В m01_b_ov8858 2-0036 m01 соответствует mNN, где NN — двузначный индекс. Поэтому используется -d 1, без ведущего нуля.

-s: video-узел захвата YUV; по умолчанию ищется iqtool, вручную можно задать mainPath или selfPath.

-r: RTSP, 0 — выключен, 1 — включён, по умолчанию 0. После включения доступен Start RTSP в CaptureTool.

-i: путь IQ-файла; меняйте вместе с расположением файла, при -r 0 игнорируется.

-w/-h: разрешение предпросмотра RTSP с масштабированием выхода ISP, по умолчанию 1920/1080.

-n: число буферов непрерывного онлайн-захвата Raw, по умолчанию 4. При большом числе последовательных Raw увеличьте его.

-f: частота отправки кадров автономной функции; исходное значение по умолчанию — 10 frames.

3.3 Платформа и IP-адрес

1. Откройте RKISP Tuner; начальная конфигурация показана на 3-3-1.

Рисунок 3-3-1

1. Выберите SoC и введите найденный IP. Порт по умолчанию 5543; без особой необходимости не меняйте. Проверьте работу rkaiq_tool_server и нажмите Connect to rkaiq_tool_server. Для предпросмотра сторонними средствами исходник отсылает к пункту 3 раздела 3.7.

1. Нажмите OK; интерфейс выбранных SoC и версии показан на 3-3-2.

Рисунок 3-3-2

3.4 Создание конфигурации сенсора и IQ-файла

1. Выберите File → New.

Рисунок 3-4-1

Рисунок 3-4-2

1. Нажмите New справа от списка Sensor для открытия Sensor Information.

Рисунок 3-4-3

1. Заполните Sensor Information и выберите File → Export To Sensor List.

Рисунок 3-4-4

1. Введите имя сенсора и нажмите OK для сохранения.

Рисунок 3-4-5

1. Закройте конфигурацию: новый сенсор появится в списке окна Generated New IQ File.

Рисунок 3-4-6

1. Выберите сенсор и нажмите Generate IQ File.

3.5 Загрузка/сохранение параметров и выбор сцены

1. Выберите File → Open… и IQ-файл.

Рисунок 3-5-1

1. Scene Selection показывает группы сцен IQ-файла. Выберите нужную сцену и OK.

Рисунок 3-5-2

1. IQ-файл сравнивается с шаблоном UI, различия выводятся в Different Member List. Слева Missing — отсутствующие в IQ параметры; справа Existed — имеющиеся в IQ, но удалённые или переименованные в UI.

Рисунок 3-5-3

1. File → Save As… (3-5-4, 3-5-5) сохраняет параметры в сцену шага 2 либо в новую. Можно сохранить только выбранные модули; изменённые параметры показаны справа.

Рисунок 3-5-4

Рисунок 3-5-5

3.6 Редактирование сенсора

1. Загрузите IQ-файл по предыдущему разделу.

1. Выберите Tuning → Edit Sensor Information для открытия Sensor Info.

Рисунок 3-6-1

Рисунок 3-6-2

1. Выберите File → Import From Sensor List.

Рисунок 3-6-3

1. Выберите сенсор, как показано ниже.

Рисунок 3-6-4

1. Нажмите OK для импорта параметров.

1. Закройте Sensor Information.

1. Если сенсора нет в списке, создайте конфигурацию в Sensor Information по его Datasheet.

3.7 Захват Raw и YUV

3.7.1 Автономный захват Raw

1. Выберите Tools → RK Capture Tool.

Рисунок 3-7-1-1

1. Проверьте IP и нажмите Device Status. При правильном соединении Tuner с rkaiq_tool_server появится Device is Ready.

Рисунок 3-7-1-2

1. Start RTSP Streaming включает камеру и поток RTSP (необязательно).

1) Android: после Start RTSP Streaming откройте rtsp://192.168.10.104:1234/v сторонним плеером. APK камеры устройства отключается; чтобы вернуть камеру, нажмите Stop RTSP Streaming, затем Switch To Tuning Mode.

2) Linux: завершите другие работающие на плате программы камеры, затем запустите ToolServer. После Start RTSP Streaming предпросмотр доступен через rtsp://192.168.10.104/live/0.

1. Выберите сенсор для настройки.

Рисунок 3-7-1-3

1. Выберите правильные разрешение, источник света и имя модуля.

1. Задайте Gain, Exposure Time, количество и другие параметры.

1. Нажмите Start Manual Capture.

1. Raw появится справа в Raw Preview & Statistics.

1. Здесь также доступны гистограмма, максимальная/минимальная/средняя яркость, глобальный wb gain и другие данные.

1. Raw по умолчанию сохраняется в ./raw_capture/module name/.

Рисунок 3-7-1-4: одиночный Raw, Gain=5x ExpTime=0.01s

3.7.2 Онлайн-захват YUV

1. Запустите приложение камеры и проверьте предпросмотр.

1. Запустите ToolServer, введите IP в инструменте и подключитесь.

1. Перейдите в Online Capture и введите Sensor Name — префикс имени YUV-файла.

1. Для последовательных кадров задайте количество Frame Num.

1. Нажмите Capture YUV: изображение доступно в предпросмотре, файл сохраняется в raw_capture/yuv/ (3-7-2-1).

Рисунок 3-7-2-1

3.7.3 Онлайн-захват Raw

1. Запустите приложение камеры и проверьте предпросмотр.

1. Запустите ToolServer, введите IP в инструменте и подключитесь.

1. Выберите Online Capture и введите Sensor Name — префикс имени Raw-файла.

1. Для последовательных кадров задайте количество Frame Num.

1. Нажмите Capture Raw: изображение видно в предпросмотре, файл сохраняется в raw_capture/ (3-7-3-1).

Рисунок 3-7-3-1

Максимальное число последовательных Raw онлайн

Максимум последовательных кадров зависит от числа буферов, задаваемого -n ToolServer. Больше буферов позволяет захватить больше кадров за операцию; если кадров больше буферов, возможны потери. Предел также зависит от выделенных ядром буферов и памяти. Пример изменений ядра приведён ниже.

Изображение патча полностью расшифровано ниже, оригинал оставлен для сверки. Это фрагмент исходника, не гарантия применимости к любому ядру.

diff --git a/include/media/videobuf2-core.h b/include/media/videobuf2-core.h
index 3f4f171..ee359c5 100644
--- a/include/media/videobuf2-core.h
+++ b/include/media/videobuf2-core.h
@@ -19,7 +19,7 @@
 #include <linux/bitops.h>
 #include <media/media-request.h>

-#define VB2_MAX_FRAME (64)
+#define VB2_MAX_FRAME (128)
 #define VB2_MAX_PLANES (8)

 /**
diff --git a/include/uapi/linux/videodev2.h b/include/uapi/linux/videodev2.h
index d900af7..592fccc 100644
--- a/include/uapi/linux/videodev2.h
+++ b/include/uapi/linux/videodev2.h
@@ -70,7 +70,7 @@
 /*
  * Common stuff for both V4L1 and V4L2
  * Moved from videodev.h
  */
-#define VIDEO_MAX_FRAME        64
+#define VIDEO_MAX_FRAME        128
 #define VIDEO_MAX_PLANES       8

4 Описание калибровки

Калибровка каждого модуля состоит из трёх этапов:

1. Захват: снимите Raw калибровочной мишени или сцены с подходящей для модуля экспозицией.

1. Вычисление: импортируйте Raw и рассчитайте параметры; отдельные модули допускают дополнительную подстройку.

1. Проверка и сохранение: оцените корректность параметров по критериям модуля.

4.1 Захват Raw

Исходник отсылает к 3.6 (там редактирование сенсора; захват находится в 3.7). Несоответствие ссылки отмечено.

4.2 Калибровка BLC

4.2.1 Основные принципы

Из-за Black Level сенсор выдаёт напряжение даже без внешнего света; его нужно вычитать из конечного сигнала. Для измерения резервируются неэкспонируемые пиксели, позволяющие получать Optical Black Level в реальном времени: Raw = Sensor Input - Optical Black Level.

С учётом отношения сигнал/шум обычно вводится базовый Pedestal: Raw = Sensor Input - Optical Black Level - Pedestal.

Для разных конфигураций сенсора итоговую коррекцию BLC получают из RAW полностью тёмной сцены.

Коррекция зависит главным образом от Gain и Temperature, поэтому разные ISO калибруются отдельно. BLC — смещение; при калибровке других модулей его необходимо вычесть, иначе параметры будут неверны.

RV1106: для сохранения тёмных деталей в Bayer2D/Bayer3D модуль BLC добавляет Sensor OB, то есть Pedestal. Некоторые сенсоры настраиваются последовательностью драйвера, другие имеют фиксированные значения, которые

уточняются по Datasheet или коду драйвера. Если определить их сложно, используйте справочные значения 4.2.4 либо среднее BLC каждого канала при Gain=1x.

4.2.2 Требования к Raw

1. Закройте объектив, полностью исключив свет.

1. Переберите Gain=1x, 2x, 4x, 8x, 16x…Max; если драйвер поддерживает до 40x, Max=32.

1. Выдержка не влияет на BLC и может быть одинаковой: 10ms.

4.2.3 Захват Raw

1. Откройте RK Capture Tool и подключитесь по 3.1/3.2. Свет — unknow (без света), модуль — BLC.

1. Поместите устройство/модуль в темноту и плотно закройте объектив чёрной тканью или крышкой.

1. В Manual Exposure включите Step и 2^n; по Gain Range задайте Gain Begin=1.0, Gain End=Max, ExpTime=0.010.

1. Start Manual Capture выполняет захват Raw с шагом степеней 2.

1. Raw отображаются справа; выбирайте изображение выпадающим списком.

Рисунок 4-2-3-1

4.2.4 Процесс калибровки

Рисунок 4-2-4-1: результаты BLC

1. В Calibration Tool откройте Edit Options слева сверху и задайте размер Raw, разрядность и порядок Bayer.

1. На странице BLC нажмите Load Raw Files и выберите каталог Raw.

1. Импортированные Raw появятся в списке справа.

1. Нажмите Calibrate. Для Linear на RV1106 сначала введите Sensor OB. Справочные значения:

1. Полученная Black Level Curve отображается сверху.

1. Значения BLC показаны в таблице; нажмите Save.

Примечания:

1. Проверьте засветку от индикаторов питания и состояния.

1. Ошибка BLC влияет на все последующие модули. Проверьте результат до дальнейшей калибровки.

4.3 Калибровка LSC

4.3.1 Основные принципы

Luma Shading обусловлен оптикой объектива. Если представить его выпуклой линзой, центр собирает свет сильнее краёв, поэтому центр сенсора ярче углов. Для камеры без искажений спад освещённости подчиняется формуле:

cos^4(theta)

4.3.2 Требования к Raw

1. Закройте объектив рассеивателем либо используйте DNP light box, интегрирующую сферу и т. п.

1. Снимайте в стандартном световом боксе; рекомендуются семь источников HZ, A, CWF, TL84, D50, D65, D75.

1. Для подавления мерцания сетевого света задавайте выдержку кратной 10ms.

1. Максимальная яркость Raw около 200 (8bit), минимальная заметно выше ранее найденного чёрного.

1. Рекомендуется показанный рассеиватель.

Рисунок 4-3-2-1: опаловый рассеиватель

4.3.3 Захват Raw

1. По 3.1/3.2 откройте RK Capture Tool, подключите устройство и выберите LSC.

1. Поместите модуль в световой бокс, включите HZ и установите рассеиватель у объектива.

1. Выберите HZ, в Auto Exposure включите Search Exposure by Max Luma (8bit) и Anti Flicker (50hz), задайте максимум 200±10%, Frame Number = 1.

1. Start Auto Capture автоматически подбирает экспозицию до заданного максимума яркости.

1. Переключите свет и имя на A, повторяйте шаг 4 для всех источников.

Рисунок 4-3-3-1

4.3.4 Процесс калибровки

1. В Calibration Tool → Edit Options слева сверху задайте размер, разрядность и порядок Bayer.

1. Выберите LSC и импортируйте все Raw через Load Raw Files.

1. Raw появятся в верхнем окне.

1. Установите Light Fall off 100%.

1. Нажмите Calibrate.

1. После калибровки просмотрите Raw каждого источника на странице результатов.

1. Нажмите Save.

1. Измените Light Fall off на 70% и повторите 5–7.

Рисунок 4-3-4-1

Рисунок 4-3-4-2

При слишком ярком или слабом свете инструмент может не найти экспозицию. Возможные решения:

1. Измените яркость света.

1. Используйте ND-фильтр.

1. Измените направление объектива.

1. Измените Gain Range либо Exp Range.

1. Измените максимум яркости или порог автоэкспозиции.

1. Используйте ручную экспозицию; минимальная яркость должна быть заметно выше чёрного из предыдущего раздела.

4.4 Калибровка AWB

4.4.1 Введение

Калибруются условия белых точек Raw в XY, UV, YUV, параметры алгоритма простых цветов и усиления баланса белого при стандартном свете.

4.4.2 Требования к Raw

Подготовка захвата Raw:

1. Оборудование: X-Rite 24 ColorChecker и световой бокс D75, D65, D50, TL84, CWF, A, HZ.

1. Настройте экспозицию: максимум самого яркого белого поля [150-240], чем ярче в этом диапазоне, тем лучше. Если Raw будет использоваться для CCM, сделайте его темнее.

1. ColorChecker занимает больше 1/9 кадра.

Порядок захвата Raw:

1. По 3.1/3.2 откройте RK Capture Tool, подключите устройство, модуль CCM_AWB.

1. Поместите устройство и ColorChecker в бокс, расположите мишень по центру как можно крупнее и не перемещайте устройство.

1. Включите бокс и свет HZ.

1. Выберите HZ, в Auto Exposure включите Search Exposure By Max Luma (8bit), Anti Flicker (50hz), максимум 200±10%, Frame Number = 1. Если при 1x Gain и выдержке кратной 10ms Raw не получается, отключите Anti-Flicker (50hz) и повторите.

Рисунок 4-4-2-1

1. Start Auto Capture автоматически подбирает экспозицию до заданной максимальной яркости.

1. Переключите свет и имя на A и повторите для всех источников.

Пример калибровочных Raw после демозаики:

Рисунок 4-4-2-2

4.4.3 Инструмент калибровки

1. Настройте условия белых точек UV/XY и TH в YUV.

Рисунок 4-4-3-1

Рисунок 4-4-3-2

1. Настройка условий белых точек UV/XY:

a) Перетаскивайте четыре угла области белых точек источника для изменения положения и размера.

b) Перетаскивайте пустую область координат для изменения диапазона отображения.

c) Колесом меняйте масштаб.

d) Exclude WPC Range задаёт области не-белых точек и белых точек дополнительных источников.

1. AWB Simulation обнаруживает белые точки исходного изображения, вычисляет WB Gain и их количество и отображает выбранные пиксели в UV/XY для проверки условий.

Рисунок 4-4-3-3

a) После LoadImage выводятся данные белых точек. Разные источники обозначены разными цветами. WP Number, RGain и BGain показывают число точек среднего/большого прямоугольников и накопленные RGain/BGain.

Рисунок 4-4-3-4

b) Щелчок по изображению (чёрная стрелка) показывает точку чёрным квадратом в UV/XY для проверки диапазона белого. Выводятся R G B U V X Y RGain BGain (красная область), а также u, th и расстояние до стандартного белого после проекции на источники YUV (три зелёные колонки).

Рисунок 4-4-3-5

Рисунок 4-4-3-6

4.4.4 Процесс калибровки

1. В Calibration Tool → Edit Options задайте размер Raw, sensor bpp и порядок Bayer.

1. До AWB завершите BLC и LSC.

1. Через Load Raw Files импортируйте Raw семи рекомендуемых источников A, CWF, D50, D65, D75, HZ, TL84.

1. Find Chart открывает поиск цветовых полей. Зеркальные изображения исправляются через Flip справа; поддерживаются горизонтальное и вертикальное отражения.

Рисунок 4-4-4-1

a) Перетащите центры красных рамок в четырёх углах так, чтобы статистические области находились в центре каждого поля (4-4-4-1).

b) Нажмите FindChart для распознавания полей всех источников (4-4-4-2).

Рисунок 4-4-4-2

c) Выберите другие источники и проверьте распознавание. Верно — 4-4-4-4, неверное положение — 4-4-4-3. Для исправления выберите Find Current Chart в Mode и повторяйте a)/b) только для текущего источника.

Рисунок 4-4-4-3

Рисунок 4-4-4-4

d) Нажмите save для завершения.

1. Calibrate занимает по исходнику около 30s и вычисляет начальные условия белых точек. Цветные точки UV/XY — положения полей ColorChecker разных источников, прямоугольники — их условия белого.

Рисунок 4-4-4-5

Рисунок 4-4-4-6

1. В AWB Simulation поочерёдно импортируйте Raw A, CWF, D50, D65, D75, HZ, TL84 и проверьте белые точки.

1. Меняйте рамки UV/XY либо TH YUV для повышения точности.

1. Нажмите Save, затем Run Simulator в AWB Simulation для просмотра белых точек.

1. Повторяйте 6–8 до корректного распознавания всех источников.

Примечания:

1. Добейтесь попадания белых полей 19, 20, 21, 22 внутрь рамки, остальных — наружу.

1. Средние рамки источников вдоль локуса чёрного тела должны быть непрерывны по x. Ошибка: малые промежутки больших рамок, но большие промежутки средних.

Правильный пример:

1. В направлении Y пространства XY области A/HZ можно сделать меньше, D50/D65 — больше.

1. Близкие по цветовой температуре CWF/TL84 можно расположить рядом по Y.

1. В UV между любыми двумя источниками не должно быть зазоров.

1. Области могут перекрываться, но не одновременно в XY и UV.

1. Исключая не-белые точки, настраивайте UV с учётом распределения XY.

Например, обведённое поле 7 D75 попадает в HZ и ошибочно распознаётся белым.

После настройки поле 7 D75 относится к разным источникам в xy/uv и больше не признаётся белым.

1. Не-белые точки внутри диапазонов XY/UV можно исключить уменьшением TH либо расширением диапазона не-белого.

1. Если точка в XY/UV не распознаётся белой, она может выходить за диапазон яркости, попадать в не-белую область либо быть ниже TH и не входить в диапазон белого YUV.

4.4.5 Примеры результатов AWB

Итоговые условия белых точек:

Рисунок 4-4-5-1

Результаты распознавания каждого источника:

Рисунок 4-4-5-1 A

Рисунок 4-4-5-2 CWF

Рисунок 4-4-5-3 D50

Рисунок 4-4-5-4 D65

Рисунок 4-4-5-5 D75

Рисунок 4-4-5-6 HZ

Рисунок 4-4-5-7 TL84

4.5 Калибровка CCM

4.5.1 Требования к Raw

Требования см. 4.4: CCM может использовать Raw AWB. Gamma влияет на CCM, поэтому после изменения кривой может потребоваться перенастройка. См.

4.5.2, пункт 12.

4.5.2 Процесс калибровки CCM

1. В Calibration Tool выберите CCM, импортируйте все Raw через Load Raw Files; они появятся в списке.

Рисунок 4-5-2-1

1. Find Chart открывает поиск полей.

Рисунок 4-5-2-2

1. Перетащите центры красных рамок в четырёх углах, расположив выборки по центру полей.

1. Find Chart вычисляет значения полей; области отмечаются зелёным.

1. Проверьте правильность областей у всех источников списка.

Рисунок 4-5-2-3

1. После поиска нажмите Save и выйдите.

1. Установите насыщенность 100%, см. 4-5-2-4.

Рисунок 4-5-2-4

1. Нажмите Calibrate; по исходнику около 20s.

1. После калибровки расчёт появится на странице результатов.

1. Нажмите Save.

1. Измените насыщенность на 74% и повторите 8–10.

Рисунок 4-5-2-5

1. Слишком большой ΔE может быть вызван ярким Raw. Правой кнопкой по ColorChecker справа на 4-5-2-5 выберите Save Current и проверьте пересвет полей или насыщение канала. Применение Gamma перед CCM может насыщать поля.

a) При пересвете или насыщении уменьшите экспозицию, повторно снимите мишень этого источника и калибруйте.

b) При нормальной яркости возможны неверные BLC/LSC либо засветка объектива инфракрасным светом и т. п.

1. Методы настройки см. в Rockchip_Color_Optimization_Guide.

4.6 Калибровка NR

4.6.1 Требования к Raw

Захват Raw для NR:

1. Снимайте в стандартном световом боксе; рекомендуется регулируемый источник постоянного света.

1. Обязательна градационная серая мишень (4-6-1-1).

Рисунок 4-6-1-1

1. Переберите Gain=1x, 2x, 4x, 8x, 16x…Max; при максимуме 40x используйте Max=32.

1. Для каждого Gain нужны четыре Raw: яркий суммированный, яркий одиночный, тёмный суммированный, тёмный одиночный.

1. Яркий/тёмный режим меняется выдержкой или освещением; многокадровые и одиночные результаты формирует инструмент.

1. Все значения яркости далее 8-bit.

1. Тёмное изображение: самое яркое поле 4-6-1-1 достигает 30, чтобы различались границы; при необходимости увеличьте. Самое тёмное достигает Black-Level, обычно когда яркое едва достигает 30.

1. Яркое изображение: максимум 255, самое тёмное поле обычно 60–70.

1. YNR Capture в RK Capture Tool автоматически подбирает экспозицию по порогам самого тёмного и светлого полей.

4.6.2 Захват Raw

1. По 3.1/3.2 откройте RK Capture Tool и подключите устройство.

1. Поместите устройство/модуль в бокс и закрепите градационную мишень на нём.

1. Расположите мишень по центру, по возможности заполняя кадр.

1. Включите свет TL84 либо CWF.

1. Имя источника TL84 или CWF, модуль NR_Normal.

1. Если сенсор поддерживает Gain=1-24, снимите 1x, 2x, 4x, 8x, 16x.

1. Выберите YNR Capture и снимите Raw. В предпросмотре справа правой кнопкой выберите Draw ROI, отметьте самое светлое и тёмное поля (далее белое и чёрное). Двойной щелчок позволяет перерисовать прямоугольник. Зафиксируйте кадр и ROI для NR, см.

рисунок 4-6-2-1.

Рисунок 4-6-2-1

1. Тёмный Raw: бокс около 800lux, Gain Range 1.0 - 1.0, Exp Range без изменения. Включите Multi-Frame и Low-Light. В YNR Capture задайте пороги, FrameNumber=32. Black Block Mean Luma — цель чёрного, начально BLC(8bit)+1; White Block Mean Luma — цель белого, начально

30.

Рисунок 4-6-2-2

a) Start YNR Capture выводит средние значения ROI и экспозицию. meanValue[0] — чёрное поле, meanValue[1] — белое, blackTarget — введённый Black Block Mean Luma, whiteTarget — White Block Mean Luma.

b) Если порог препятствует захвату (4-6-2-3), проверьте журнал. Исходник неясно говорит найти «meanValue[0], у которого meanValue[1] только превышает whiteTarget», и задать его как Black Block Mean Luma; meanValue[0] можно чуть повысить против шума (4-6-2-4). Неоднозначное сравнение сохранено и отмечено для проверки, без догадки.

Рисунок 4-6-2-3

Рисунок 4-6-2-4

c) Подобрав порог, снова нажмите Start YNR Capture. Получатся Raw с суффиксами Multiple и Single (4-6-2-5).

Рисунок 4-6-2-5

1. Яркий Raw: бокс около 800lux, Gain Range 1.0 - 1.0, Exp Range без изменения. Включите Multi-Frame и High-Light. В YNR Capture Black Block Mean Luma начально 60, White Block Mean Luma всегда 255, FrameNumber=32.

Рисунок 4-6-2-6

a) После Start YNR Capture каждое изменение экспозиции записывает средние ROI, экспозицию и усиление. meanValue[0] — самое тёмное поле, meanValue[1] — самое яркое; blackTarget/whiteTarget — заданные Black Block Mean Luma/White Block Mean Luma.

b) Если при максимальных выдержке и Gain яркое поле не достигает 255 (4-6-2-7), вручную измените яркость бокса и повторите Start YNR Capture. При выполнении условий появятся Multiple/Single Raw (4-6-2-8).

Рисунок 4-6-2-7

Рисунок 4-6-2-8

1. Измените Gain Range на 2x и повторяйте 8/9 для всех усилений.

1. При росте Gain шум сильнее влияет на порог чёрного; слегка подстраивайте его по журналу.

4.6.3 Процесс калибровки

GIC & BayerNR и YNR & MFNR используют один набор Raw:

1. В Calibration Tool → Edit Options слева сверху задайте размер, разрядность и порядок Bayer.

1. На GIC & Bayer NR импортируйте все Raw через Load Raw Files; они появятся снизу.

1. Find ROI выделяет градационную мишень (4-6-3-1); прямоугольник должен лежать внутри поля.

Рисунок 4-6-3-1

1. Нажмите Calibrate.

1. Кривая шума BayerNR появится справа (4-6-3-2).

Рисунок 4-6-3-2

1. Нажмите Save.

1. На YNR&MFNR импортируйте Raw через Load Raw Files, они появятся снизу.

1. Calculate YUV преобразует Raw в YUV симулятором.

1. Нажмите Calibrate; предварительно включите YNRCurve Print для сохранения параметров и выборок каждого iso.

1. Кривая шума YNR появится справа (4-6-3-3).

1. Нажмите Save.

Рисунок 4-6-3-3

Если кривая сильно отличается от 4-6-3-3, возможно неверна яркость светлых/тёмных кадров. Ошибка слева указывает на тёмные, справа — на яркие. Слишком высокая/низкая цветовая температура может нарушить Calculate YUV. Если минимальная яркость бокса слишком велика, используйте ослабляющую свет плёнку.

4.7 FEC/LDCH

FEC/LDCH требует map table с координатами изображения x/y после понижения дискретизации. Для её получения нужны параметры объектива, набор снимков шахматной мишени и инструмент калибровки.

4.7.1 Требования к изображениям

Размер шахматной мишени может меняться; поддерживаются только jpg, bmp, png. Способ 1: одна мишень в кадре, выше точность, рекомендуется. Способ 2: n мишеней в кадре, для удобства n=4.

1. Подготовка

(1) Используйте стандартную мишень. При самостоятельной печати соблюдайте фактический размер, плоскостность и желательно закрепите на ровной доске. Числа горизонтальных и вертикальных клеток должны различаться для распознавания направления.

(2) Освещение умеренное: все ракурсы чёткие, без бликов и размытия. На всём протяжении фиксируйте диафрагму и фокусное расстояние, сохраняя световой поток и фокусное расстояние.

1. Правила съёмки

(1) Мишень занимает примерно 1/4–1/8 поля зрения.

(2) Все кадры должны покрывать поле зрения; обычно около 15. Слишком мало кадров снижает точность. На каждой позиции снимайте 3–4 для отбора и замены неудачных.

(3) Распределяйте мишень по всем областям и углам (исходник ссылается на 2-1). При съёмке краёв приближайте её к границе, но не выводите за кадр.

(4) Используйте разные наклоны, не только параллельные плоскости объектива.

1. Пример съёмки

Два способа: (1) рекомендуемый способ 1 — четыре кадра с мишенью сверху слева/справа и снизу слева/справа, в любом порядке.

Рисунок 4-7-1-1

(2) Способ 2: один кадр с мишенями во всех четырёх углах.

Рисунок 4-7-1-2

4.7.2 Процесс калибровки

Рисунок 4-7-2-1

1. В Raw Options задайте разрешение; Bit и Bayer Pattern не нужны.

1. Импортируйте каталог jpg, bmp, png.

1. Настройте параметры калибровки.

a) Square Size: реальный размер клетки, обычно 30mm либо 25mm.

b) Horizontal/Vertical: число внутренних углов по горизонтали/вертикали.

c) Check Board Number: число мишеней на изображении, 1 либо 4.

d) Level: 256 уровней коррекции. Level = 0 не корректирует, выход равен входу; Level = 255 — максимальная коррекция LDCH.

e) Correct Direction для FEC: i. Только Correct X — горизонталь, подобно LDCH; ii. Только Correct Y — вертикаль; iii. Оба — обе оси.

1. Нажмите Calibrate.

1. Сохраните результат.

Различие углов и внутренних углов см. 4-7-2-2. В примере 12 клеток по горизонтали и 9 по вертикали: горизонтальных углов 13, внутренних 11. Поэтому Horizontal = 11, Vertical = 8.

Рисунок 4-7-2-2: углы и внутренние углы

Углы включают красные и зелёные, внутренние — только красные.

Примечания:

1. Проверьте каталог result рядом с Calibration Tool; при отсутствии создайте.

1. Внешнее кольцо также участвует в расчёте; при съёмке его чёрные/белые клетки не должны полностью скрываться предпросмотром.

1. Горизонтальные углы: число чёрно-белых клеток по горизонтали минус 1.

1. Вертикальные углы: число чёрно-белых клеток по вертикали минус 1.

1. FEC по умолчанию корректирует обе оси; направление выбирается при калибровке.

1. Каталог изображений лучше назвать по сенсору + объективу/фокусному расстоянию + разрешению; по этому имени создаётся каталог калибровки.

4.7.3 Примеры результатов

1. Неудача обычно связана с нечёткой мишенью и неверными/неполными углами. Проверьте каждый кадр; полностью распознанных должно быть минимум 3.

1. Успех показан на 4-7-3-1. Шесть параметров в log слева сверху вниз: центр cx, cy и искажения a0, a2, a3, a4.

1. В result просмотрите углы каждого кадра. Удалите неточные изображения и повторите калибровку. Таблицы FEC/LDCH находятся в соответствующем подкаталоге result.

Рисунок 4-7-3-1

5 Интерактивная настройка

5.1 Интерфейс настройки

Рисунок 5-1-1: основной интерфейс RKISP Tuner v2

На 5-1-1 типичное состояние после загрузки UI и IQ. Значения номеров:

1. Дерево: normal: day сверху — выбранная сцена IQ; normal — основная, day — подсцена.

1. Модули ISP: сцена содержит модули, модули — страницы.

1. Страница: узел модуля включает страницы с блоками настройки.

1. Блок: например InitExp с 5 числовыми параметрами.

1. Кнопки блока читают/записывают все его параметры онлайн.

1. Автозапись: при соединении с rkaiq_tool_server каждое изменение немедленно передаётся устройству и применяется.

1. Кнопки страницы/модуля читают и записывают их целиком.

1. Undo/Redo отменяет последнее изменение; при AutoWrite устройство синхронизируется.

1. Поиск страницы параметра по ключевому слову.

5.2 Платформа и сеть

При первом запуске либо через Project → Network and Platform Settings откройте настройки платформы/сети.

Рисунок 5-2-1

1. Platform Setting загружает UI выбранного SoC; соответствия записаны в config/config.ini.

1. Network Config задаёт адрес; порт 5543 без особой причины не меняйте.

Connect подключается к rkaiq_tool_server устройства; сервис должен работать.

5.3 Регистры и параметры алгоритмов

Блоки содержат регистры или параметры алгоритмов. По форме и диапазону используются четыре вида элементов:

1. Число: целое либо вещественное с диапазоном; ввод напрямую, стрелки или ползунок справа.

Рисунок 5-3-1

1. Boolean: 0/1 для переключателей, Enable = 1, Disable = 0.

Рисунок 5-3-2

1. Список: предустановленные режимы, ISO, Day/Night, LCG/HCG.

Рисунок 5-3-3

1. Таблица: матрица NxM целых/вещественных элементов; открывается Show data либо Enter Array Table.

Рисунок 5-3-4

5.4 Интерактивная настройка Gamma

5.4.1 Визуальная настройка Gamma

1. На GammaTuningPara нажмите Edit Curve параметра Gamma_Curve (5-4-1-1).

Рисунок 5-4-1-1: интерфейс Gamma

1. Функции интерфейса 5-4-1-2:

1) Кривая: перетаскивайте красные точки; AutoWrite немедленно передаёт изменения плате.

2) Curve Coeff создаёт Gamma по коэффициенту. Изменение автоматически генерирует кривую и может перезаписать ручную.

1. Position Control: наведите на точку для обновления X/Y; Y вводится вручную.

1. Control Point Number: число точек 49, 45, 24, 13.

1. Axis Range меняет масштаб X/Y, особенно для плотных узлов тёмной области.

1. Export/Import сохраняет кривые Gamma в файл и читает из файла.

Рисунок 5-4-1-2: визуальная настройка Gamma

5.4.2 Настройка кривой Gamma

Синяя кривая исходная, красная текущая. Над красной точкой указатель становится стрелками вверх/вниз; перетаскивание меняет кривую (5-4-2-1).

Рисунок 5-4-2-1: кривая после перемещения

Измените Gamma Coeff в Curve Coeff на 1.5 и нажмите Enter для новой кривой (5-4-2-2).

Рисунок 5-4-2-2: кривая по коэффициенту

6 Другие функции

6.1 Импорт IQ-файла

Выберите File Transfer → Send File To Device, IQ-файл и путь на устройстве, затем Send. После передачи файл находится в указанном месте (6-1-1).

Рисунок 6-1-1: путь передачи

Рисунок 6-1-2: передача успешна

6.2 Автономная симуляция Raw

Функция отправляет Raw обратно на плату для обработки ISP.

1. File → Send RAW Image To Device открывает настройки.

Рисунок 6-2-1: конфигурация Raw

1. Add загружает Raw-файлы.

Рисунок 6-2-2: загрузка Raw

Поддерживается только .rkraw с данными compact+align256. Другие форматы конвертируются пакетно RKRAW Tool. При захвате задайте RKRawV2=1 в config.ini. Исходник ссылается на 3.7.2 для Raw, но Raw находится в 3.7.3; ошибка отмечена.

1. Send передаёт Raw устройству и создаёт конфигурацию в /tmp.

Рисунок 6-2-3: передача Raw устройству

1. Не закрывая окно, перезапустите камеру. Обнаружив конфигурацию, устройство перейдёт в автономную симуляцию. Шаг 4 отсутствует в исходнике; нумерация сохранена с примечанием.

1. Run запускает симуляцию.

1. Raw поочерёдно поступают в ISP, обработанные изображения видны в камере. Поддерживаются интерактивное чтение/запись параметров и захват YUV.

1. Для замены Raw:

1) Stop приостанавливает симуляцию.

2) Add загружает Raw.

3) Send передаёт Raw.

4) Run запускает автономную симуляцию.