RKNN2 V2.5.0 · RK3566/RK3568：Активации, нормализация и расширения

Этот справочник платформ RKNN2 V2.5.0 предназначен для разработчиков ArmSoM при выборе и адаптации моделей. Он не подтверждает поддержку на всех платах ArmSoM: проверьте SoC платы, фактические версии Toolkit2, Runtime, драйвера NPU и BSP. В оригинале не задана единая версия ядра Linux. Аппаратная проверка на ArmSoM не выполнялась.

Источник: предоставленные китайская и английская редакции RKNN2 Supported Operators and Constraints Reference V2.5.0, 374 и 384 страницы. Китайский текст следует китайской редакции; английский, русский и немецкий — английской. Ограничения платформ не объединяются. В английском PDF рисунки и таблицы I/O содержат китайские подписи; их происхождение сохранено, добавлены редактируемые локализованные таблицы. Написание ConvTranpose и исходные уравнения LSTM/GRU сохранены; эти формулы не являются исправлениями реализации SDK.

Страницы источника: CN 58–69; EN 60–71.

Rockchip RKNN2

Sigmoid

Функция y=1/(1+exp(-x)) применяется поэлементно к входному тензору для получения выходного тензора.

Входы

• input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Выходы

• output:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

Tanh

Вычисляет гиперболический тангенс элементов входного тензора.

Входы

• X:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Выходы

• Y:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

Softplus

Поэлементно применяет Softplus, y=ln(exp(x)+1).

Входы

• X:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Выходы

• Y:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

HardSigmoid

Функция y=max(0,min(1,alpha*x+beta)) применяется поэлементно к входному тензору для получения выходного тензора, где alpha=1/6, beta=0.5.

Входы

• input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Выходы

• output:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

HardSwish

Функция y = x * max(0, min(1, alpha * x + beta)) = x * HardSigmoid(x) применяется поэлементно к входному тензору для получения выходного тензора, где alpha=1/6, beta=0.5.

Входы

• X:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Выходы

• Y:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

Elu

Функция f(x)=alpha*(exp(x)-1.) for x<0; f(x)=x for x>=0 применяется поэлементно к входному тензору для получения выходного тензора, где alpha=1.

Входы

• input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Выходы

• output:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

exSwish

Поэлементно применяет линейный блок Sigmoid. Swish также называется SiLU: y=x*sigmoid(x).

Входы

• X:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Выходы

• Y:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

exMish

Функция mish(x)=xtanh(softplus(x))=xtanh(ln(1+e^{x})) применяется поэлементно к входному тензору для получения выходного тензора.

Входы

• input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Выходы

• output:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

exGelu

Функция y = x*Φ(x) применяется поэлементно к входному тензору для получения выходного тензора. При выборе tanh для Φ(x): y = 0.5*x*(1+Tanh(sqrt(2/π)*(x+0.044715*x^3))).

Входы

• input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Выходы

• output:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

exSwooshR

К входному тензору поэлементно применяется следующая функция из статьи https://arxiv.org/abs/2310.11230 для получения выходного тензора: SwooshR(x)=log(1+exp(x−1))−0.08x−0.313261687

Входы

• input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Выходы

• output:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

exSwooshL

К входному тензору поэлементно применяется следующая функция из статьи https://arxiv.org/abs/2310.11230 для получения выходного тензора: SwooshL(x)=log(1+exp(x−4))−0.08x−0.035

Входы

• input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Выходы

• output:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

Where

Выбирает значения x_tensor или y_tensor по mask_tensor: при True берётся соответствующее значение x_tensor, иначе y_tensor.

Входы

• mask_tensor:T1
  • shape:[batch,channel,height,width]
  • Поддержка расширения размерностей
    • Поддерживается расширение по любой размерности.
  • Ограничения расширения размерностей
    • Ограничения расширения совпадают с оператором Expand.
• x_tensor:*T2
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer
  • Поддержка расширения размерностей
    • Поддерживается расширение по любой размерности.
  • Ограничения расширения размерностей
    • Ограничения расширения совпадают с оператором Expand.
• y_tensor:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer
  • Поддержка расширения размерностей
    • Поддерживается расширение по любой размерности.
  • Ограничения расширения размерностей
    • Ограничения расширения совпадают с оператором Expand.

Выходы

• output:T2
  • shape:[batch,channel,height,width]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:bool(Tensor)
• T2:int8(Tensor),float16(Tensor)

exGlu

Функция управляемого линейного блока (Gated Linear Unit), где a — первая половина входной матрицы, b — вторая: GLU(a,b)=a⊗σ(b).

Входы

• Input:T1
  • shape:[batch,channel,height,width]
  • Поддержка квантования: per-layer

Выходы

• Output:T1
  • shape:[batch,channel/2,height,width]
  • Поддержка квантования: per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

Атрибуты

• axis:int(по умолчанию=1)
  • Размерность разделения входа.
  • Ограничение: поддерживается только 1.

exMatMul

Матричное умножение

Y = A·B + C    if c_type = "add"
Y = A·B * C    if c_type = "mul"

Входы

• A:T1
  • shape:[b,k,1,n]
    • k ∈(0,8192]
  • Поддержка квантования
    • per-layer
• B:T1
  • shape:[b,k,1,m]
  • Поддержка квантования
    • per-layer
• C(optional):T1,T2
  • shape:[b,n,1,m]
  • Поддержка квантования
    • per-layer
  • Поддержка расширения размерностей
    • Поддерживается расширение по любой размерности.
    • Ограничения расширения совпадают с оператором Expand.

Выходы

• Y:T1
  • shape:[b,n,1,m]
  • Поддержка квантования
    • per-layer

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)

Атрибуты

• c_type:strings(по умолчанию “add”)
  • Выбор add или mul задаёт сложение или умножение с C.

exNorm

Выполняет различные операции нормализации входных данных. Поддерживаются три типа: LayerNormalization, RMSNormalization и MeanVarianceNormalization:

LayerNorm(x) = ((x - μ) / sqrt(σ^2 + ε)) * W + B

RMSNorm(x) = (x / sqrt(RMS^2 + ε)) * W + B

MeanVarianceNorm(x) = ((x - μ) / sqrt(Variance + ε)) * W + B

Здесь x — входной вектор. µ и σ2 — его среднее и дисперсия:

μ = (1/H) * Σ[i=1..H](x_i)

σ^2 = (1/H) * Σ[i=1..H]((x_i - μ)^2)

RMS — среднеквадратичное значение входного вектора:

RMS = sqrt((1/H) * Σ[i=1..H](x_i^2))

Variance — эквивалентная дисперсия входного вектора:

Variance = (1/H) * Σ[i=1..H](x_i^2) - μ^2

ϵ — малое число для предотвращения деления на ноль. W и B — необязательные параметры.

Входы

• X:T1
  • shape:[batch,channel,height,width]
• W(optional):T1
  • shape:[batch,channel,height,width]
• B(optional):T1
  • shape:[batch,channel,height,width]

Выходы

• Y:T1
  • shape:[batch,channel,height,width]

Ограничения типов данных

• T1:float16(Tensor)

Атрибуты

• epsilon: float (по умолчанию 1e-05)
  • Значение epsilon для предотвращения деления на 0.
• mode:string
  • Доступны три режима Normalization: layer, rms и mean_var.
• axes:int64[](по умолчанию [1])
  • Оси нормализации: сейчас поддерживаются только [1] и [1,2,3].

Прочие возможности

• Совместная работа нескольких ядер: ещё не поддерживается.

exWindow

exWindow основан на window_partition и window_reverse из swin_transformer. В исходной статье входные признаки делятся на непересекающиеся окна window_size×window_size. Входные и выходные признаки должны иметь 4-мерный shape с разбиением по высоте и ширине. Ниже реализация PyTorch:

def window_partition(x, window_size):
    """
    Args:
        x: (B, C, H, W)
        window_size (int): window size
    Returns:
        windows: (B, C, num_windows * num_windows, window_size * window_size)
    """
    B, C, H, W = x.shape
    x = x.view(B, C, H // window_size, window_size, W // window_size, window_size)
    windows = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, -1, window_size * window_size)
    return windows

def window_reverse(windows, window_size, H, W):
    """
    Args:
        windows: (B, C, num_windows * num_windows, window_size * window_size)
        window_size (int): Window size
        H (int): Height of image
        W (int): Width of image
    Returns:
        x: (B, C, H, W)
    """
    B, C, _, _ = windows.shape
    x = windows.view(B, C, H // window_size, W // window_size, window_size, window_size)
    x = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, H, W)
    return x

Входы

• X:T1
  • shape:[batch,channel,height,width]

Выходы

• Y:T1
  • shape:[batch,channel,height,width]

Ограничения типов данных

• T1:int8(Tensor),float16(Tensor)

Атрибуты

• mode:string
  • Поддерживаемые режимы:partition,reverse,partition_num_first.
    • partition: см. реализацию window_partition.
    • reverse: см. реализацию window_reverse.
    • partition_num_first отличается от partition тем, что H,W делятся согласно num_windows, тогда как partition делит H,W согласно window_sizes.
• window_sizes:listofints
  • 2-мерный вектор размера окна, задающий высоту и ширину каждого окна. На этом размере основаны вычисление внимания и извлечение признаков внутри окна.
• num_windows:listofints
  • 2-мерный вектор числа окон, задающий количество окон по высоте и ширине входных признаков.

Прочие возможности

• Совместная работа нескольких ядер: ещё не поддерживается.