RKNN Compiler V2.3.2: vollständige Operatorspezifikationen für sieben NPU-Plattformgruppen, CPU und Ein-/Ausgabegrenzen

Diese vollständige technische Referenz folgt RK-YH-YF-418 / V2.3.2. Sie behandelt sieben NPU-Plattformgruppen: RK3566/RK3568, RK3588, RK3562, RV1103/RV1106, RK3576/RV1126B, RK2118 und RV1103B/RV1106B sowie CPU-Operatoren und Modell-Ein-/Ausgabegrenzen. Die PDFs im chinesischen und englischen Verzeichnis haben jeweils 343 Seiten und identische SHA-256-Werte; beide enthalten chinesischen Text, ein separates englisches Original existiert nicht. Englisch, Russisch und Deutsch sind vollständige Übersetzungen dieses chinesischen Originals. Alle vier Fassungen verwenden dieselben chinesischen Originalabbildungen; sie werden nicht als englische Abbildungen bezeichnet. Dies ist ausschließlich eine Referenz zur ArmSoM-Anpassung: Board-SoC, RKNN-Toolkit2/Compiler/Runtime-Versionen, SDK/BSP, Kerneltreiber, Quantisierung, Modell und Zero-Copy-Schnittstellen prüfen. Die Quelle schreibt keine einheitliche Kernelversion für alle Operatoren vor und belegt keine Unterstützung aller ArmSoM-Platinen. Keine Modellausführung, Leistungsmessung oder Hardwarevalidierung wurde vorgenommen.

ArmSoM Docs · RKNN-Toolkit2 · EDITORIAL-NOTES

Softwareänderungen

2.1 V2.3.2

• (1) Dokumentation für RV1126B ergänzt.
• (2) Dokumentation für RV1106B ergänzt.
• (3) ConvDilation-Parametergrenzen auf allen Plattformen aktualisiert.
• (4) Einschränkungen des Resize-Operators aktualisiert.

2.2 V2.3.0

• (1) Dokumentation zum mean_var-Modus von exNorm auf RK3576/RK3588/RK3562/RK3568 ergänzt.
• (2) MAX/MIN-Operatoren unterstützen Broadcast auf allen Plattformen.
• (3) Softmax-Grenzen für RK3576 geändert.

2.3 V2.2.0

• (1) softmax-Grenzen auf allen Plattformen außer rk3568 geändert; softmax-Aufteilung ergänzt.
• (2) RMSNorm-Unterstützung für RK3576, RK3588, RK3562 und RK3568 ergänzt.

2.4 V2.1.0

• (1) RK2118-Dokumentation ergänzt.
• (2) RV1103B-Dokumentation ergänzt.
• (3) Operatorspezifikationen aller Plattformen aktualisiert.
• (4) RK3576-Operatorspezifikationen einschließlich Hardmax und ConvLut ergänzt.
• (5) exConvStreaming-Unterstützung für RK2118.
• (6) FlashAttentionV2-Optimierung für exSDPA auf RK3562/RK3576 ergänzt.

2.5 V2.0.0‑beta

• (1) Spezifikationen unterstützter Operatoren für RK3576 ergänzt.
• (2) Spezifikationen der Hardwareunterstützung von exSDPAttention und exMatMul auf RK3588/RK3562/RK3576 ergänzt.
• (3) CPU-Operatorunterstützung für Floor, Mod, And, GatherElements und exMeanVarianceNormalization ergänzt.
• (4) Spezifikationen unterstützter Operatoren für RK2118 ergänzt.

Spezifikationen der NPU-Operatoren

3.1 RK3566/RK3568

3.1.1 Add

Führt elementweise binäre Addition (C=A+B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

3.1.2 AddRelu

Fusionierte Berechnung von Add und Relu, C=Relu(A+B).

Eingaben

• Wie bei Add.

Ausgaben

• Wie bei Add.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.1.3 BatchNormalization

Führt Batch-Normalisierung des Eingabetensors gemäß https://arxiv.org/abs/1502.03167 aus.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• epsilon:float (Standardwert=1e‑5)
  • Reeller Wert, der beim Teilen durch die Standardabweichung eine Division durch 0 verhindert.
  • epsilon∈(0,∞]
• momentum:float
  • Parameter des gleitenden Mittelwerts beim Training.

3.1.4 Concat

Verknüpft eine Folge von Vektoren entlang axis zu einem Vektor. Alle Dimensionen außer axis müssen übereinstimmen.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• axisint64
  • axis∈{0,1,2,3}

3.1.5 Convolution

Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,31]
  • dilations_w∈[1,31]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.6 DepthwiseConvolution

Tiefenseparierbare Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,8]

kernel_w∈[1,8]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.7 ConvolutionRelu

Fusionierte Berechnung von Convolution und Relu, Output=Relu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.8 ConvolutionClip

Fusionierte Berechnung von Convolution und Clip, Output=Clip(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.9 ConvolutionPRelu/LeakyRelu

Fusionierte Berechnung von Convolution und PRelu/LeakyRelu, Output = PRelu(Conv(Input)) oder Output =

LeakyRelu(Conv(Input))

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.10 ConvolutionAdd

Fusionierte Berechnung von Convolution und Add, Output=Add(Conv(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.11 ConvolutionSigmoid

Fusionierte Berechnung von Convolution und Sigmoid, Output=Sigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.12 ConvolutionTanh

Fusionierte Berechnung von Convolution und Tanh, Output=Tanh(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.13 ConvolutionSoftplus

Fusionierte Berechnung von Convolution und Softplus, Output=Softplus(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.14 ConvolutionHardSigmoid

Fusionierte Berechnung von Convolution und HardSigmoid, Output=HardSigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.15 ConvolutionHardSwish

Fusionierte Berechnung von Convolution und HardSwish, Output=HardSwish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.16 ConvolutionElu

Fusionierte Berechnung von Convolution und Elu, Output=Elu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.17 ConvolutionSwish

Fusionierte Berechnung von Convolution und Swish, Output=Swish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.18 ConvolutionMish

Fusionierte Berechnung von Convolution und Mish, Output=Mish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.19 ConvolutionAddRelu

Fusionierte Berechnung von Convolution, Add und Relu, Output=Relu(Add(Conv(Input0),Input1)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.1.20 ConvTranspose

Transponierte Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzlich unterliegt die Eingabe der ersten Schicht

width unterliegt Einschränkungen; siehe Modelleingaben.

- **量化支持**
  - per-layer

• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h unterstützt nur 1,2,4,8.
  • stride_w unterstützt nur 1,2,4,8.
• pads:int(pads_top,pads_left,pads_bottom,pads_right). Bei pad sind folgende Fälle nicht unterstützt: kernel_h*dilations_h‑dilations_h‑pads_top<0; kernel_w*dilations_w‑dilations_w‑pads_left<0; stride_h*(height‑1)‑pads_top+1<output_h; stride_w*(width‑1)‑pads_left+1<output_w.
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
  • group: nur 1 wird unterstützt; num_output ist genau dann unterstützt, wenn num_input=num_output.
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]
  • Bei dilation ungleich (1,1) wird nur kernel=(1,1) unterstützt.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.21 ConvTranposeRelu

Fusionierte Berechnung von ConvTranpose und Relu, Output=Relu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.22 ConvTranposeClip

Fusionierte Berechnung von ConvTranpose und Clip, Output=Clip(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.23 ConvTranposePRelu/LeakyRelu

Fusionierte Berechnung von ConvTranpose und PRelu/LeakyRelu, Output=PRelu(ConvTranpose(Input)) oder Output=

LeakyRelu(ConvTranpose(Input))

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.24 ConvTranposeAdd

Fusionierte Berechnung von ConvTranpose und Add, Output=Add(ConvTranpose(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.25 ConvTranposeSigmoid

Fusionierte Berechnung von ConvTranpose und Sigmoid, Output=Sigmoid(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.26 ConvTranposeTanh

Fusionierte Berechnung von ConvTranpose und Tanh, Output=Tanh(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.27 ConvTranposeSoftplus

Fusionierte Berechnung von ConvTranpose und Softplus, Output=Softplus(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.28 ConvTranposeHardSigmoid

Fusionierte Berechnung von ConvTranpose und HardSigmoid, Output=HardSigmoid(ConvTranpose(Input)).

3.1.29 ConvTranposeHardSwish

Fusionierte Berechnung von ConvTranpose und HardSwish, Output=HardSwish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.30 ConvTranposeElu

Fusionierte Berechnung von ConvTranpose und Elu, Output=Elu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.31 ConvTranposeSwish

Fusionierte Berechnung von ConvTranpose und Swish, Output=Swish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.32 ConvTranposeMish

Fusionierte Berechnung von ConvTranpose und Mish, Output=Mish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.1.33 Div

Führt elementweise binäre Division (C=A/B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:float16(Tensor)
• T2:float(constTensor)

3.1.34 Expand

Erweitert den Eingabetensor anhand von shape und Broadcasting-Regeln, ähnlich numpy.array(input) *numpy.ones(shape): Dimensionen werden rechtsbündig ausgerichtet; korrespondierende Dimensionen müssen gleich sein oder eine davon muss 1 sein.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• shape:T2
  • shape:[batch,channel,height,width]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)

Broadcasting-Einschränkungen

• [b,c,1,w]‑>[b,c,h,w],h∈[1,8192]
• [b,1,1,w]‑>[b,c,h,w],h∈[1,8192]
• [b,c,h,1]‑>[b,c,h,w],w ∈[1,8192]
• [b,1,h,1]‑>[b,c,h,w],w ∈[1,8192]
• [b,c,1,1]‑>[b,c,h,w],h∈[1,8192],w ∈[1,8192]

3.1.35 GRU

Gated Recurrent Unit (GRU). Erweiterungen und Varianten heißen exGRU; mit (extern) markierte Parameter sind exGRU vorbehalten. Die Gleichungen folgen:

f = Sigmoid; g = Tanh
r_t = f(x_t · W_r + h_{t-1} · R_r + Wb_r + Rb_r)
z_t = f(x_t · W_z + h_{t-1} · R_z + Wb_z + Rb_z)
h_t = g(x_t · W_h + (r_t ⊙ h_{t-1}) · R_h + Rb_h + Wb_h), (WRB = 0)
h_t = g(x_t · W_h + r_t ⊙ (h_{t-1} · R_h + Rb_h)) + Wb_h, (WRB = 1)
H_t = (1-z_t) ⊙ h_t + z_t ⊙ h_{t-1}

Eingaben

• X:T1
  • shape:[seq_length,batch_size,input_size]

seqlength∈(0,8192]

• batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

inputsize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• W:T1
  • shape:[num_directions,4*hidden_size,input_size]

inputsize∈(0,8192]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• R:T1
  • shape:[num_directions,4*hidden_size,hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• B:T2
  • shape:[num_directions,8*hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• sequence_lens:T3(optional)
  • shape:[batch_size]; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.
• initial_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Ausgaben

• Y:T1
  • shape:[seq_length,num_directions,batch_size,hidden_size]

seqlength∈(0,8192]

• numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Attribute

• linear_before_reset:int
  • Auswahl der LBR-Variante:1(T)or0(F).
• direction(extern):string
  • Legt die Berechnungsrichtung von GRU fest.
  • forward: GRU in Vorwärtsrichtung.
  • reverse: GRU in Rückwärtsrichtung.
  • bidirectional: GRU in beiden Richtungen.
• sequence_size(extern):int
  • Legt seqsize der GRU-Eingabe fest; uneingeschränkt, Ausrichtung auf 4 empfohlen.
• hidden_size(extern):int
  • hiddensize der GRU-Einheit; uneingeschränkt, Ausrichtung auf 8 empfohlen.
• input_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Eingabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size und hidden_size des Operators müssen angegeben werden.
  • snc: Eingabe-shape dieses Layouts ist [seqs,batches,input_size].
  • (sn)c: Eingabe-shape dieses Layouts ist [seqs*batches,input_size,1,1].
• output_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Ausgabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size, hidden_size und directions des Operators müssen angegeben werden.
  • sbnc: Ausgabe-shape dieses Layouts ist [seqs,directions,batches,hidden_size].
  • (sn)c: Ausgabe-shape dieses Layouts ist [seqsbatches,directionsinput_size,1,1].

Datentypbeschränkungen

• T1:float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.36 Gather

Wählt anhand von Indices Einträge aus X entlang der angegebenen axis aus und verknüpft sie.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• Indices:T2
  • Indizes der zu sammelnden Elemente; rank =1.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int(Tensor)

Attribute

• axis:int(Tensor)
  • axis∈{0,1,2,3}
  • Legt die durch Indices adressierte Eingabedimension fest.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.1.37 LSTM

Long Short-Term Memory (LSTM). Erweiterungen und Varianten heißen exLSTM; mit (extern) markierte Parameter sind exLSTM vorbehalten. Die Gleichungen folgen:

f = Sigmoid; g = Tanh; h = Tanh
i_t = f(x_t · W_i + h_{t-1} · R_i + Wb_i + Rb_i)
f_t = f(x_t · W_f + h_{t-1} · R_f + Wb_f + Rb_f)
c_t = f(x_t · W_c + h_{t-1} · R_c + Wb_c + Rb_c)
o_t = f(x_t · W_o + h_{t-1} · R_o + Wb_o + Rb_o)
C_t = f_t ⊙ C(t-1) + i_t ⊙ c_t
h_t = o_t ⊙ h(C_t)

Eingaben

• X:T1
  • shape:[seq_length,batch_size,input_size]

seqlength∈(0,8192]

• batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

inputsize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• W:T1
  • shape:[num_directions,4*hidden_size,input_size]

inputsize∈(0,8192]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• R:T1
  • shape:[num_directions,4*hidden_size,hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• B:T2,T3
  • shape:[num_directions,8*hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• sequence_lens:T4,T5(optional)
  • shape:[batch_size]; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.
• initial_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• initial_c:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Ausgaben

• Y:T1
  • shape:[seq_length,num_directions,batch_size,hidden_size]

seqlength∈(0,8192]

• numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_c:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Attribute

• direction(extern):string
  • Legt die Berechnungsrichtung von LSTM fest.
  • forward: LSTM in Vorwärtsrichtung.
  • reverse: LSTM in Rückwärtsrichtung.
  • bidirectional: LSTM in beiden Richtungen.
• sequence_size(extern):int
  • Legt seqsize der LSTM-Eingabe fest; uneingeschränkt, Ausrichtung auf 4 empfohlen.
• hidden_size(extern):int
  • hiddensize der LSTM-Einheit; uneingeschränkt, Ausrichtung auf 8 empfohlen.
• proj_size(extern):int
  • proj_size bei projection; projsize∈[0,hiddensize].
  • Derzeit auf 0 beschränkt; projection wird noch nicht unterstützt.
• input_forget(extern):int
  • Auswahl der cifg-Variante:1(T)or0(F). Derzeit auf 0 beschränkt, also noch nicht unterstützt.
• has_projection(extern):int
  • projection-Variante:1(T)or0(F). Derzeit auf 0 beschränkt, also noch nicht unterstützt.
• input_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Eingabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size und hidden_size des Operators müssen angegeben werden.
  • snc: Eingabe-shape dieses Layouts ist [seqs,batches,input_size].
  • (sn)c: Eingabe-shape dieses Layouts ist [seqs*batches,input_size,1,1].
• output_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Ausgabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size, hidden_size und directions des Operators müssen angegeben werden.
  • sbnc: Ausgabe-shape dieses Layouts ist [seqs,directions,batches,hidden_size].
  • (sn)c: Ausgabe-shape dieses Layouts ist [seqsbatches,directionsinput_size,1,1].

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:int32(Tensor)
• T4:float(Scalar)
• T5:int(Scalar)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.38 Max

Berechnet das elementweise Maximum der Eingabetensoren.

Eingaben

• A:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.39 Min

Berechnet das elementweise Minimum der Eingabetensoren.

Eingaben

• A:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.40 Mul

Führt elementweise binäre Multiplikation (C=A*B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

3.1.41 MulRelu

Weitere Beschreibungen wie bei Mul.

• Unterstützte Datentypen: wie bei Mul.

3.1.42 Pad

Erzeugt aus Datentensor (data), Tensor der Auffüllwerte an Achsenanfang und -ende (pads), Modus (mode) und konstantem Wert (constant_value) einen aufgefüllten Tensor (output).

Eingaben

• data:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• pads:T2
  • shape : [batch_begin, channel_begin, height_begin, width_begin, batch_end, chan‑nel_end,height_end,width_end]
• constant_value(optional):T3
  • shape:[1]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)
• T3:float(Scalar),int8(Scalar),float16(Scalar)

Attribute

• mode:string (Standardwert constant)
  • Unterstützte Modi: constant,reflect.
    • constant: uneingeschränkt.

reflectchannel∈(0,8192],height∈(0,8192],width∈(0,8176]

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.1.43 MaxPool

MaxPool verarbeitet Eingabetensor X und wendet Max-Pooling anhand von Kernelgröße, Schrittweite und pad-Längen an. Für durch den Kernel bestimmte Teilmengen wird das Maximum berechnet und in den herunterabgetasteten Ausgabetensor Y zur weiteren Verarbeitung übernommen. Die räumliche Ausgabeform hängt von explizitem Padding (pads) oder automatischem Padding (auto_pad) ab. Hier wird ausschließlich explizites Padding verwendet.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,8192]

width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]
• storage_order:int64
  • Bevorzugte Speicherreihenfolge:0.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.1.44 GlobalMaxPool

GlobalMaxPool wendet Max-Pooling auf die Werte jedes Kanals von Eingabetensor X an. Dies entspricht MaxPool mit kernel_shape gleich den räumlichen Dimensionen von input.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(1,7]

width∈(1,7]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.1.45 AveragePool

AveragePool verarbeitet Eingabetensor X und wendet Average-Pooling anhand von Kernelgröße, Schrittweite und pad-Längen an. Alle Werte der durch den Kernel bestimmten Teilmengen werden gemittelt und in den herunterabgetasteten Ausgabetensor Y zur weiteren Verarbeitung übernommen. Die räumliche Ausgabeform hängt von explizitem Padding (pads) oder automatischem Padding (auto_pad) ab. Hier wird ausschließlich explizites Padding verwendet.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,8192]

width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.1.46 GlobalAveragePool

GlobalAveragePool mittelt die Werte jedes Kanals von Eingabetensor X. Dies entspricht AveragePool mit kernel_shape gleich den räumlichen Dimensionen des Eingabetensors.

Eingaben*

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,7]

width∈(0,7]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.1.47 Pow

Z =XY

Potenzierung: verarbeitet Eingabedaten (Tensor) und einen Exponenten zu Ausgabedaten (Tensor).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• Y:T2
  • shape:[1]
    • Derzeit nur 0,1,2,3,0.5,‑0.5 unterstützt.

Ausgaben

• Z:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int8(Tensor),int32(Tensor),int64(Tensor),float16(Tensor),float(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.1.48 Relu

Setzt negative Eingabetensorwerte auf null; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.49 Clip/ReLU6

Begrenzt Eingabetensorwerte auf [0,6].

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.50 PRelu

Skaliert negative Eingabetensorwerte mit einem lernbaren Parameter; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Attribute

• slope: PRelu-Koeffizient.
  • Nur ein einzelner Skalar oder Koeffizienten entlang der C-Dimension werden unterstützt.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.51 LeakyRelu

Skaliert negative Eingabetensorwerte mit einem festen Faktor; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.52 Reshape

Liefert einen Tensor der angegebenen Form ohne Änderung der Eingabedaten oder Elementanzahl.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• shape:int
  • Legt die Form des Ausgabetensors fest.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.1.53 Resize

Ändert die Größe des Eingabetensors. Im Allgemeinen wird jeder Ausgabewert als gewichteter Mittelwert einer Nachbarschaft (Abtastpositionen) im Eingabetensor berechnet.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• roi(optional):T2
  • Derzeit nicht unterstützt.
• scales(optional):T2
  • Array der Skalierungsfaktoren je Dimension.
• sizes(optional):T3
  • Zielgröße des Ausgabetensors.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:int64(Tensor)

Attribute

• antialias:int (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• axes:int[]
  • Die Einstellung wird derzeit nicht unterstützt.
• coordinate_transformation_mode:strings (Standardwert ”half_pixel”)
  • Derzeit werden nur half_pixel, pytorch_half_pixel und align_corners unterstützt.
• cubic_coeff_a:float (Standardwert ‑0.75)
  • Die Einstellung wird derzeit nicht unterstützt.
• exclude_outside:int (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• extrapolation_value:float (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• keep_aspect_ratio_policy:strings (Standardwert ”stretch”)
  • Die Einstellung wird derzeit nicht unterstützt.
• mode:strings (Standardwert ”nearest”)
  • Derzeit sind nur nearest und linear konfigurierbar.
• nearest_mode:strings (Standardwert ”round_prefer_floor”)
  • Die Einstellung wird derzeit nicht unterstützt.

Unterstützung: derzeit nur ganzzahlige Skalierung in Breite und Höhe mit ganzzahligen Faktoren 2‑8. Eine Eingabe (1,c,1,1) kann auf (1,c,h,w) vergrößert werden.

3.1.54 Slice

Erzeugt einen Ausschnitt des aktuellen Vektors nach den Regeln von NumPy-Slicing.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• starts:int(Tensor)
  • Startposition des Ausschnitts: uneingeschränkt.
• ends:int(Tensor)
  • Endposition des Ausschnitts: uneingeschränkt.
• axes:int(Tensor)
  • Auswahl der Slice-Achsen: beliebige Achsen 0~3, auch mehrere gleichzeitig.
• steps:int(Tensor)
  • Legt die Schrittweite entlang der jeweiligen Slice-Achse fest.
  • Bei height*width==1&&channel%subc==0&&starts[1]%subc==0&&ends[1]%subc==0&&steps[1]<=subc darf steps von 1 abweichen. Andernfalls läuft SliceOP nur bei steps==[1,1,1,1] auf der NPU.

3.1.55 Split

Teilt den Vektor entlang axis in num_outputs Vektoren; split legt deren Größen entlang axis fest.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • Ein oder mehrere Ausgabevektoren, bestimmt durch num_outputs.
  • shape: durch die Aufteilung bestimmt.
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• axis:int
  • axis∈{0,1,2,3}
• num_outputs:int
• split:int(Tensor)

3.1.56 Sub

• Führt elementweise binäre Subtraktion (C=A‑B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • [b,c,1,1]
    • [scalar]
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • [b,c,1,1]
    • [scalar]

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

3.1.57 Tile

Erzeugt durch Wiederholung des gegebenen Tensors einen Tensor, wie NumPy tile, jedoch ohne Broadcasting.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• repeats:T2
  • shape:[batch,channel,height,width]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)

3.1.58 Transpose

Transponiert den Eingabetensor.

Eingaben

• X:T1
  • shape:[n1,c1,h1,w1]
    • Detaillierte Einschränkungen stehen in der Attributliste.
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• Y:T1,T2
  • shape:[n2,c2,h2,w2]
    • Detaillierte Einschränkungen stehen in der Attributliste.
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• perm, Reihenfolge der transponierten Achsen: Einschränkungen für unterschiedliche perm folgen (p=8192,q=2048).
  • perm=[0,1,2,3]
    • Uneingeschränkt
  • perm=[0,1,3,2]
    • Nicht unterstützt
  • perm=[0,2,3,1]
    • Nicht unterstützt
  • perm=[0,2,1,3]
    • Nicht unterstützt
  • perm=[0,3,1,2]
    • Nicht unterstützt
  • perm=[0,3,2,1]
    • Nicht unterstützt
  • perm=[1,0,2,3]
    • Nicht unterstützt
  • perm=[1,0,3,2]
    • Nicht unterstützt
  • perm=[1,2,0,3]
    • Nicht unterstützt
  • perm=[1,2,3,0]
    • Nicht unterstützt
  • perm=[1,3,0,2]
    • Nicht unterstützt
  • perm=[1,3,2,0]
    • Nicht unterstützt
  • perm=[2,1,0,3]
    • T1,T2:c1<8192,n<8192,h1*w1<8192,(h1=w1=1,n1%4=0)or(n1=h1=1,h1%4=0)
  • perm=[2,1,3,0]
    • T1,T2:c1<8192,n<8192,h1*w1<8192,(h1=w1=1,n1%4=0)or(n1=h1=1,h1%4=0)
  • perm=[2,0,3,1]
    • Nicht unterstützt
  • perm=[2,0,1,3]
    • Nicht unterstützt
  • perm=[2,3,1,0]
    • Nicht unterstützt
  • perm=[2,3,0,1]
    • Nicht unterstützt
  • perm=[3,0,2,1]
    • Nicht unterstützt
  • perm=[3,0,1,2]
    • Nicht unterstützt
  • perm=[3,2,0,1]
    • Nicht unterstützt
  • perm=[3,2,1,0]
    • Nicht unterstützt
  • perm=[3,1,0,2]
    • T1,T2:c1<8192,n<8192,h1*w1<8192,(h1=w1=1,n1%4=0)or(n1=h1=1,w1%4=0)
  • perm=[3,1,2,0]
    • T1,T2:c1<8192,n<8192,h1*w1<8192,(h1=w1=1,n1%4=0)or(n1=h1=1,w1%4=0)

Datentypbeschränkungen

• T1:int8(Tensor)
• T2:int16(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.1.59 Sigmoid

Wendet y=1/(1+exp(‑x)) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.60 Tanh

Berechnet den hyperbolischen Tangens jedes Eingabetensorelements.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.61 Softplus

Wendet Softplus elementweise an, y=ln(exp(x)+1).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.62 HardSigmoid

Wendet y=max(0,min(1,alpha*x+beta)) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor, wobei

alpha=1/6，beta=0.5

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.63 HardSwish

Wendet HardSwish elementweise an: y = x * max(0, min(1, alpha * x + beta)) = x * HardSigmoid<alpha,beta>(x), wobei alpha=1/6,beta=0.5.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.64 Elu

Wendet f(x)=alpha*(exp(x)‑1.)forx<0,f(x)=xforx>=0 elementweise an, um den Ausgabetensor zu erzeugen; alpha=1.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.65 exSwish

Wendet die Sigmoid Linear Unit elementweise an. Swish heißt auch SiLU: y=x*sigmoid(x).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.66 exMish

Wendet mish(x)=x*tanh(softplus(x))=x*tanh(ln(1+e^{x})) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.67 exGelu

Wendet y =x∗Φ(x) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor. Wenn Φ(x) auf tanh gesetzt ist,

y = 0.5 * x * (1 + Tanh(sqrt(2/π) * (x + 0.044715 * x^3)))

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.68 exSwooshR

Wendet die folgende Funktion aus https://arxiv.org/abs/2310.11230 elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

SwooshR(x)=log(1+exp(x－1))－0.08x－0.313261687

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.69 exSwooshL

Wendet die folgende Funktion aus https://arxiv.org/abs/2310.11230 elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

SwooshL(x)=log(1+exp(x－4))－0.08x－0.035

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.1.70 Where

Wählt Werte aus x_tensor oder y_tensor anhand von mask_tensor: Bei True wird der entsprechende x_tensor-Wert gewählt, sonst der y_tensor-Wert.

Eingaben

• mask_tensor:T1
  • shape:[batch,channel,height,width]
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• x_tensor:*T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• y_tensor:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• output:T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:bool(Tensor)
• T2:int8(Tensor),float16(Tensor)

3.1.71 exGlu

Gated-Linear-Unit-Funktion; a ist die erste Hälfte der Eingabematrix, b die zweite.

GLU(a,b)=a⊗σ(b)

Eingaben

• Input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Output:T1
  • shape:[batch,channel/2,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int(Standardwert=1)
  • Dimension, entlang der die Eingabe geteilt wird.
  • Einschränkung: nur 1 unterstützt.

3.1.72 exMatMul

Matrixmultiplikation

Y =
  A · B + C   if c_type = "add"
  A · B * C   if c_type = "mul"

Eingaben

• A:T1
  • shape:[b,k,1,n]
    • k ∈(0,8192]
  • Quantisierungsunterstützung
    • per‑layer
• B:T1
  • shape:[b,k,1,m]
  • Quantisierungsunterstützung
    • per‑layer
• C(optional):T1,T2
  • shape:[b,n,1,m]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• Y:T1
  • shape:[b,n,1,m]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)

Attribute

• c_type:strings(Standardwert “add”)
  • add oder mul legt fest, ob C addiert oder multipliziert wird.

3.1.73 exNorm

Normalisiert Eingabedaten. Derzeit werden LayerNormlization, RMSNormlization und MeanVarianceNormalization unterstützt:

LayerNorm(x) = (x - µ) / sqrt(σ^2 + ϵ) · W + B
RMSNorm(x) = x / sqrt(RMS^2 + ϵ) · W + B
MeanVarianceNorm(x) = (x - µ) / sqrt(Variance + ϵ) · W + B

Dabei ist x der Eingabevektor. µ und σ2 sind Mittelwert und Varianz des Eingabevektors:

µ = (1/H) Σ_{i=1}^{H} x_i
σ^2 = (1/H) Σ_{i=1}^{H} (x_i - µ)^2

RMS ist der quadratische Mittelwert des Eingabevektors:

RMS = sqrt((1/H) Σ_{i=1}^{H} (x_i)^2)

Variance ist die äquivalente Varianz des Eingabevektors:

Variance = (1/H) Σ_{i=1}^{H} (x_i)^2 - µ^2

ϵ ist ein kleiner Wert zur Vermeidung einer Division durch null. W und B sind optionale Parameter.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
• W(optional):T1
  • shape:[batch,channel,height,width]
• B(optional):T1
  • shape:[batch,channel,height,width]

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:float16(Tensor)

Attribute

• epsilon:float(Standardwert 1e‑05)
  • epsilon-Wert zur Vermeidung einer Division durch 0.
• mode:string
  • Drei Normalization-Modi sind wählbar: layer, rms und mean_var.
• axes:int64[](Standardwert [1])
  • Normalisierungsachsen: derzeit nur [1] und [1,2,3] unterstützt.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.1.74 exWindow

exWindow stammt von window_partition und window_reverse aus swin_transformer. In der Originalarbeit werden Eingabemerkmale in nicht überlappende Fenster der Größe window_size×window_size aufgeteilt. Ein- und Ausgabemerkmale müssen eine 4-dimensionale shape haben und in Höhe und Breite aufgeteilt werden. Die PyTorch-Implementierung folgt:

def window_partition(x, window_size):
  """
  Args:
    x: (B, C, H, W)
    window_size (int): window size
  Returns:
    windows: (B, C, num_windows*num_windows, window_size*window_size)
  """
  B, C, H, W = x.shape
  x = x.view(B, C, H // window_size, window_size, W // window_size, window_size)
  windows = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, -1, window_size*window_size)
  return windows
def window_reverse(windows, window_size, H, W):
  """
  Args:
    windows: (B, C, num_windows*num_windows, window_size*window_size)
    window_size (int): Window size
    H (int): Height of image
    W (int): Width of image
  Returns:
    x: (B, C, H, W)
  """
  B,C,_,_ = windows.shape
  x = windows.view(B, C, H // window_size, W // window_size, window_size, window_size)
  x = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, H, W)
  return x

Eingaben

• X:T1
  • shape:[batch,channel,height,width]

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• mode:string
  • Unterstützte Modi:partition,reverse,partition_num_first.
    • partition: siehe Implementierung von window_partition.
    • reverse: siehe Implementierung von window_reverse.
    • partition_num_first unterscheidet sich von partition dadurch, dass H,W nach num_windows aufgeteilt werden; partition teilt H,W dagegen nach window_sizes auf.
• window_sizes:listofints
  • 2-dimensionaler Vektor der Fenstergröße, der Höhe und Breite jedes Fensters festlegt. Auf dieser Größe beruhen Aufmerksamkeitsberechnung und Merkmalsextraktion innerhalb des Fensters.
• num_windows:listofints
  • 2-dimensionaler Vektor der Fensteranzahl; legt fest, in wie viele Fenster Höhe und Breite der Eingabemerkmale geteilt werden.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2 RK3588

3.2.1 Add

Führt elementweise binäre Addition (C=A+B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.2 AddRelu

Fusionierte Berechnung von Add und Relu, C=Relu(A+B).

Eingaben

• Wie bei Add.

Ausgaben

• Wie bei Add.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.3 BatchNormalization

Führt Batch-Normalisierung des Eingabetensors gemäß https://arxiv.org/abs/1502.03167 aus.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• epsilon:float (Standardwert=1e‑5)
  • Reeller Wert, der beim Teilen durch die Standardabweichung eine Division durch 0 verhindert.
  • epsilon∈(0,∞]
• momentum:float
  • Parameter des gleitenden Mittelwerts beim Training.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.4 Concat

Verknüpft eine Folge von Vektoren entlang axis zu einem Vektor. Alle Dimensionen außer axis müssen übereinstimmen.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• axisint64
  • axis∈{0,1,2,3}

3.2.5 Convolution

Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,31]
  • dilations_w∈[1,31]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.6 DepthwiseConvolution

Tiefenseparierbare Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,8]

kernel_w∈[1,8]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.7 ConvolutionRelu

Fusionierte Berechnung von Convolution und Relu, Output=Relu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.8 ConvolutionClip

Fusionierte Berechnung von Convolution und Clip, Output=Clip(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.9 ConvolutionPRelu/LeakyRelu

Fusionierte Berechnung von Convolution und PRelu/LeakyRelu, Output = PRelu(Conv(Input)) oder Output =

LeakyRelu(Conv(Input))

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.10 ConvolutionAdd

Fusionierte Berechnung von Convolution und Add, Output=Add(Conv(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.11 ConvolutionSigmoid

Fusionierte Berechnung von Convolution und Sigmoid, Output=Sigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.12 ConvolutionTanh

Fusionierte Berechnung von Convolution und Tanh, Output=Tanh(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.13 ConvolutionSoftplus

Fusionierte Berechnung von Convolution und Softplus, Output=Softplus(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.14 ConvolutionHardSigmoid

Fusionierte Berechnung von Convolution und HardSigmoid, Output=HardSigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.15 ConvolutionHardSwish

Fusionierte Berechnung von Convolution und HardSwish, Output=HardSwish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.16 ConvolutionElu

Fusionierte Berechnung von Convolution und Elu, Output=Elu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.17 ConvolutionSwish

Fusionierte Berechnung von Convolution und Swish, Output=Swish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.18 ConvolutionMish

Fusionierte Berechnung von Convolution und Mish, Output=Mish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.19 ConvolutionAddRelu

Fusionierte Berechnung von Convolution, Add und Relu, Output=Relu(Add(Conv(Input0),Input1)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.20 ConvTranspose

Transponierte Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzlich unterliegt die Eingabe der ersten Schicht

width unterliegt Einschränkungen; siehe Modelleingaben.

- **量化支持**
  - per-layer

• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h unterstützt nur 1,2,4,8.
  • stride_w unterstützt nur 1,2,4,8.
• pads:int(pads_top,pads_left,pads_bottom,pads_right). Bei pad sind folgende Fälle nicht unterstützt: kernel_h*dilations_h‑dilations_h‑pads_top<0; kernel_w*dilations_w‑dilations_w‑pads_left<0; stride_h*(height‑1)‑pads_top+1<output_h; stride_w*(width‑1)‑pads_left+1<output_w.
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
  • group: nur 1 wird unterstützt; num_output ist genau dann unterstützt, wenn num_input=num_output.
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]
  • Bei dilation ungleich (1,1) wird nur kernel=(1,1) unterstützt.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.21 ConvTranposeRelu

Fusionierte Berechnung von ConvTranpose und Relu, Output=Relu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.22 ConvTranposeClip

Fusionierte Berechnung von ConvTranpose und Clip, Output=Clip(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.23 ConvTranposePRelu/LeakyRelu

Fusionierte Berechnung von ConvTranpose und PRelu/LeakyRelu, Output=PRelu(ConvTranpose(Input)) oder Output=

LeakyRelu(ConvTranpose(Input))

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.24 ConvTranposeAdd

Fusionierte Berechnung von ConvTranpose und Add, Output=Add(ConvTranpose(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.25 ConvTranposeSigmoid

Fusionierte Berechnung von ConvTranpose und Sigmoid, Output=Sigmoid(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.26 ConvTranposeTanh

Fusionierte Berechnung von ConvTranpose und Tanh, Output=Tanh(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.27 ConvTranposeSoftplus

Fusionierte Berechnung von ConvTranpose und Softplus, Output=Softplus(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.28 ConvTranposeHardSigmoid

Fusionierte Berechnung von ConvTranpose und HardSigmoid, Output=HardSigmoid(ConvTranpose(Input)).

3.2.29 ConvTranposeHardSwish

Fusionierte Berechnung von ConvTranpose und HardSwish, Output=HardSwish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.30 ConvTranposeElu

Fusionierte Berechnung von ConvTranpose und Elu, Output=Elu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.31 ConvTranposeSwish

Fusionierte Berechnung von ConvTranpose und Swish, Output=Swish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.32 ConvTranposeMish

Fusionierte Berechnung von ConvTranpose und Mish, Output=Mish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.2.33 Div

Führt elementweise binäre Division (C=A/B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:float16(Tensor)
• T2:float(constTensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: nicht unterstützt.

3.2.34 Expand

Erweitert den Eingabetensor anhand von shape und Broadcasting-Regeln, ähnlich numpy.array(input) *numpy.ones(shape): Dimensionen werden rechtsbündig ausgerichtet; korrespondierende Dimensionen müssen gleich sein oder eine davon muss 1 sein.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• shape:T2
  • shape:[batch,channel,height,width]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)

Broadcasting-Einschränkungen

• [b,c,1,w]‑>[b,c,h,w],h∈[1,8192]
• [b,1,1,w]‑>[b,c,h,w],h∈[1,8192]
• [b,c,h,1]‑>[b,c,h,w],w ∈[1,8192]
• [b,1,h,1]‑>[b,c,h,w],w ∈[1,8192]
• [b,c,1,1]‑>[b,c,h,w],h∈[1,8192],w ∈[1,8192]

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: nicht unterstützt.

3.2.35 GRU

Gated Recurrent Unit (GRU). Erweiterungen und Varianten heißen exGRU; mit (extern) markierte Parameter sind exGRU vorbehalten. Die Gleichungen folgen:

f = Sigmoid; g = Tanh
r_t = f(x_t · W_r + h_{t-1} · R_r + Wb_r + Rb_r)
z_t = f(x_t · W_z + h_{t-1} · R_z + Wb_z + Rb_z)
h_t = g(x_t · W_h + (r_t ⊙ h_{t-1}) · R_h + Rb_h + Wb_h), (WRB = 0)
h_t = g(x_t · W_h + r_t ⊙ (h_{t-1} · R_h + Rb_h)) + Wb_h, (WRB = 1)
H_t = (1-z_t) ⊙ h_t + z_t ⊙ h_{t-1}

Eingaben

• X:T1
  • shape:[seq_length,batch_size,input_size]

seqlength∈(0,8192]

• batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

inputsize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• W:T1
  • shape:[num_directions,4*hidden_size,input_size]

inputsize∈(0,8192]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• R:T1
  • shape:[num_directions,4*hidden_size,hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• B:T2
  • shape:[num_directions,8*hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• sequence_lens:T3(optional)
  • shape:[batch_size]; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.
• initial_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Ausgaben

• Y:T1
  • shape:[seq_length,num_directions,batch_size,hidden_size]

seqlength∈(0,8192]

• numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Attribute

• linear_before_reset:int
  • Auswahl der LBR-Variante:1(T)or0(F).
• direction(extern):string
  • Legt die Berechnungsrichtung von GRU fest.
  • forward: GRU in Vorwärtsrichtung.
  • reverse: GRU in Rückwärtsrichtung.
  • bidirectional: GRU in beiden Richtungen.
• sequence_size(extern):int
  • Legt seqsize der GRU-Eingabe fest; uneingeschränkt, Ausrichtung auf 4 empfohlen.
• hidden_size(extern):int
  • hiddensize der GRU-Einheit; uneingeschränkt, Ausrichtung auf 8 empfohlen.
• input_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Eingabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size und hidden_size des Operators müssen angegeben werden.
  • snc: Eingabe-shape dieses Layouts ist [seqs,batches,input_size].
  • (sn)c: Eingabe-shape dieses Layouts ist [seqs*batches,input_size,1,1].
• output_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Ausgabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size, hidden_size und directions des Operators müssen angegeben werden.
  • sbnc: Ausgabe-shape dieses Layouts ist [seqs,directions,batches,hidden_size].
  • (sn)c: Ausgabe-shape dieses Layouts ist [seqsbatches,directionsinput_size,1,1].

Datentypbeschränkungen

• T1:float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.36 Gather

Wählt anhand von Indices Einträge aus X entlang der angegebenen axis aus und verknüpft sie.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• Indices:T2
  • Indizes der zu sammelnden Elemente; rank =1.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int(Tensor)

Attribute

• axis:int(Tensor)
  • axis∈{0,1,2,3}
  • Legt die durch Indices adressierte Eingabedimension fest.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.37 Hardmax

Ausgaben

• input:T1
  • shape:[batch,channel,height,width]

axis=1,height∗width<16384;

• axis=3/‑1,channel∗height<16384; zusätzlich gelten die Spezifikationsgrenzen von tranpose.

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int
  • hardmax-Achse:1,3/‑1, entsprechend channel und width.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.38 LSTM

Long Short-Term Memory (LSTM). Erweiterungen und Varianten heißen exLSTM; mit (extern) markierte Parameter sind exLSTM vorbehalten. Die Gleichungen folgen:

f = Sigmoid; g = Tanh; h = Tanh
i_t = f(x_t · W_i + h_{t-1} · R_i + Wb_i + Rb_i)
f_t = f(x_t · W_f + h_{t-1} · R_f + Wb_f + Rb_f)
c_t = f(x_t · W_c + h_{t-1} · R_c + Wb_c + Rb_c)
o_t = f(x_t · W_o + h_{t-1} · R_o + Wb_o + Rb_o)
C_t = f_t ⊙ C(t-1) + i_t ⊙ c_t
h_t = o_t ⊙ h(C_t)

Eingaben

• X:T1
  • shape:[seq_length,batch_size,input_size]

seqlength∈(0,8192]

• batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

inputsize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• W:T1
  • shape:[num_directions,4*hidden_size,input_size]

inputsize∈(0,8192]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• R:T1
  • shape:[num_directions,4*hidden_size,hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• B:T2,T3
  • shape:[num_directions,8*hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• sequence_lens:T4,T5(optional)
  • shape:[batch_size]; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.
• initial_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• initial_c:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Ausgaben

• Y:T1
  • shape:[seq_length,num_directions,batch_size,hidden_size]

seqlength∈(0,8192]

• numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_c:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Attribute

• direction(extern):string
  • Legt die Berechnungsrichtung von LSTM fest.
  • forward: LSTM in Vorwärtsrichtung.
  • reverse: LSTM in Rückwärtsrichtung.
  • bidirectional: LSTM in beiden Richtungen.
• sequence_size(extern):int
  • Legt seqsize der LSTM-Eingabe fest; uneingeschränkt, Ausrichtung auf 4 empfohlen.
• hidden_size(extern):int
  • hiddensize der LSTM-Einheit; uneingeschränkt, Ausrichtung auf 8 empfohlen.
• proj_size(extern):int
  • proj_size bei projection; projsize∈[0,hiddensize].
  • Derzeit auf 0 beschränkt; projection wird noch nicht unterstützt.
• input_forget(extern):int
  • Auswahl der cifg-Variante:1(T)or0(F). Derzeit auf 0 beschränkt, also noch nicht unterstützt.
• has_projection(extern):int
  • projection-Variante:1(T)or0(F). Derzeit auf 0 beschränkt, also noch nicht unterstützt.
• input_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Eingabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size und hidden_size des Operators müssen angegeben werden.
  • snc: Eingabe-shape dieses Layouts ist [seqs,batches,input_size].
  • (sn)c: Eingabe-shape dieses Layouts ist [seqs*batches,input_size,1,1].
• output_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Ausgabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size, hidden_size und directions des Operators müssen angegeben werden.
  • sbnc: Ausgabe-shape dieses Layouts ist [seqs,directions,batches,hidden_size].
  • (sn)c: Ausgabe-shape dieses Layouts ist [seqsbatches,directionsinput_size,1,1].

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:int32(Tensor)
• T4:float(Scalar)
• T5:int(Scalar)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.39 Max

Berechnet das elementweise Maximum der Eingabetensoren.

Eingaben

• A:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.40 Min

Berechnet das elementweise Minimum der Eingabetensoren.

Eingaben

• A:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.41 Mul

Führt elementweise binäre Multiplikation (C=A*B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.42 MulRelu

Fusionierte Berechnung von Mul und Relu,C=Relu(A*B).

Eingaben

• Wie bei Mul.

Ausgaben

• Wie bei Mul.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.2.43 Pad

Erzeugt aus Datentensor (data), Tensor der Auffüllwerte an Achsenanfang und -ende (pads), Modus (mode) und konstantem Wert (constant_value) einen aufgefüllten Tensor (output).

Eingaben

• data:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• pads:T2
  • shape : [batch_begin, channel_begin, height_begin, width_begin, batch_end, chan‑nel_end,height_end,

width_end]

• constant_value(optional):T3
  • shape:[1]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)
• T3:float(Scalar),int8(Scalar),float16(Scalar)

Attribute

• mode:string (Standardwert constant)
  • Unterstützte Modi: constant,reflect.
    • constant: uneingeschränkt.

reflectchannel∈(0,8192],height∈(0,8192],width∈(0,8176]

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.44 MaxPool

MaxPool verarbeitet Eingabetensor X und wendet Max-Pooling anhand von Kernelgröße, Schrittweite und pad-Längen an. Für durch den Kernel bestimmte Teilmengen wird das Maximum berechnet und in den herunterabgetasteten Ausgabetensor Y zur weiteren Verarbeitung übernommen. Die räumliche Ausgabeform hängt von explizitem Padding (pads) oder automatischem Padding (auto_pad) ab. Hier wird ausschließlich explizites Padding verwendet.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,8192]

width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]
• storage_order:int64
  • Bevorzugte Speicherreihenfolge:0.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.2.45 GlobalMaxPool

GlobalMaxPool wendet Max-Pooling auf die Werte jedes Kanals von Eingabetensor X an. Dies entspricht MaxPool mit kernel_shape gleich den räumlichen Dimensionen von input.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,7]

width∈(0,7]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.2.46 AveragePool

AveragePool verarbeitet Eingabetensor X und wendet Average-Pooling anhand von Kernelgröße, Schrittweite und pad-Längen an. Alle Werte der durch den Kernel bestimmten Teilmengen werden gemittelt und in den herunterabgetasteten Ausgabetensor Y zur weiteren Verarbeitung übernommen. Die räumliche Ausgabeform hängt von explizitem Padding (pads) oder automatischem Padding (auto_pad) ab. Hier wird ausschließlich explizites Padding verwendet.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,8192]

width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.2.47 GlobalAveragePool

GlobalAveragePool mittelt die Werte jedes Kanals von Eingabetensor X. Dies entspricht AveragePool mit kernel_shape gleich den räumlichen Dimensionen des Eingabetensors.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,7]

width∈(0,7]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.2.48 Pow

Z =XY

Potenzierung: verarbeitet Eingabedaten (Tensor) und einen Exponenten zu Ausgabedaten (Tensor).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• Y:T2
  • shape:[1]
    • Derzeit nur 0,1,2,3,0.5,‑0.5 unterstützt.

Ausgaben

• Z:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int8(Tensor),int32(Tensor),int64(Tensor),float16(Tensor),float(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.49 Relu

Setzt negative Eingabetensorwerte auf null; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.50 Clip/ReLU6

Begrenzt Eingabetensorwerte auf [0,6].

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.51 PRelu

Skaliert negative Eingabetensorwerte mit einem lernbaren Parameter; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Attribute

• slope: PRelu-Koeffizient.
  • Nur ein einzelner Skalar oder Koeffizienten entlang der C-Dimension werden unterstützt.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.52 LeakyRelu

Skaliert negative Eingabetensorwerte mit einem festen Faktor; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.53 Reshape

Liefert einen Tensor der angegebenen Form ohne Änderung der Eingabedaten oder Elementanzahl.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• shape:int
  • Legt die Form des Ausgabetensors fest.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.54 Resize

Ändert die Größe des Eingabetensors. Im Allgemeinen wird jeder Ausgabewert als gewichteter Mittelwert einer Nachbarschaft (Abtastpositionen) im Eingabetensor berechnet.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• roi(optional):T2
  • Derzeit nicht unterstützt.
• scales(optional):T2
  • Array der Skalierungsfaktoren je Dimension.
• sizes(optional):T3
  • Zielgröße des Ausgabetensors.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:int64(Tensor)

Attribute

• antialias:int (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• axes:int[]
  • Die Einstellung wird derzeit nicht unterstützt.
• coordinate_transformation_mode:strings (Standardwert ”half_pixel”)
  • Derzeit werden nur half_pixel, pytorch_half_pixel und align_corners unterstützt.
• cubic_coeff_a:float (Standardwert ‑0.75)
  • Die Einstellung wird derzeit nicht unterstützt.
• exclude_outside:int (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• extrapolation_value:float (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• keep_aspect_ratio_policy:strings (Standardwert ”stretch”)
  • Die Einstellung wird derzeit nicht unterstützt.
• mode:strings (Standardwert ”nearest”)
  • Derzeit sind nur nearest und linear konfigurierbar.
• nearest_mode:strings (Standardwert ”round_prefer_floor”)
  • Die Einstellung wird derzeit nicht unterstützt.

Unterstützung: derzeit nur ganzzahlige Skalierung in Breite und Höhe mit ganzzahligen Faktoren 2‑8. Eine Eingabe (1,c,1,1) kann auf (1,c,h,w) vergrößert werden.

• Zusammenarbeit mehrerer Kerne: nicht unterstützt.

3.2.55 Slice

Erzeugt einen Ausschnitt des aktuellen Vektors nach den Regeln von NumPy-Slicing.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• starts:int(Tensor)
  • Startposition des Ausschnitts: uneingeschränkt.
• ends:int(Tensor)
  • Endposition des Ausschnitts: uneingeschränkt.
• axes:int(Tensor)
  • Auswahl der Slice-Achsen: beliebige Achsen 0~3, auch mehrere gleichzeitig.
• steps:int(Tensor)
  • Legt die Schrittweite entlang der jeweiligen Slice-Achse fest.
  • Bei height*width==1&&channel%subc==0&&starts[1]%subc==0&&ends[1]%subc==0&&steps[1]<=subc darf steps von 1 abweichen. Andernfalls läuft SliceOP nur bei steps==[1,1,1,1] auf der NPU.

3.2.56 Softmax

Dieser Operator berechnet normalisierte Exponentialwerte der Eingabe:

Softmax(input, axis) = exp(input - max(input, axis)) / Σ_axis exp(input - max(input, axis))

Das Attribut “axis” legt die Dimension der Softmax-Berechnung fest. Der Ausgabetensor besitzt dieselbe Form und enthält die Softmax-Werte der entsprechenden Eingaben.

Eingaben

• input:T1
  • shape:[batch,channel,height,width], unterliegt den Spezifikationsgrenzen von tranpose.

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int
  • softmax-Achse:1,3, entsprechend channel und width.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.57 exSoftmax13

Dieser Operator berechnet normalisierte Exponentialwerte der Eingabe:

exSoftmax13(input, axis) = exp(input - max(input, axis)) / Σ_axis exp(input - max(input, axis))

Das Attribut “axis” legt die Dimension der Softmax-Berechnung fest. Der Ausgabetensor besitzt dieselbe Form und enthält die Softmax-Werte der entsprechenden Eingaben.

Eingaben

• input:T1
  • shape:[batch,channel,height,width], unterliegt den Spezifikationsgrenzen von tranpose.

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int64
  • softmax-Achse:1,3, entsprechend channel und width.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.58 exSoftmaxMask

Dieser Operator berechnet normalisierte Exponentialwerte der Eingabe:

input(x, mast_t, mask_value) =
  x + (mast_t - 1) * inf   if mask_value = 0
  x + mast_t * (-inf)      elif mask_value = 1
exSoftmaxMask(input, axis) = exp(input - max(input, axis)) / Σ_axis exp(input - max(input, axis))

Das Attribut “axis” legt die Dimension der Softmax-Berechnung fest. Der Ausgabetensor besitzt dieselbe Form und enthält die Softmax-Werte der entsprechenden Eingaben.

Eingaben

• input:T1
  • shape:[batch,channel,height,width], unterliegt den Spezifikationsgrenzen von tranpose.
• mask(optional):T1
  • shape:[1,channel,height,width]

channel∈(0,8192]

• width:· axis=1, uneingeschränkt;

· axis=3/‑1,width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int64
  • softmax-Achse:1,3, entsprechend channel und width.
• mask_value:int64
  • Zu maskierende Werte:0,1.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.59 Split

Teilt den Vektor entlang axis in num_outputs Vektoren; split legt deren Größen entlang axis fest.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • Ein oder mehrere Ausgabevektoren, bestimmt durch num_outputs.
  • shape: durch die Aufteilung bestimmt.
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• axis:int
  • axis∈{0,1,2,3}
• num_outputs:int
• split:int(Tensor)

3.2.60 Sub

• Führt elementweise binäre Subtraktion (C=A‑B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • [b,c,1,1]
    • [scalar]
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • [b,c,1,1]
    • [scalar]

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: nicht unterstützt.

3.2.61 Tile

Erzeugt durch Wiederholung des gegebenen Tensors einen Tensor, wie NumPy tile, jedoch ohne Broadcasting.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• repeats:T2
  • shape:[batch,channel,height,width]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: nicht unterstützt.

3.2.62 Transpose

Transponiert den Eingabetensor.

Eingaben

• X:T1
  • shape:[n1,c1,h1,w1]
    • Detaillierte Einschränkungen stehen in der Attributliste.
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• Y:T1,T2
  • shape:[n2,c2,h2,w2]
    • Detaillierte Einschränkungen stehen in der Attributliste.
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• perm, Reihenfolge der transponierten Achsen: Einschränkungen für unterschiedliche perm folgen (p=8192,q=2048).
  • perm=[0,1,2,3]
    • Uneingeschränkt
  • perm=[0,1,3,2]
    • T1:h1%16=0,h1*w1<16*p,h1*w1<2*q
    • T2:h1%8=0,h1*w1<8*p,h1*w1<2*q
  • perm=[0,2,3,1]
    • T1:c1<8192,h1*w1%8=0，w1*c1<p*16
    • T2:c1<8192,h1*w1%8=0，w1*c1<p*8
  • perm=[0,2,1,3]
    • T1:h1%16=0,h1*w1<16*p,h1*w1<2*q,c1*w1<p
    • T2:h1%8=0,h1*w1<8*p,h1*w1<2*q,c1*w1<p
  • perm=[0,3,1,2]
    • T1,T2:h1*w1<p,w1<8192,h1*c1<p
  • perm=[0,3,2,1]
    • T1:h1%16=0,h1*w1<16*p,h1*w1<2*q,c1<p*16
    • T2:h1%8=0,h1*w1<8*p,h1*w1<2*q,c1<p*8
  • perm=[1,0,2,3]
    • T1:h1*w1<16*p,n1<8192,h1*w1<p
    • T2:h1*w1<8*p,n1<8192,h1*w1<p
  • perm=[1,0,3,2]
    • T1:h1%16=0,c1*h1*w1<16*p,h1*w1<2*q
    • T2:h1%8=0,c1*h1*w1<8*p,h1*w1<2*q
  • perm=[1,2,0,3]
    • T1:n1*w1<p*16,c1*h1*w1<p,w1%16=0
    • T2:n1*w1<p*8,c1*h1*w1p,w1%8=0
  • perm=[1,2,3,0]
    • T1:h1*w1<p,n1<p*16,c1*h1*w1<p*16,n1*w1<p*16
    • T2:h1*w1<p,n1<p*8,c1*h1*w1<p*8,n1*w1<p*8
  • perm=[1,3,0,2]
    • T1:c1*w1<8192,n1*h1<p,w1%16=0
    • T2:c1*w1<8192,n1*h1<p,w1%8=0
  • perm=[1,3,2,0]
    • T1:c1*h1*w1<p,n1*h1<p,w1<8192,w1%16=0
    • T2:c1*h1*w1<p,n1*h1<p,w1<8192,w1%8=0
  • perm=[2,1,0,3]
    • T1,T2:c1<8192,c1*h1*w1<p,n1*w1<p
  • perm=[2,1,3,0]
    • T1:c1*h1*w1<p,n1*w1<p*16,c1<8192,n1*w1%4=0
    • T2:c1*h1*w1<p,n1*w1<p*8,c1<8192,n1*w1%4=0
  • perm=[2,0,3,1]
    • T1,T2:c1<8192,c1*h1*w1<p
  • perm=[2,0,1,3]
    • T1:n1*c1*h1*w1<p,h1*w1%16=0
    • T2:n1*c1*h1*w1<p,h1*w1%8=0
  • perm=[2,3,1,0]
    • T1:c1*h1*w1<p,n1*c1<p,h1*w1<8192,h1*w1%16=0
    • T2:c1*h1*w1<p,n1*c1<p,h1*w1<8192,h1*w1%8=0
  • perm=[2,3,0,1]
    • T1,T2:h1*w1<8192,n1*c1<p
  • perm=[3,0,2,1]
    • T1:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*w1%16=0
    • T2:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*w1%8=0
  • perm=[3,0,1,2]
    • T1:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*h1*w1%16=0
    • T2:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*h1*w1%8=0
  • perm=[3,2,0,1]
    • T1,T2:h1*w1<p,n1*c1<8192,n1*c1*w1<p
  • perm=[3,2,1,0]
    • T1:c1*h1*w1<p,h1*w1<8192,2*h1*w1<q,n1*c1<p*16,h1%16=0
    • T2:c1*h1*w1<p,h1*w1<8192,2*h1*w1<q,n1*c1<p*8,h1%8=0
  • perm=[3,1,0,2]
    • T1,T2:h1*w1<p,c1*w1<8192,n1*h1<p
  • perm=[3,1,2,0]
    • T1,T2:h1*w1<p,n1*c1<8192,n1*h1<p,n1*c1*w1<p

Datentypbeschränkungen

• T1:int8(Tensor)
• T2:int16(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.2.63 Sigmoid

Wendet y=1/(1+exp(‑x)) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.64 Tanh

Berechnet den hyperbolischen Tangens jedes Eingabetensorelements.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.65 Softplus

Wendet Softplus elementweise an, y=ln(exp(x)+1).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.66 HardSigmoid

Wendet y=max(0,min(1,alpha*x+beta)) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor, wobei

alpha=1/6，beta=0.5

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.67 HardSwish

Wendet HardSwish elementweise an: y = x * max(0, min(1, alpha * x + beta)) = x * HardSigmoid<alpha,beta>(x), wobei alpha=1/6,beta=0.5.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.68 Elu

Wendet f(x)=alpha*(exp(x)‑1.)forx<0,f(x)=xforx>=0 elementweise an, um den Ausgabetensor zu erzeugen; alpha=1.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.69 exSwish

Wendet die Sigmoid Linear Unit elementweise an. Swish heißt auch SiLU: y=x*sigmoid(x).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.70 exMish

Wendet mish(x)=x*tanh(softplus(x))=x*tanh(ln(1+e^{x})) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.71 exGelu

Wendet y =x∗Φ(x) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor. Wenn Φ(x) auf tanh gesetzt ist,

y = 0.5 * x * (1 + Tanh(sqrt(2/π) * (x + 0.044715 * x^3)))

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.72 exSwooshR

Wendet die folgende Funktion aus https://arxiv.org/abs/2310.11230 elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

SwooshR(x)=log(1+exp(x－1))－0.08x－0.313261687

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.73 exSwooshL

Wendet die folgende Funktion aus https://arxiv.org/abs/2310.11230 elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

SwooshL(x)=log(1+exp(x－4))－0.08x－0.035

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.74 Where

Wählt Werte aus x_tensor oder y_tensor anhand von mask_tensor: Bei True wird der entsprechende x_tensor-Wert gewählt, sonst der y_tensor-Wert.

Eingaben

• mask_tensor:T1
  • shape:[batch,channel,height,width]
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• x_tensor:*T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• y_tensor:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• output:T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:bool(Tensor)
• T2:int8(Tensor),float16(Tensor)

3.2.75 exGlu

Gated-Linear-Unit-Funktion; a ist die erste Hälfte der Eingabematrix, b die zweite.

GLU(a,b)=a⊗σ(b)

Eingaben

• Input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Output:T1
  • shape:[batch,channel/2,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int(Standardwert=1)
  • Dimension, entlang der die Eingabe geteilt wird.
  • Einschränkung: nur 1 unterstützt.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.76 exMatMul

Matrixmultiplikation

Y =
  A · B + C   if c_type = "add"
  A · B * C   if c_type = "mul"

Eingaben

• A:T1
  • shape:[b,k,1,n]
    • k ∈(0,8192]
  • Quantisierungsunterstützung
    • per‑layer
• B:T1
  • shape:[b,k,1,m]
  • Quantisierungsunterstützung
    • per‑layer
• C(optional):T1,T2
  • shape:[b,n,1,m]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• Y:T1
  • shape:[b,n,1,m]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)

Attribute

• c_type:strings(Standardwert “add”)
  • add oder mul legt fest, ob C addiert oder multipliziert wird.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: nicht unterstützt.

3.2.77 exNorm

Normalisiert Eingabedaten. Derzeit werden LayerNormlization, RMSNormlization und MeanVarianceNormalization unterstützt:

LayerNorm(x) = (x - µ) / sqrt(σ^2 + ϵ) · W + B
RMSNorm(x) = x / sqrt(RMS^2 + ϵ) · W + B
MeanVarianceNorm(x) = (x - µ) / sqrt(Variance + ϵ) · W + B

Dabei ist x der Eingabevektor. µ und σ2 sind Mittelwert und Varianz des Eingabevektors:

µ = (1/H) Σ_{i=1}^{H} x_i
σ^2 = (1/H) Σ_{i=1}^{H} (x_i - µ)^2

RMS ist der quadratische Mittelwert des Eingabevektors:

RMS = sqrt((1/H) Σ_{i=1}^{H} (x_i)^2)

Variance ist die äquivalente Varianz des Eingabevektors:

Variance = (1/H) Σ_{i=1}^{H} (x_i)^2 - µ^2

ϵ ist ein kleiner Wert zur Vermeidung einer Division durch null. W und B sind optionale Parameter.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
• W(optional):T1
  • shape:[batch,channel,height,width]
• B(optional):T1
  • shape:[batch,channel,height,width]

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:float16(Tensor)

Attribute

• epsilon:float(Standardwert 1e‑05)
  • epsilon-Wert zur Vermeidung einer Division durch 0.
• mode:string
  • Drei Normalization-Modi sind wählbar: layer, rms und mean_var.
• axes:int64[](Standardwert [1])
  • Normalisierungsachsen: derzeit nur [1] und [1,2,3] unterstützt.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.2.78 exSDPAttention

Berechnet skalierte Skalarprodukt-Aufmerksamkeit (SDPA) zwischen query, key und value.

Eingaben

• query:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• key:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• value:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• mask(optional):T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
• scale(optional):T3

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: nicht unterstützt.

3.2.79 exWindow

exWindow stammt von window_partition und window_reverse aus swin_transformer. In der Originalarbeit werden Eingabemerkmale in nicht überlappende Fenster der Größe window_size×window_size aufgeteilt. Ein- und Ausgabemerkmale müssen eine 4-dimensionale shape haben und in Höhe und Breite aufgeteilt werden. Die PyTorch-Implementierung folgt:

def window_partition(x, window_size):
  """
  Args:
    x: (B, C, H, W)
    window_size (int): window size
  Returns:
    windows: (B, C, num_windows*num_windows, window_size*window_size)
  """
  B, C, H, W = x.shape
  x = x.view(B, C, H // window_size, window_size, W // window_size, window_size)
  windows = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, -1, window_size*window_size)
  return windows
def window_reverse(windows, window_size, H, W):
  """
  Args:
    windows: (B, C, num_windows*num_windows, window_size*window_size)
    window_size (int): Window size
    H (int): Height of image
    W (int): Width of image
  Returns:
    x: (B, C, H, W)
  """
  B,C,_,_ = windows.shape
  x = windows.view(B, C, H // window_size, W // window_size, window_size, window_size)
  x = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, H, W)
  return x

Eingaben

• X:T1
  • shape:[batch,channel,height,width]

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• mode:string
  • Unterstützte Modi:partition,reverse,partition_num_first.
    • partition: siehe Implementierung von window_partition.
    • reverse: siehe Implementierung von window_reverse.
    • partition_num_first unterscheidet sich von partition dadurch, dass H,W nach num_windows aufgeteilt werden; partition teilt H,W dagegen nach window_sizes auf.
• window_sizes:listofints
  • 2-dimensionaler Vektor der Fenstergröße, der Höhe und Breite jedes Fensters festlegt. Auf dieser Größe beruhen Aufmerksamkeitsberechnung und Merkmalsextraktion innerhalb des Fensters.
• num_windows:listofints
  • 2-dimensionaler Vektor der Fensteranzahl; legt fest, in wie viele Fenster Höhe und Breite der Eingabemerkmale geteilt werden.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.3 RK3562

3.3.1 Add

Führt elementweise binäre Addition (C=A+B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

3.3.2 AddRelu

Fusionierte Berechnung von Add und Relu, C=Relu(A+B).

Eingaben

• Wie bei Add.

Ausgaben

• Wie bei Add.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.3.3 BatchNormalization

Führt Batch-Normalisierung des Eingabetensors gemäß https://arxiv.org/abs/1502.03167 aus.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• epsilon:float (Standardwert=1e‑5)
  • Reeller Wert, der beim Teilen durch die Standardabweichung eine Division durch 0 verhindert.
  • epsilon∈(0,∞]
• momentum:float
  • Parameter des gleitenden Mittelwerts beim Training.

3.3.4 Concat

Verknüpft eine Folge von Vektoren entlang axis zu einem Vektor. Alle Dimensionen außer axis müssen übereinstimmen.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• axisint64
  • axis∈{0,1,2,3}

3.3.5 Convolution

Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,31]
  • dilations_w∈[1,31]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.6 DepthwiseConvolution

Tiefenseparierbare Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,8]

kernel_w∈[1,8]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.7 ConvolutionRelu

Fusionierte Berechnung von Convolution und Relu, Output=Relu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.8 ConvolutionClip

Fusionierte Berechnung von Convolution und Clip, Output=Clip(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.9 ConvolutionPRelu/LeakyRelu

Fusionierte Berechnung von Convolution und PRelu/LeakyRelu, Output = PRelu(Conv(Input)) oder Output =

LeakyRelu(Conv(Input))

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.10 ConvolutionAdd

Fusionierte Berechnung von Convolution und Add, Output=Add(Conv(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.11 ConvolutionSigmoid

Fusionierte Berechnung von Convolution und Sigmoid, Output=Sigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.12 ConvolutionTanh

Fusionierte Berechnung von Convolution und Tanh, Output=Tanh(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.13 ConvolutionSoftplus

Fusionierte Berechnung von Convolution und Softplus, Output=Softplus(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.14 ConvolutionHardSigmoid

Fusionierte Berechnung von Convolution und HardSigmoid, Output=HardSigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.15 ConvolutionHardSwish

Fusionierte Berechnung von Convolution und HardSwish, Output=HardSwish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.16 ConvolutionElu

Fusionierte Berechnung von Convolution und Elu, Output=Elu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.17 ConvolutionSwish

Fusionierte Berechnung von Convolution und Swish, Output=Swish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.18 ConvolutionMish

Fusionierte Berechnung von Convolution und Mish, Output=Mish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.19 ConvolutionAddRelu

Fusionierte Berechnung von Convolution, Add und Relu, Output=Relu(Add(Conv(Input0),Input1)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.3.20 ConvTranspose

Transponierte Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzlich unterliegt die Eingabe der ersten Schicht

width unterliegt Einschränkungen; siehe Modelleingaben.

- **量化支持**
  - per-layer

• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,8]
  • stride_w∈[1,8]
• pads:int(pads_top,pads_left,pads_bottom,pads_right). Bei pad sind folgende Fälle nicht unterstützt: kernel_h*dilations_h‑dilations_h‑pads_top<0; kernel_w*dilations_w‑dilations_w‑pads_left<0; stride_h*(height‑1)‑pads_top+1<output_h; stride_w*(width‑1)‑pads_left+1<output_w.
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
  • group: nur 1 wird unterstützt; num_output ist genau dann unterstützt, wenn num_input=num_output.
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]
  • Bei dilation ungleich (1,1) wird nur kernel=(1,1) unterstützt.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.21 ConvTranposeRelu

Fusionierte Berechnung von ConvTranpose und Relu, Output=Relu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.22 ConvTranposeClip

Fusionierte Berechnung von ConvTranpose und Clip, Output=Clip(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.23 ConvTranposePRelu/LeakyRelu

Fusionierte Berechnung von ConvTranpose und PRelu/LeakyRelu, Output=PRelu(ConvTranpose(Input)) oder Output=

LeakyRelu(ConvTranpose(Input))

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.24 ConvTranposeAdd

Fusionierte Berechnung von ConvTranpose und Add, Output=Add(ConvTranpose(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.25 ConvTranposeSigmoid

Fusionierte Berechnung von ConvTranpose und Sigmoid, Output=Sigmoid(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.26 ConvTranposeTanh

Fusionierte Berechnung von ConvTranpose und Tanh, Output=Tanh(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.27 ConvTranposeSoftplus

Fusionierte Berechnung von ConvTranpose und Softplus, Output=Softplus(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.28 ConvTranposeHardSigmoid

Fusionierte Berechnung von ConvTranpose und HardSigmoid, Output=HardSigmoid(ConvTranpose(Input)).

3.3.29 ConvTranposeHardSwish

Fusionierte Berechnung von ConvTranpose und HardSwish, Output=HardSwish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.30 ConvTranposeElu

Fusionierte Berechnung von ConvTranpose und Elu, Output=Elu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.31 ConvTranposeSwish

Fusionierte Berechnung von ConvTranpose und Swish, Output=Swish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.32 ConvTranposeMish

Fusionierte Berechnung von ConvTranpose und Mish, Output=Mish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.3.33 Div

Führt elementweise binäre Division (C=A/B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:float16(Tensor)
• T2:float(constTensor)

3.3.34 Expand

Eingaben

• input1:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Broadcasting-Einschränkungen

• [b,c,1,w]‑>[b,c,h,w],h∈[1,8192]
• [b,1,1,w]‑>[b,c,h,w],h∈[1,8192]
• [b,c,h,1]‑>[b,c,h,w],w ∈[1,8192]
• [b,1,h,1]‑>[b,c,h,w],w ∈[1,8192]
• [b,c,1,1]‑>[b,c,h,w],h∈[1,8192],w ∈[1,8192]

3.3.35 GRU

Gated Recurrent Unit (GRU). Erweiterungen und Varianten heißen exGRU; mit (extern) markierte Parameter sind exGRU vorbehalten. Die Gleichungen folgen:

f = Sigmoid; g = Tanh
r_t = f(x_t · W_r + h_{t-1} · R_r + Wb_r + Rb_r)
z_t = f(x_t · W_z + h_{t-1} · R_z + Wb_z + Rb_z)
h_t = g(x_t · W_h + (r_t ⊙ h_{t-1}) · R_h + Rb_h + Wb_h), (WRB = 0)
h_t = g(x_t · W_h + r_t ⊙ (h_{t-1} · R_h + Rb_h)) + Wb_h, (WRB = 1)
H_t = (1-z_t) ⊙ h_t + z_t ⊙ h_{t-1}

Eingaben

• X:T1
  • shape:[seq_length,batch_size,input_size]

seqlength∈(0,8192]

• batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

inputsize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• W:T1
  • shape:[num_directions,4*hidden_size,input_size]

inputsize∈(0,8192]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• R:T1
  • shape:[num_directions,4*hidden_size,hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• B:T2
  • shape:[num_directions,8*hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• sequence_lens:T3(optional)
  • shape:[batch_size]; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.
• initial_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Ausgaben

• Y:T1
  • shape:[seq_length,num_directions,batch_size,hidden_size]

seqlength∈(0,8192]

• numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Attribute

• linear_before_reset:int
  • Auswahl der LBR-Variante:1(T)or0(F).
• direction(extern):string
  • Legt die Berechnungsrichtung von GRU fest.
  • forward: GRU in Vorwärtsrichtung.
  • reverse: GRU in Rückwärtsrichtung.
  • bidirectional: GRU in beiden Richtungen.
• sequence_size(extern):int
  • Legt seqsize der GRU-Eingabe fest; uneingeschränkt, Ausrichtung auf 4 empfohlen.
• hidden_size(extern):int
  • hiddensize der GRU-Einheit; uneingeschränkt, Ausrichtung auf 8 empfohlen.
• input_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Eingabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size und hidden_size des Operators müssen angegeben werden.
  • snc: Eingabe-shape dieses Layouts ist [seqs,batches,input_size].
  • (sn)c: Eingabe-shape dieses Layouts ist [seqs*batches,input_size,1,1].
• output_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Ausgabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size, hidden_size und directions des Operators müssen angegeben werden.
  • sbnc: Ausgabe-shape dieses Layouts ist [seqs,directions,batches,hidden_size].
  • (sn)c: Ausgabe-shape dieses Layouts ist [seqsbatches,directionsinput_size,1,1].

Datentypbeschränkungen

• T1:float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.36 Gather

Wählt anhand von Indices Einträge aus X entlang der angegebenen axis aus und verknüpft sie.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• Indices:T2
  • Indizes der zu sammelnden Elemente; rank =1.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int(Tensor)

Attribute

• axis:int(Tensor)
  • axis∈{0,1,2,3}
  • Legt die durch Indices adressierte Eingabedimension fest.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.3.37 Hardmax

Ausgaben

• input:T1
  • shape:[batch,channel,height,width]

axis=1,height∗width<16384;

• axis=3/‑1,channel∗height<16384; zusätzlich gelten die Spezifikationsgrenzen von tranpose.

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int
  • hardmax-Achse:1,3/‑1, entsprechend channel und width.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.3.38 LSTM

Long Short-Term Memory (LSTM). Erweiterungen und Varianten heißen exLSTM; mit (extern) markierte Parameter sind exLSTM vorbehalten. Die Gleichungen folgen:

f = Sigmoid; g = Tanh; h = Tanh
i_t = f(x_t · W_i + h_{t-1} · R_i + Wb_i + Rb_i)
f_t = f(x_t · W_f + h_{t-1} · R_f + Wb_f + Rb_f)
c_t = f(x_t · W_c + h_{t-1} · R_c + Wb_c + Rb_c)
o_t = f(x_t · W_o + h_{t-1} · R_o + Wb_o + Rb_o)
C_t = f_t ⊙ C(t-1) + i_t ⊙ c_t
h_t = o_t ⊙ h(C_t)

Eingaben

• X:T1
  • shape:[seq_length,batch_size,input_size]

seqlength∈(0,8192]

• batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

inputsize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• W:T2
  • shape:[num_directions,4*hidden_size,input_size]

inputsize∈(0,8192]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• R:T2
  • shape:[num_directions,4*hidden_size,hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• B:T2
  • shape:[num_directions,8*hidden_size]

hiddensize∈(0,8192]

• numdirections:1or2
• Quantisierungsunterstützung
  • per‑layer
  • per‑channel
• sequence_lens:T2(optional)
  • shape:[batch_size]; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.
• initial_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• initial_c:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Ausgaben

• Y:T1
  • shape:[seq_length,num_directions,batch_size,hidden_size]

seqlength∈(0,8192]

• numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_h:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• Y_c:T1(optional)
  • shape:[num_directions,batch_size,hidden_size]
    • numdirections:1or2; batchsize∈(0,8192]; Werte größer als 1 müssen Vielfache von 4 sein.

hiddensize∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer

Attribute

• direction(extern):string
  • Legt die Berechnungsrichtung von LSTM fest.
  • forward: LSTM in Vorwärtsrichtung.
  • reverse: LSTM in Rückwärtsrichtung.
  • bidirectional: LSTM in beiden Richtungen.
• sequence_size(extern):int
  • Legt seqsize der LSTM-Eingabe fest; uneingeschränkt, Ausrichtung auf 4 empfohlen.
• hidden_size(extern):int
  • hiddensize der LSTM-Einheit; uneingeschränkt, Ausrichtung auf 8 empfohlen.
• proj_size(extern):int
  • proj_size bei projection; projsize∈[0,hiddensize].
  • Derzeit auf 0 beschränkt; projection wird noch nicht unterstützt.
• input_forget(extern):int
  • Auswahl der cifg-Variante:1(T)or0(F). Derzeit auf 0 beschränkt, also noch nicht unterstützt.
• has_projection(extern):int
  • projection-Variante:1(T)or0(F). Derzeit auf 0 beschränkt, also noch nicht unterstützt.
• input_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Eingabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size und hidden_size des Operators müssen angegeben werden.
  • snc: Eingabe-shape dieses Layouts ist [seqs,batches,input_size].
  • (sn)c: Eingabe-shape dieses Layouts ist [seqs*batches,input_size,1,1].
• output_layout(extern):int
  • Legt ein Layout fest, das der Bedeutung der zugehörigen Ausgabe-shape entspricht.
  • Das festgelegte Layout und die tatsächlichen Werte batch_size, sequence_size, hidden_size und directions des Operators müssen angegeben werden.
  • sbnc: Ausgabe-shape dieses Layouts ist [seqs,directions,batches,hidden_size].
  • (sn)c: Ausgabe-shape dieses Layouts ist [seqsbatches,directionsinput_size,1,1].

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:int32(Tensor)
• T4:float(Scalar)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.39 Max

Berechnet das elementweise Maximum der Eingabetensoren.

Eingaben

• A:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.40 Mul

Führt elementweise binäre Multiplikation (C=A*B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

3.3.41 MulRelu

Fusionierte Berechnung von Mul und Relu,C=Relu(A*B).

Eingaben

• Wie bei Mul.

Ausgaben

• Wie bei Mul.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.3.42 Pad

Erzeugt aus Datentensor (data), Tensor der Auffüllwerte an Achsenanfang und -ende (pads), Modus (mode) und konstantem Wert (constant_value) einen aufgefüllten Tensor (output).

Eingaben

• data:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• pads:T2
  • shape : [batch_begin, channel_begin, height_begin, width_begin, batch_end, chan‑nel_end,height_end,width_end]
• constant_value(optional):T3
  • shape:[1]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)
• T3:float(Scalar),int8(Scalar),float16(Scalar)

Attribute

• mode:string (Standardwert constant)
  • Unterstützte Modi: constant,reflect.
    • constant: uneingeschränkt.

reflectchannel∈(0,8192],height∈(0,8192],width∈(0,8176]

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.3.43 MaxPool

MaxPool verarbeitet Eingabetensor X und wendet Max-Pooling anhand von Kernelgröße, Schrittweite und pad-Längen an. Für durch den Kernel bestimmte Teilmengen wird das Maximum berechnet und in den herunterabgetasteten Ausgabetensor Y zur weiteren Verarbeitung übernommen. Die räumliche Ausgabeform hängt von explizitem Padding (pads) oder automatischem Padding (auto_pad) ab. Hier wird ausschließlich explizites Padding verwendet.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,8192]

width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]
• storage_order:int64[]
  • Bevorzugte Speicherreihenfolge:0.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.3.44 GlobalMaxPool

GlobalMaxPool wendet Max-Pooling auf die Werte jedes Kanals von Eingabetensor X an. Dies entspricht MaxPool mit kernel_shape gleich den räumlichen Dimensionen von input.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,7]

width∈(0,7]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.3.45 AveragePool

AveragePool verarbeitet Eingabetensor X und wendet Average-Pooling anhand von Kernelgröße, Schrittweite und pad-Längen an. Alle Werte der durch den Kernel bestimmten Teilmengen werden gemittelt und in den herunterabgetasteten Ausgabetensor Y zur weiteren Verarbeitung übernommen. Die räumliche Ausgabeform hängt von explizitem Padding (pads) oder automatischem Padding (auto_pad) ab. Hier wird ausschließlich explizites Padding verwendet.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,8192]

width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.3.46 GlobalAveragePool

GlobalAveragePool mittelt die Werte jedes Kanals von Eingabetensor X. Dies entspricht AveragePool mit kernel_shape gleich den räumlichen Dimensionen des Eingabetensors.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

height∈(0,7]

width∈(0,7]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Attribute

• kernel_shape:int64(kernel_h,kernel_w)
  • kernel_h∈(0,7]
  • kernel_w∈(0,7]
• auto_pad:string
  • Padding-Modus: nur NOTSET unterstützt.
• ceil_mode:int64
  • Berechnung der Ausgabe-shape mit ceil oder floor: nicht unterstützt.
• strides:int64(strides_h,strides_w)
  • strides_h∈(0,8]
  • strides_w∈(0,8]
• count_include_pad:int64[]
  • count_include_pad, ob pad-Werte in die Berechnung eingehen:1.
• pad:int64(pad_top,pad_left,pad_bottom,pad_right)
  • pad_top∈[0,7]
  • pad_left∈[0,7]
  • pad_bottom∈[0,7]
  • pad_right∈[0,7]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

3.3.47 Pow

Z =XY

Potenzierung: verarbeitet Eingabedaten (Tensor) und einen Exponenten zu Ausgabedaten (Tensor).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• Y:T2
  • shape:[1]
    • Derzeit nur 0,1,2,3,0.5,‑0.5 unterstützt.

Ausgaben

• Z:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int8(Tensor),int32(Tensor),int64(Tensor),float16(Tensor),float(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.3.48 Relu

Setzt negative Eingabetensorwerte auf null; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.49 Clip/ReLU6

Begrenzt Eingabetensorwerte auf [0,6].

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.50 PRelu

Skaliert negative Eingabetensorwerte mit einem lernbaren Parameter; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer/per‑channel

Attribute

• slope: PRelu-Koeffizient.
  • Nur ein einzelner Skalar oder Koeffizienten entlang der C-Dimension werden unterstützt.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.51 LeakyRelu

Skaliert negative Eingabetensorwerte mit einem festen Faktor; positive Werte bleiben unverändert.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Keine

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.52 Reshape

Liefert einen Tensor der angegebenen Form ohne Änderung der Eingabedaten oder Elementanzahl.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• shape:int
  • Legt die Form des Ausgabetensors fest.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.3.53 Resize

Ändert die Größe des Eingabetensors. Im Allgemeinen wird jeder Ausgabewert als gewichteter Mittelwert einer Nachbarschaft (Abtastpositionen) im Eingabetensor berechnet.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• roi(optional):T2
  • Derzeit nicht unterstützt.
• scales(optional):T2
  • Array der Skalierungsfaktoren je Dimension.
• sizes(optional):T3
  • Zielgröße des Ausgabetensors.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:int64(Tensor)

Attribute

• antialias:int (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• axes:int[]
  • Die Einstellung wird derzeit nicht unterstützt.
• coordinate_transformation_mode:strings (Standardwert ”half_pixel”)
  • Derzeit werden nur half_pixel, pytorch_half_pixel und align_corners unterstützt.
• cubic_coeff_a:float (Standardwert ‑0.75)
  • Die Einstellung wird derzeit nicht unterstützt.
• exclude_outside:int (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• extrapolation_value:float (Standardwert 0)
  • Die Einstellung wird derzeit nicht unterstützt.
• keep_aspect_ratio_policy:strings (Standardwert ”stretch”)
  • Die Einstellung wird derzeit nicht unterstützt.
• mode:strings (Standardwert ”nearest”)
  • Derzeit sind nur nearest und linear konfigurierbar.
• nearest_mode:strings (Standardwert ”round_prefer_floor”)
  • Die Einstellung wird derzeit nicht unterstützt.

Unterstützung: derzeit nur ganzzahlige Skalierung in Breite und Höhe mit ganzzahligen Faktoren 2‑8. Eine Eingabe (1,c,1,1) kann auf (1,c,h,w) vergrößert werden.

3.3.54 Slice

Erzeugt einen Ausschnitt des aktuellen Vektors nach den Regeln von NumPy-Slicing.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• starts:int(Tensor)
  • Startposition des Ausschnitts: uneingeschränkt.
• ends:int(Tensor)
  • Endposition des Ausschnitts: uneingeschränkt.
• axes:int(Tensor)
  • Auswahl der Slice-Achsen: beliebige Achsen 0~3, auch mehrere gleichzeitig.
• steps:int(Tensor)
  • Legt die Schrittweite entlang der jeweiligen Slice-Achse fest.
  • Bei height*width==1&&channel%subc==0&&starts[1]%subc==0&&ends[1]%subc==0&&steps[1]<=subc darf steps von 1 abweichen. Andernfalls läuft SliceOP nur bei steps==[1,1,1,1] auf der NPU.

3.3.55 Softmax

Dieser Operator berechnet normalisierte Exponentialwerte der Eingabe:

Softmax(input, axis) = exp(input - max(input, axis)) / Σ_axis exp(input - max(input, axis))

Das Attribut “axis” legt die Dimension der Softmax-Berechnung fest. Der Ausgabetensor besitzt dieselbe Form und enthält die Softmax-Werte der entsprechenden Eingaben.

Eingaben

• input:T1
  • shape:[batch,channel,height,width], unterliegt den Spezifikationsgrenzen von tranpose.

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int
  • softmax-Achse:1,3, entsprechend channel und width.

3.3.56 exSoftmax13

Dieser Operator berechnet normalisierte Exponentialwerte der Eingabe:

exSoftmax13(input, axis) = exp(input - max(input, axis)) / Σ_axis exp(input - max(input, axis))

Das Attribut “axis” legt die Dimension der Softmax-Berechnung fest. Der Ausgabetensor besitzt dieselbe Form und enthält die Softmax-Werte der entsprechenden Eingaben.

Eingaben

• input:T1
  • shape:[batch,channel,height,width], unterliegt den Spezifikationsgrenzen von tranpose.

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int64
  • softmax-Achse:1,3, entsprechend channel und width.

3.3.57 exSoftmaxMask

Dieser Operator berechnet normalisierte Exponentialwerte der Eingabe:

input(x, mast_t, mask_value) =
  x + (mast_t - 1) * inf   if mask_value = 0
  x + mast_t * (-inf)      elif mask_value = 1
exSoftmaxMask(input, axis) = exp(input - max(input, axis)) / Σ_axis exp(input - max(input, axis))

Das Attribut “axis” legt die Dimension der Softmax-Berechnung fest. Der Ausgabetensor besitzt dieselbe Form und enthält die Softmax-Werte der entsprechenden Eingaben.

Eingaben

• input:T1
  • shape:[batch,channel,height,width], unterliegt den Spezifikationsgrenzen von tranpose.
• mask(optional):T1
  • shape:[1,channel,height,width]

channel∈(0,8192]

• width:· axis=1, uneingeschränkt;

· axis=3/‑1,width∈(0,8192]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int64
  • softmax-Achse:1,3, entsprechend channel und width.
• mask_value:int64
  • Zu maskierende Werte:0,1.

3.3.58 Split

Teilt den Vektor entlang axis in num_outputs Vektoren; split legt deren Größen entlang axis fest.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • Ein oder mehrere Ausgabevektoren, bestimmt durch num_outputs.
  • shape: durch die Aufteilung bestimmt.
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• axis:int
  • axis∈{0,1,2,3}
• num_outputs:int
• split:int(Tensor)

3.3.59 Sub

• Führt elementweise binäre Subtraktion (C=A‑B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • [b,c,1,1]
    • [scalar]
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • [b,c,1,1]
    • [scalar]

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(constTensor)

3.3.60 Tile

Erzeugt durch Wiederholung des gegebenen Tensors einen Tensor, wie NumPy tile, jedoch ohne Broadcasting.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• repeats:T2
  • shape:[batch,channel,height,width]

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:int64(Tensor)

3.3.61 Transpose

Transponiert den Eingabetensor.

Eingaben

• X:T1
  • shape:[n1,c1,h1,w1]
    • Detaillierte Einschränkungen stehen in der Attributliste.
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• Y:T1,T2
  • shape:[n2,c2,h2,w2]
    • Detaillierte Einschränkungen stehen in der Attributliste.
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• perm, Reihenfolge der transponierten Achsen: Einschränkungen für unterschiedliche perm folgen (p=268435456,q=65536).
  • perm=[0,1,2,3]
    • Uneingeschränkt
  • perm=[0,1,3,2]
    • T1:h1%16=0,h1*w1<16*p,h1*w1<2*q
    • T2:h1%8=0,h1*w1<8*p,h1*w1<2*q
  • perm=[0,2,3,1]
    • T1:c1<8192,h1*w1%8=0，w1*c1<p*16
    • T2:c1<8192,h1*w1%8=0，w1*c1<p*8
  • perm=[0,2,1,3]
    • T1:h1%16=0,h1*w1<16*p,h1*w1<2*q,c1*w1<p
    • T2:h1%8=0,h1*w1<8*p,h1*w1<2*q,c1*w1<p
  • perm=[0,3,1,2]
    • T1,T2:h1*w1<p,w1<8192,h1*c1<p
  • perm=[0,3,2,1]
    • T1:h1%16=0,h1*w1<16*p,h1*w1<2*q,c1<p*16
    • T2:h1%8=0,h1*w1<8*p,h1*w1<2*q,c1<p*8
  • perm=[1,0,2,3]
    • T1:h1*w1<16*p,n1<8192,h1*w1<p
    • T2:h1*w1<8*p,n1<8192,h1*w1<p
  • perm=[1,0,3,2]
    • T1:h1%16=0,c1*h1*w1<16*p,h1*w1<2*q
    • T2:h1%8=0,c1*h1*w1<8*p,h1*w1<2*q
  • perm=[1,2,0,3]
    • T1:n1*w1<p*16,c1*h1*w1<p,w1%16=0
    • T2:n1*w1<p*8,c1*h1*w1p,w1%8=0
  • perm=[1,2,3,0]
    • T1:h1*w1<p,n1<p*16,c1*h1*w1<p*16,n1*w1<p*16
    • T2:h1*w1<p,n1<p*8,c1*h1*w1<p*8,n1*w1<p*8
  • perm=[1,3,0,2]
    • T1:c1*w1<8192,n1*h1<p,w1%16=0
    • T2:c1*w1<8192,n1*h1<p,w1%8=0
  • perm=[1,3,2,0]
    • T1:c1*h1*w1<p,n1*h1<p,w1<8192,w1%16=0
    • T2:c1*h1*w1<p,n1*h1<p,w1<8192,w1%8=0
  • perm=[2,1,0,3]
    • T1,T2:c1<8192,c1*h1*w1<p,n1*w1<p
  • perm=[2,1,3,0]
    • T1:c1*h1*w1<p,n1*w1<p*16,c1<8192,n1*w1%4=0
    • T2:c1*h1*w1<p,n1*w1<p*8,c1<8192,n1*w1%4=0
  • perm=[2,0,3,1]
    • T1,T2:c1<8192,c1*h1*w1<p
  • perm=[2,0,1,3]
    • T1:n1*c1*h1*w1<p,h1*w1%16=0
    • T2:n1*c1*h1*w1<p,h1*w1%8=0
  • perm=[2,3,1,0]
    • T1:c1*h1*w1<p,n1*c1<p,h1*w1<8192,h1*w1%16=0
    • T2:c1*h1*w1<p,n1*c1<p,h1*w1<8192,h1*w1%8=0
  • perm=[2,3,0,1]
    • T1,T2:h1*w1<8192,n1*c1<p
  • perm=[3,0,2,1]
    • T1:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*w1%16=0
    • T2:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*w1%8=0
  • perm=[3,0,1,2]
    • T1:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*h1*w1%16=0
    • T2:h1*w1<p,n1*c1<8192,c1*h1<p,n1*w1<8192,n1*h1*w1%8=0
  • perm=[3,2,0,1]
    • T1,T2:h1*w1<p,n1*c1<8192,n1*c1*w1<p
  • perm=[3,2,1,0]
    • T1:c1*h1*w1<p,h1*w1<8192,2*h1*w1<q,n1*c1<p*16,h1%16=0
    • T2:c1*h1*w1<p,h1*w1<8192,2*h1*w1<q,n1*c1<p*8,h1%8=0
  • perm=[3,1,0,2]
    • T1,T2:h1*w1<p,c1*w1<8192,n1*h1<p
  • perm=[3,1,2,0]
    • T1,T2:h1*w1<p,n1*c1<8192,n1*h1<p,n1*c1*w1<p

Datentypbeschränkungen

• T1:int8(Tensor)
• T2:int16(Tensor),float16(Tensor)

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: derzeit nicht unterstützt.

3.3.62 Sigmoid

Wendet y=1/(1+exp(‑x)) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.63 Tanh

Berechnet den hyperbolischen Tangens jedes Eingabetensorelements.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.64 Softplus

Wendet Softplus elementweise an, y=ln(exp(x)+1).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.65 HardSigmoid

Wendet y=max(0,min(1,alpha*x+beta)) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor, wobei

alpha=1/6，beta=0.5

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.66 HardSwish

Wendet HardSwish elementweise an: y = x * max(0, min(1, alpha * x + beta)) = x * HardSigmoid<alpha,beta>(x), wobei alpha=1/6,beta=0.5.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.67 Elu

Wendet f(x)=alpha*(exp(x)‑1.)forx<0,f(x)=xforx>=0 elementweise an, um den Ausgabetensor zu erzeugen; alpha=1.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.68 exSwish

Wendet die Sigmoid Linear Unit elementweise an. Swish heißt auch SiLU: y=x*sigmoid(x).

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.69 exMish

Wendet mish(x)=x*tanh(softplus(x))=x*tanh(ln(1+e^{x})) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.70 exGelu

Wendet y =x∗Φ(x) elementweise auf den Eingabetensor an und erzeugt den Ausgabetensor. Wenn Φ(x) auf tanh gesetzt ist,

y = 0.5 * x * (1 + Tanh(sqrt(2/π) * (x + 0.044715 * x^3)))

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

3.3.71 Where

Wählt Werte aus x_tensor oder y_tensor anhand von mask_tensor: Bei True wird der entsprechende x_tensor-Wert gewählt, sonst der y_tensor-Wert.

Eingaben

• mask_tensor:T1
  • shape:[batch,channel,height,width]
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• x_tensor:*T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• y_tensor:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
  • Broadcasting-Einschränkungen
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• output:T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:bool(Tensor)
• T2:int8(Tensor),float16(Tensor)

3.3.72 exGlu

Gated-Linear-Unit-Funktion; a ist die erste Hälfte der Eingabematrix, b die zweite.

GLU(a,b)=a⊗σ(b)

Eingaben

• Input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung:per‑layer.

Ausgaben

• Output:T1
  • shape:[batch,channel/2,height,width]
  • Quantisierungsunterstützung:per‑layer.

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• axis:int(Standardwert=1)
  • Dimension, entlang der die Eingabe geteilt wird.
  • Einschränkung: nur 1 unterstützt.

3.3.73 exMatMul

Matrixmultiplikation

Y =
  A · B + C   if c_type = "add"
  A · B * C   if c_type = "mul"

Eingaben

• A:T1
  • shape:[b,k,1,n]
    • k ∈(0,8192]
  • Quantisierungsunterstützung
    • per‑layer
• B:T1
  • shape:[b,k,1,m]
  • Quantisierungsunterstützung
    • per‑layer
• C(optional):T1,T2
  • shape:[b,n,1,m]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• Y:T1
  • shape:[b,n,1,m]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)

Attribute

• c_type:strings(Standardwert “add”)
  • add oder mul legt fest, ob C addiert oder multipliziert wird.

3.3.74 exNorm

Normalisiert Eingabedaten. Derzeit werden LayerNormlization, RMSNormlization und MeanVarianceNormalization unterstützt:

LayerNorm(x) = (x - µ) / sqrt(σ^2 + ϵ) · W + B
RMSNorm(x) = x / sqrt(RMS^2 + ϵ) · W + B
MeanVarianceNorm(x) = (x - µ) / sqrt(Variance + ϵ) · W + B

Dabei ist x der Eingabevektor. µ und σ2 sind Mittelwert und Varianz des Eingabevektors:

µ = (1/H) Σ_{i=1}^{H} x_i
σ^2 = (1/H) Σ_{i=1}^{H} (x_i - µ)^2

RMS ist der quadratische Mittelwert des Eingabevektors:

RMS = sqrt((1/H) Σ_{i=1}^{H} (x_i)^2)

Variance ist die äquivalente Varianz des Eingabevektors:

Variance = (1/H) Σ_{i=1}^{H} (x_i)^2 - µ^2

ϵ ist ein kleiner Wert zur Vermeidung einer Division durch null. W und B sind optionale Parameter.

Eingaben

• X:T1
  • shape:[batch,channel,height,width]
• W(optional):T1
  • shape:[batch,channel,height,width]
• B(optional):T1
  • shape:[batch,channel,height,width]

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:float16(Tensor)

Attribute

• epsilon:float(Standardwert 1e‑05)
  • epsilon-Wert zur Vermeidung einer Division durch 0.
• mode:string
  • Drei Normalization-Modi sind wählbar: layer, rms und mean_var.
• axes:int64[](Standardwert [1])
  • Normalisierungsachsen: derzeit nur [1] und [1,2,3] unterstützt.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.3.75 exSDPAttention

Berechnet skalierte Skalarprodukt-Aufmerksamkeit (SDPA) zwischen query, key und value.

Eingaben

• query:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• key:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
• value:T1
  • shape:[batch,channel,height,width]

channel∈(0,8192]

• Quantisierungsunterstützung
  • per‑layer
• mask(optional):T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Standardmäßig wird Broadcasting entlang beliebiger Dimensionen unterstützt.
    • Bei aktiviertem FA werden nur [b,c,1,1],[1,c,1,1] und [1,c,h,w] unterstützt.
• scale(optional):T3

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)
• T2:float(Tensor)
• T3:float(Scalar)

Weitere Unterstützung

• FlashAttentionV2(FA): unterstützt.
  • Basiert auf https://arxiv.org/abs/2307.08691. Innere Schleifen im Cache beschleunigen die Ausführung und reduzieren die Bandbreitennutzung, vergrößern aber das Modell. Je nach Szenario und Modell über die Aktivierung entscheiden.
  • RKNPU-Treiberversion>=0.8.8
  • Version der RKNPU-Runtime-Bibliothek (librknnrt.so)>=2.0.0
  • Unterstützter Datentyp:float16.

3.3.76 exWindow

exWindow stammt von window_partition und window_reverse aus swin_transformer. In der Originalarbeit werden Eingabemerkmale in nicht überlappende Fenster der Größe window_size×window_size aufgeteilt. Ein- und Ausgabemerkmale müssen eine 4-dimensionale shape haben und in Höhe und Breite aufgeteilt werden. Die PyTorch-Implementierung folgt:

def window_partition(x, window_size):
  """
  Args:
    x: (B, C, H, W)
    window_size (int): window size
  Returns:
    windows: (B, C, num_windows*num_windows, window_size*window_size)
  """
  B, C, H, W = x.shape
  x = x.view(B, C, H // window_size, window_size, W // window_size, window_size)
  windows = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, -1, window_size*window_size)
  return windows
def window_reverse(windows, window_size, H, W):
  """
  Args:
    windows: (B, C, num_windows*num_windows, window_size*window_size)
    window_size (int): Window size
    H (int): Height of image
    W (int): Width of image
  Returns:
    x: (B, C, H, W)
  """
  B,C,_,_ = windows.shape
  x = windows.view(B, C, H // window_size, W // window_size, window_size, window_size)
  x = x.permute(0, 1, 2, 4, 3, 5).contiguous().view(B, C, H, W)
  return x

Eingaben

• X:T1
  • shape:[batch,channel,height,width]

Ausgaben

• Y:T1
  • shape:[batch,channel,height,width]

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• mode:string
  • Unterstützte Modi:partition,reverse,partition_num_first.
    • partition: siehe Implementierung von window_partition.
    • reverse: siehe Implementierung von window_reverse.
    • partition_num_first unterscheidet sich von partition dadurch, dass H,W nach num_windows aufgeteilt werden; partition teilt H,W dagegen nach window_sizes auf.
• window_sizes:listofints
  • 2-dimensionaler Vektor der Fenstergröße, der Höhe und Breite jedes Fensters festlegt. Auf dieser Größe beruhen Aufmerksamkeitsberechnung und Merkmalsextraktion innerhalb des Fensters.
• num_windows:listofints
  • 2-dimensionaler Vektor der Fensteranzahl; legt fest, in wie viele Fenster Höhe und Breite der Eingabemerkmale geteilt werden.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: noch nicht unterstützt.

3.4 RV1103/RV1106

3.4.1 Add

Führt elementweise binäre Addition (C=A+B) mit multidirektionalem Broadcasting nach NumPy-Art aus.

Eingaben

• A:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.
• B:T1,T2
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer
  • Broadcasting-Unterstützung
    • Broadcasting entlang beliebiger Dimensionen wird unterstützt.
    • Broadcasting-Einschränkungen wie beim Operator Expand.

Ausgaben

• C:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor)
• T2:float(constTensor)

3.4.2 AddRelu

Fusionierte Berechnung von Add und Relu, C=Relu(A+B).

Eingaben

• Wie bei Add.

Ausgaben

• Wie bei Add.

Weitere Unterstützung

• Zusammenarbeit mehrerer Kerne: unterstützt.

3.4.3 BatchNormalization

Führt Batch-Normalisierung des Eingabetensors gemäß https://arxiv.org/abs/1502.03167 aus.

Eingaben

• input:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T1:int8(Tensor),float16(Tensor)

Attribute

• epsilon:float (Standardwert=1e‑5)
  • Reeller Wert, der beim Teilen durch die Standardabweichung eine Division durch 0 verhindert.
  • epsilon∈(0,∞]
• momentum:float
  • Parameter des gleitenden Mittelwerts beim Training.

3.4.4 Concat

Verknüpft eine Folge von Vektoren entlang axis zu einem Vektor. Alle Dimensionen außer axis müssen übereinstimmen.

Eingaben

• input_tensor:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Ausgaben

• output:T
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Datentypbeschränkungen

• T:int8(Tensor),float16(Tensor)

Attribute

• axisint64
  • axis∈{0,1,2,3}

3.4.5 Convolution

Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,31]
  • dilations_w∈[1,31]

Datentypbeschränkungen

• T1:int8(Tensor)

3.4.6 DepthwiseConvolution

Tiefenseparierbare Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzliche Grenzen für die Eingangsbreite der ersten Schicht stehen in der Beschreibung der Modelleingaben.
  • Quantisierungsunterstützung
    • per‑layer
• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,8]

kernel_w∈[1,8]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,7]
  • stride_w∈[1,7]
• pads:int(pads_top,pads_left,pads_bottom,pads_right)
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]

Datentypbeschränkungen

• T1:int8(Tensor)

3.4.7 ConvolutionRelu

Fusionierte Berechnung von Convolution und Relu, Output=Relu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.8 ConvolutionClip

Fusionierte Berechnung von Convolution und Clip, Output=Clip(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.9 ConvolutionPRelu/LeakyRelu

Fusionierte Berechnung von Convolution und PRelu/LeakyRelu, Output = PRelu(Conv(Input)) oder Output =

LeakyRelu(Conv(Input))

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.10 ConvolutionAdd

Fusionierte Berechnung von Convolution und Add, Output=Add(Conv(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.11 ConvolutionSigmoid

Fusionierte Berechnung von Convolution und Sigmoid, Output=Sigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.12 ConvolutionTanh

Fusionierte Berechnung von Convolution und Tanh, Output=Tanh(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.13 ConvolutionSoftplus

Fusionierte Berechnung von Convolution und Softplus, Output=Softplus(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.14 ConvolutionHardSigmoid

Fusionierte Berechnung von Convolution und HardSigmoid, Output=HardSigmoid(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.15 ConvolutionHardSwish

Fusionierte Berechnung von Convolution und HardSwish, Output=HardSwish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.16 ConvolutionElu

Fusionierte Berechnung von Convolution und Elu, Output=Elu(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.17 ConvolutionSwish

Fusionierte Berechnung von Convolution und Swish, Output=Swish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.18 ConvolutionMish

Fusionierte Berechnung von Convolution und Mish, Output=Mish(Conv(Input)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.19 ConvolutionAddRelu

Fusionierte Berechnung von Convolution, Add und Relu, Output=Relu(Add(Conv(Input0),Input1)).

Beschreibung und Spezifikationsgrenzen wie bei Convolution.

3.4.20 ConvTranspose

Transponierte Faltung

Eingaben

• input_tensor:T1
  • shape:[batch,channel,height,width]
    • width: bei dilated_kernel_h>1 gilt width<16383. Zusätzlich unterliegt die Eingabe der ersten Schicht

width unterliegt Einschränkungen; siehe Modelleingaben.

- **量化支持**
  - per-layer

• weight:T1
  • shape:[output_channel,input_channel,kernel_h,kernel_w]

kernel_h∈[1,31]

kernel_w∈[1,31]

• Quantisierungsunterstützung
  • per‑layer
  • per‑channel

Ausgaben

• output:T1
  • shape:[batch,channel,height,width]
  • Quantisierungsunterstützung
    • per‑layer

Attribute

• strides:int(strides_h,strides_w)
  • stride_h∈[1,8]
  • stride_w∈[1,8]
• pads:int(pads_top,pads_left,pads_bottom,pads_right). Bei pad sind folgende Fälle nicht unterstützt: kernel_h*dilations_h‑dilations_h‑pads_top<0; kernel_w*dilations_w‑dilations_w‑pads_left<0; stride_h*(height‑1)‑pads_top+1<output_h; stride_w*(width‑1)‑pads_left+1<output_w.
  • pads_top∈[0,15]
  • pads_left∈[0,15]
  • pads_bottom∈[0,15]
  • pads_right∈[0,15]
• group:int
  • group: nur 1 wird unterstützt; num_output ist genau dann unterstützt, wenn num_input=num_output.
• dilations:int(dilations_h,dilations_w)
  • dilations_h∈[1,32]
  • dilations_w∈[1,32]
  • Bei dilation ungleich (1,1) wird nur kernel=(1,1) unterstützt.

Datentypbeschränkungen

• T1:int8(Tensor)

3.4.21 ConvTranposeRelu

Fusionierte Berechnung von ConvTranpose und Relu, Output=Relu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.22 ConvTranposeClip

Fusionierte Berechnung von ConvTranpose und Clip, Output=Clip(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.23 ConvTranposePRelu/LeakyRelu

Fusionierte Berechnung von ConvTranpose und PRelu/LeakyRelu, Output=PRelu(ConvTranpose(Input)) oder Output=

LeakyRelu(ConvTranpose(Input))

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.24 ConvTranposeAdd

Fusionierte Berechnung von ConvTranpose und Add, Output=Add(ConvTranpose(Input0),Input1).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.25 ConvTranposeSigmoid

Fusionierte Berechnung von ConvTranpose und Sigmoid, Output=Sigmoid(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.26 ConvTranposeTanh

Fusionierte Berechnung von ConvTranpose und Tanh, Output=Tanh(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.27 ConvTranposeSoftplus

Fusionierte Berechnung von ConvTranpose und Softplus, Output=Softplus(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.28 ConvTranposeHardSigmoid

Fusionierte Berechnung von ConvTranpose und HardSigmoid, Output=HardSigmoid(ConvTranpose(Input)).

3.4.29 ConvTranposeHardSwish

Fusionierte Berechnung von ConvTranpose und HardSwish, Output=HardSwish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.30 ConvTranposeElu

Fusionierte Berechnung von ConvTranpose und Elu, Output=Elu(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.31 ConvTranposeSwish

Fusionierte Berechnung von ConvTranpose und Swish, Output=Swish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.32 ConvTranposeMish

Fusionierte Berechnung von ConvTranpose und Mish, Output=Mish(ConvTranpose(Input)).

Beschreibung und Spezifikationsgrenzen wie bei ConvTranspose.

3.4.33 Div