Rockchip SED: APIs für AED, Babyweinen, Alarme und Glasbruch

Vollständiger chinesischer V1.6.0-Inhalt, Geltung alle Serien/allgemein. Nur ArmSoM-Plattformreferenz: SoC, SDK/BSP, Audioeingang, Bibliotheken und RKNN/NPU-Modelle prüfen. Keine Zusage für alle Boards. Kein englisches PDF; vollständige Übersetzungen. Quellenlatenzen sind keine ArmSoM-Messungen; keine Befehle ausgeführt.

Widersprüche bleiben erhalten: 8bit char beschreibt vier Statuswerte als Bytes; SedBuzParam/RKAGCParam/RKSedEnable weichen von späteren Typen ab; EN_BCD unterscheidet sich vom Enum EN_SED. Empfohlenes frm_len90 widerspricht buzzer_decision_len100, das kleiner sein soll; Header prüfen und gemeinsam konfigurieren. dB=20*log10(X) nennt keine Referenzamplitude, obwohl32767 als0dB gilt; Normierung prüfen.

ArmSoM Docs · Rockchip Linux

1. Überblick

Diese Anleitung beschreibt Sound Event Detection: Baby Cry Detection, Abnormal Event Detection und Buzz Detection. Die drei Module teilen eine Schnittstelle, arbeiten aber unabhängig und sind einzeln schaltbar.

2. Funktionen

2.1 Abnormal Event Detection(AED)

AED erkennt auffällige Geräusche in Echtzeit: Lautstärke und SNR, mit 8k-/16k-Eingang. Oberhalb der dB-Lautstärkeschwelle wird 1 ausgegeben, sonst 0. SNR trennt das Signal von stationärem Umgebungs- und Aufnahmerauschen; oberhalb der Schwelle 1, sonst 0. Dezibel messen das Verhältnis gleichdimensionierter Größen; Amplitude ist der Absolutwert der Audiodaten. Originalformel:

dB = 20 * log10(X)

Amplitudenverhältnisse entsprechen dB-Addition/Subtraktion: Verdopplung ergibt 6dB. Die 16bit-Vollaussteuerung 32767 wird als 0dB definiert; Werte liegen daher unter 0dB. SNR ist das Signal/Rausch-Verhältnis: Bei Rauschen 0dB und Signal 6dB darüber beträgt es 6dB.

2.2 KI-KlangereigniserkennungSound Event Detection(SED)

SED erkennt Babyweinen, Summeralarme und Glasbruch in Echtzeit, nur mit 16k-Eingang. Ein RCNN mit Multi-Head-Attention analysiert etwa 1.5s Audio. Laut Quelle bessere Ergebnisse bei SNR über 6dB.

2.2.1 Baby Cry Detection(BCD)

BCD erkennt Babyweinen per Deep Learning in Echtzeit. Hoher SNR verbessert das Ergebnis; etwa 2s Latenz ab Beginn.

2.2.2 Buzz Detection(BUZ)

BUZ erkennt übliche Rauch-, Luftschutz- und Einbruchalarme per Deep Learning. Höherer SNR verbessert die Ergebnisse; etwa 2s Latenz ab Alarmbeginn.

2.2.3 Glass broken Detection(GBS)

GBS erkennt Glasbruch per Deep Learning in Echtzeit. Höherer SNR verbessert die Ergebnisse; etwa 0.6s Latenz ab Beginn.

3. APIs

APIs: rkaudio_sed_init initialisiert SED; rkaudio_sed_destroy zerstört es; rkaudio_sed_process führt Erkennung aus; rkaudio_sed_init_res liefert Initialisierungsergebnisse.

3.1 rkaudio_sed_init

Beschreibung: SED-Handle für rkaudio_sed_process initialisieren und zurückgeben. Nach Gebrauch mit rkaudio_sed_destroy zerstören. Syntax: void *rkaudio_sed_init(int fs, int bit, int chan, RKAudioSedParam *param). Parameter:

Rückgabewert:

3.2 rkaudio_sed_destroy

Beschreibung: SED-Handle zerstören. Syntax: void rkaudio_sed_destroy(void *st_). Parameter:

Kein Rückgabewert.

3.3 rkaudio_sed_init_res

Beschreibung: Initialisierungsergebnis des SED-Handles ausgeben. Syntax: char rkaudio_sed_init_res(void* st_). Parameter:

Liefert einen 8bit char. Vom niederwertigen Ende bezeichnet das Original das erste Feld als Byte für agc, das zweite für aed, dritte für sed und vierte für fir; 1 bedeutet Erfolg, 0 Fehler. Die Byte-Bezeichnung widerspricht dem 8bit-Rückgabetyp und muss im SDK geprüft werden.

3.4 rkaudio_sed_process

Beschreibung: Klangereignisse erkennen, Ergebnisse in res speichern. Syntax: int rkaudio_sed_process(void *st_, short *in, int in_size, RKAudioSedRes *res). Parameter:

Rückgabewert:

3.5 rkaudio_sed_param_init

SED-Parameter initialisieren, Untermodule aktivieren und deren Parameterinitialisierung aufrufen. Quellcode und Standardwerte sind offen und an Daten anpassbar. Nach Gebrauch rkaudio_sed_param_destroy aufrufen. Parameter-/Moduländerungen erfordern Zerstören und Neuinitialisieren von SED. Syntax: RKAudioSedParam *rkaudio_sed_param_init(). Liefert den Parameterzeiger; siehe RKAudioSedParam.

3.6 rkaudio_sed_param_destroy

SED-Parameter zerstören. Syntax: void rkaudio_sed_param_destroy(RKAudioSedParam *param). Parameter: SED-Parameterzeiger.

3.7 rkaudio_sed_param_aed

AED-Parameter initialisieren, von rkaudio_sed_param_init aufgerufen und durch rkaudio_sed_param_destroy zerstört. Syntax: SedAedParam *rkaudio_sed_param_aed(). Liefert den AED-Parameterzeiger.

3.8 rkaudio_sed_param

BCD/BUZ/GBS-Parameter initialisieren, von rkaudio_sed_param_init aufgerufen und durch rkaudio_sed_param_destroy zerstört. Originalsyntax: SedBuzParam *rkaudio_sed_param(). Originalrückgabe: BUZ-Parameterzeiger.

3.9 rkaudio_agc_param_init

AGC-Parameter in rkaudio_sed_param_init initialisieren; Zerstörung durch rkaudio_sed_param_destroy. Syntax: RKAGCParam* rkaudio_agc_param_init().

Liefert den AGC-Parameterzeiger.

3.10 rkaudio_sed_lsd_db

AED-Lautstärke in dB zurückgeben. Syntax: float rkaudio_sed_lsd_db(void *st_). Rückgabe: dbfs-Wert.

3.11 rkaudio_sed_bcd_model_set

RKNN-Modellpfad für Babyweinen setzen. Syntax: int rkaudio_sed_bcd_model_set(char *model_path). 0 bei Erfolg, -1 bei Fehler.

4. Parameter

4.1 JUMP_FRAME

SED-Erkennungsintervall in Frames. Größere Werte senken Erkennungsfrequenz und Rechenlast. Bei 20 Frames beträgt das Intervall

0.016*20 = 0.32s, ungefähr drei Erkennungen je Sekunde. Empfohlen: 15-25. Übersprungene Frames behalten das vorherige Ergebnis. Definition:

#define JUMP_FRAME 20

4.2 RKAudioSedParam

SED-Algorithmusparameter. Definition:

typedef struct RKAudioSedParam_
{
    int model_en;
    RKSEDAGCParam *agc_param;
    SedAedParam   *aed_param;
    SedParam      *sed_param;
    RKFIRParam    *fir_param;
} RKAudioSedParam;

Felder:

4.3 SedAedParam

AED-Algorithmusparameter. Definition:

typedef struct SedAedParam_
{
    float    snr_db;
    float    lsd_db;
    int      policy;
    float    smooth_param;
} SedAedParam;

Felder:

4.4 SedParam

BCD/BUZ/GBS-Parameter. Definition:

typedef struct SedParam_
{
    int      frm_len;
    int      nclass;
    int      babycry_decision_len;
    int      buzzer_decision_len;
    int      glassbreaking_decision_len;
    float    babycry_confirm_prob;
    float    buzzer_confirm_prob;
    float    glassbreaking_confirm_prob;
} SedParam;

Felder:

4.5 RKAudioSedRes

SED-Ergebnisstruktur. Definition:

typedef struct RKAudioSedRes_
{
    int snr_res;
    int lsd_res;
    int bcd_res;
    int buz_res;
    int gbs_res;
} RKAudioSedRes;

Felder:

4.6 RKAudioSedEnable

model_en zuweisen, um das Modul einzuschalten. Mehrere Flags kombinieren, z. B. EN_AED | EN_BCD gemäß Original. Definition:

typedef enum RKAudioSedEnable_
{
    EN_AGC = 1 << 0,
    EN_AED = 1 << 1,
    EN_SED = 1 << 2,
    EN_FIR = 1 << 3,
} RKAudioSedEnable;

Felder:

4.7 RKSEDAGCParam

AGC-Parameter; Änderungen nicht empfohlen. Definition:

typedef struct RKSEDAGCParam_
{
    float    attack_time;
    float    release_time;
    float    max_gain;
    float    max_peak;
    float    fRth0;
    float    fRk0;
    float    fRth1;
    int      fs;
    int      frmlen;
    float    attenuate_time;
    float    fRth2;
    float    fRk1;
    float    fRk2;
    float    fLineGainDb;
    int      swSmL0;
    int      swSmL1;
    int      swSmL2;
} RKSEDAGCParam;

Felder:

4.8 RKFIRParam

FIR-Parameter; Änderungen nicht empfohlen. Definition:

typedef struct RKFIRParam_
{
    int fir_len;
    float* fir_coeffs;
} RKFIRParam;

Felder: