跳转至

8002 硬件VAD、软件VAD与低功耗串口录音说明*

本文基于 lvp_tws SDK,说明 GX8002(8002)芯片的硬件 VAD、软件 VAD,以及低功耗(待机)下串口录音的使用方法。录音配置使用 configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K_standby.config。

1. 两级 VAD 概述*

8002 的 VAD 分为两级,可单独使用,也可组合使用:

VAD 类型 判决位置 特点 主要配置
硬件 VAD AUDIO_IN 模块(硬件 FFT) 一直运行、功耗低,用于快速判断有无声音 CONFIG_LVP_FFT_VAD_ENABLE
软件 VAD NPU 上的 VAD 模型输出(SED V2) 功耗相对高,用于更准确的语音活动检测 CONFIG_SED_V2_VAD_MODEL_V221

典型用法:硬件 VAD 负责低功耗唤醒和待机管理;软件 VAD 在需要更准确的语音活动检测时做二次判断。

2. 硬件 VAD*

2.1 FFT VAD*

AUDIO_IN 模块在硬件 logfbank/FFT 数据上直接计算 VAD,MCU 无需运行算法即可得到有无声音的结论。

配置路径:make menuconfig -> VUI Settings -> VAD Settings

  • Enable FFT Vad(CONFIG_LVP_FFT_VAD_ENABLE):使能硬件 FFT VAD。待机状态管理和 KWS 任务取舍依赖该 VAD。
  • Number of invalid vad(CONFIG_LVP_FFT_INVALID_VAD_NUM):连续多少个 context 无 VAD 才认为进入安静状态,参考配置为 25(约 2 s,1 个 context 约 80 ms)。
  • Fallback Context Number When FFTVAD Valid(CONFIG_LVP_VAD_FALLBACK_CONTEXT):从安静状态切换到 VAD 触发时,回补处理的历史 context 数,参考配置为 4。
  • Enable Auto Adjust VAD Parameter(CONFIG_LVP_ENABLE_AUTO_ADJUST_VAD_PARAMETER):根据环境噪声自动调整 VAD 参数。
  • Enable Noise Judgment(CONFIG_ENABLE_NOISE_JUDGEMENT):根据环境噪声动态调整 FFT VAD 阈值。

代码中通过 LvpAudioInQueryFFTVad() 读取硬件 VAD 结果,并在 lvp/lvp_mode_bypass.c 的 _LvpStandbyUpdateVad() 中用于待机状态切换。安静时 AUDIO_IN 仍持续工作,音频保存在 buffer 中。

3. 软件 VAD*

软件 VAD 使用 SED V2 框架在 NPU 上运行 VAD 模型,对音频进行语音活动检测。SDK 提供的单模型示例配置为 configs/example/sed_v2/gx8002d_dev_1v4_vad_221.config。

3.1 固件编译*

cd lvp_tws
cp configs/example/sed_v2/gx8002d_dev_1v4_vad_221.config .config
make menuconfig
make

3.2 配置说明*

该配置的主要特点:

  • 工作模式:SED V2(CONFIG_LVP_INIT_WORKMODE_SED_V2=y、CONFIG_LVP_HAS_SED_V2_MODE=y)
  • 应用:CONFIG_LVP_APP_SED_V2_DEMO=y
  • VAD 模型:CONFIG_SED_V2_VAD_MODEL_V221=y(SED V2 VAD 模型 v2.2.1)
  • 硬件 VAD 与待机:CONFIG_LVP_FFT_VAD_ENABLE=y、CONFIG_LVP_STANDBY_ENABLE=y
  • 检测结果:写入 context->sed,应用通过 LVP_SED_V2_ID 事件读取
  • 现象:讲话时串口打印 sed x 状态,VAD 指示灯(GPIO3,CONFIG_LVP_APP_SED_DEMO_VAD_LED=3)点亮;连续 5 个以上 context 无 VAD 后熄灭

4. 低功耗下串口录音*

4.1 工作原理*

参考配置采用 BYPASS 工作模式 + 待机(Standby):

  1. AUDIO_IN 持续采集,硬件 FFT VAD 持续判断。
  2. 连续无声音达到 CONFIG_LVP_STATE_FVAD_COUNT_DOWN 个 context 后,MCU 调用 LvpPmuSuspend(LRT_GPIO | LRT_AUDIO_IN | LRT_I2C) 进入待机。
  3. 检测到声音后由 AUDIO_IN 中断唤醒,BYPASS 模式继续处理 PCM,并通过串口把录音数据发送给 PC。
  4. 主机通过 UART Message 2.0 协议下发 MSG_NTF_START_PCM 启动录音、MSG_NTF_STOP_PCM 停止录音;设备通过 MSG_NTF_PCM_DATA 上报 PCM 数据。

数据流:MIC → AUDIO_IN PCM buffer → AUDIO_IN_RECORD_DONE_EVENT_ID 事件 → LvpAppEventTick() → UartRecordTask() → 串口发送。

补充说明:待机(或安静)状态下 AUDIO_IN 仍持续采集,音频会写入 buffer。VAD 触发唤醒后,系统可回补 CONFIG_LVP_VAD_FALLBACK_CONTEXT 个历史 context;当前配置为 4 个 context(约 320 ms)。因此理论上可以把进入低功耗/唤醒点之前几百毫秒的音频也录下来,而不是从唤醒那一刻才开始。实际可回补长度受 buffer 大小、VAD 触发时机以及串口发送队列/流控影响,队列满或录音刚启动时可能被截断。

4.2 录音配置*

配置文件:lvp_tws/configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K_standby.config

编译方法:

cd lvp_tws
cp configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K_standby.config .config
make menuconfig
make

主要配置项:

配置项 值 说明
CONFIG_LVP_INIT_WORKMODE_BYPASS y 上电进入 BYPASS 模式
CONFIG_LVP_HAS_BYPASS_MODE y 使能 BYPASS 模式
CONFIG_LVP_STANDBY_ENABLE y 使能待机,实现低功耗录音
CONFIG_LVP_STATE_FVAD_COUNT_DOWN 18 无声音约 18 个 context 后进入待机
CONFIG_LVP_FFT_VAD_ENABLE y 硬件 FFT VAD,用于唤醒和待机管理
CONFIG_LVP_FFT_INVALID_VAD_NUM 25 无效 VAD 过滤数量
CONFIG_LVP_VAD_FALLBACK_CONTEXT 4 VAD 有效时回补的历史 context 数
CONFIG_LVP_HAS_UART_RECORD y 使能串口录音模块
CONFIG_UART_RECORD_ENABLE y 使能串口录音功能
CONFIG_LVP_UART_RECORD_PORT 0 录音使用 UART0
CONFIG_LVP_UART_RECORD_PORT_BAUDRATE 500000 录音波特率 500000
CONFIG_BOARD_HAS_UART0 y 板级使能 UART0
CONFIG_LVP_HAS_UART_MESSAGE_2_0 y 使用 UART Message 2.0 协议
CONFIG_TYPE_AMIC y 模拟麦克风
CONFIG_BOARD_MIC_NUM 1 单麦克风
CONFIG_BOARD_MIC_GAIN_A 24 模拟麦 PGA 增益 24 dB
CONFIG_PCM_SAMPLE_RATE_16K y 采样率 16 kHz
CONFIG_PCM_FRAME_LENGTH_10MS y 每帧 10 ms

该配置中:

  • UART0 用于录音数据,UART1 仅用于打印日志(CONFIG_MCU_PRINT_UART_PORT_1=y、CONFIG_BOARD_HAS_UART1_JUST_SUPPORT_PRINTF_LOG=y)。PC 录音工具需连接 UART0,调试日志接 UART1。
  • 1 个 context 为 8 帧 × 10 ms = 80 ms,CONFIG_LVP_STATE_FVAD_COUNT_DOWN=18 约 1.44 s 无声后进入待机。

4.3 录音操作*

Linux 下使用 lvp_tws/tools/record/grus-record-tool:

sudo ./grus-record-tool -p /dev/ttyUSB0 -o record.pcm -d 10

Windows 下使用 windows-grus-record-tool.zip 中的 grus-record-tool.exe,串口号为 COMx。工具的详细参数和输出说明见 串口录音。

注意事项:

  • 固件进入待机后不会持续上传静音数据;检测到声音时唤醒并回补 CONFIG_LVP_VAD_FALLBACK_CONTEXT 个历史 context,因此录音以“有声片段”为主。若需要不间断连续录音,请改用不带待机的配置 configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K.config。
  • 串口录音与日志建议分开使用不同串口,避免日志数据混入录音数据。
  • 若录音未开始,先确认 PC 工具已下发启动命令,且串口号、波特率、接线正确。

4.4 双数字麦低功耗录音*

配置:lvp_tws/configs/example/record/gx8002d_dev_v1_4_2dmic_uart0_1M_standby.config

  • CONFIG_TYPE_DMIC=y、CONFIG_TYPE_DMIC_TRACK=2、CONFIG_MIC_CHANNEL_NUM=2
  • mic buffer 每通道 20 帧(200ms),logfbank 20 帧,audio_in 共占 14400B(≤16KB)
  • UART0 1M 波特率,录音工具用 -c 3 同时录两路
  • 低功耗唤醒后每通道最多保留约 200ms;2 通道 × 400ms 需要 25.6KB,放不下

命令示例:

sudo ./grus-record-tool -p /dev/ttyUSB0 -b 1000000 -c 3 -o record_2ch.pcm -d 10

内置串口录音(UART_RECORD_ENABLE)从唤醒点开始上报 PCM,不会主动回放唤醒前 mic buffer 里的 200ms 历史。要验证这段缓存本身,需要使用会从 mic buffer 回填的 app/vad_i2s_out_standby,或在录音路径里增加唤醒回填逻辑。

5. VAD 触发录音(缓存 2s/1s + I2S 输出)*

上面的第 4 节是“持续串口录音”。如果需求是“VAD 触发后输出一段音频,并且要包含触发前的历史音频”,请使用 app/vad_i2s_out_standby:

  • 应用目录:lvp_tws/app/vad_i2s_out_standby
  • 单模拟麦配置:lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config(缓存 1s,回滚 400ms;2s 缓存用 ..._2s.config)
  • 单数字麦配置:lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config(缓存 1s,回滚 200ms)
  • 双数字麦配置:lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config(两路采集混音单声道输出)
  • 功能:人声 VAD(SED V2)触发;空闲进 standby,冷启动先填满缓存再允许睡;唤醒后复用回滚环并接上睡眠期间音频;I2S 输出 16k/16bit;PAD0/PAD3 输出 VAD 状态;PAD2(GPIO02)按键停止输出。

详细说明见 8002 VAD触发录音(低功耗缓存+I2S输出)说明。