8002 硬件VAD、软件VAD与低功耗串口录音说明*
本文基于 lvp_tws SDK,说明 GX8002(8002)芯片的硬件 VAD、软件 VAD,以及低功耗(待机)下串口录音的使用方法。录音配置使用 configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K_standby.config。
1. 两级 VAD 概述*
8002 的 VAD 分为两级,可单独使用,也可组合使用:
| VAD 类型 | 判决位置 | 特点 | 主要配置 |
|---|---|---|---|
| 硬件 VAD | AUDIO_IN 模块(硬件 FFT) | 一直运行、功耗低,用于快速判断有无声音 | CONFIG_LVP_FFT_VAD_ENABLE |
| 软件 VAD | NPU 上的 VAD 模型输出(SED V2) | 功耗相对高,用于更准确的语音活动检测 | CONFIG_SED_V2_VAD_MODEL_V221 |
典型用法:硬件 VAD 负责低功耗唤醒和待机管理;软件 VAD 在需要更准确的语音活动检测时做二次判断。
2. 硬件 VAD*
2.1 FFT VAD*
AUDIO_IN 模块在硬件 logfbank/FFT 数据上直接计算 VAD,MCU 无需运行算法即可得到有无声音的结论。
配置路径:make menuconfig -> VUI Settings -> VAD Settings
- Enable FFT Vad(
CONFIG_LVP_FFT_VAD_ENABLE):使能硬件 FFT VAD。待机状态管理和 KWS 任务取舍依赖该 VAD。 - Number of invalid vad(
CONFIG_LVP_FFT_INVALID_VAD_NUM):连续多少个 context 无 VAD 才认为进入安静状态,参考配置为25(约 2 s,1 个 context 约 80 ms)。 - Fallback Context Number When FFTVAD Valid(
CONFIG_LVP_VAD_FALLBACK_CONTEXT):从安静状态切换到 VAD 触发时,回补处理的历史 context 数,参考配置为4。 - Enable Auto Adjust VAD Parameter(
CONFIG_LVP_ENABLE_AUTO_ADJUST_VAD_PARAMETER):根据环境噪声自动调整 VAD 参数。 - Enable Noise Judgment(
CONFIG_ENABLE_NOISE_JUDGEMENT):根据环境噪声动态调整 FFT VAD 阈值。
代码中通过 LvpAudioInQueryFFTVad() 读取硬件 VAD 结果,并在 lvp/lvp_mode_bypass.c 的 _LvpStandbyUpdateVad() 中用于待机状态切换。安静时 AUDIO_IN 仍持续工作,音频保存在 buffer 中。
3. 软件 VAD*
软件 VAD 使用 SED V2 框架在 NPU 上运行 VAD 模型,对音频进行语音活动检测。SDK 提供的单模型示例配置为 configs/example/sed_v2/gx8002d_dev_1v4_vad_221.config。
3.1 固件编译*
cd lvp_tws
cp configs/example/sed_v2/gx8002d_dev_1v4_vad_221.config .config
make menuconfig
make
3.2 配置说明*
该配置的主要特点:
- 工作模式:SED V2(
CONFIG_LVP_INIT_WORKMODE_SED_V2=y、CONFIG_LVP_HAS_SED_V2_MODE=y) - 应用:
CONFIG_LVP_APP_SED_V2_DEMO=y - VAD 模型:
CONFIG_SED_V2_VAD_MODEL_V221=y(SED V2 VAD 模型 v2.2.1) - 硬件 VAD 与待机:
CONFIG_LVP_FFT_VAD_ENABLE=y、CONFIG_LVP_STANDBY_ENABLE=y - 检测结果:写入
context->sed,应用通过LVP_SED_V2_ID事件读取 - 现象:讲话时串口打印
sed x状态,VAD 指示灯(GPIO3,CONFIG_LVP_APP_SED_DEMO_VAD_LED=3)点亮;连续 5 个以上 context 无 VAD 后熄灭
4. 低功耗下串口录音*
4.1 工作原理*
参考配置采用 BYPASS 工作模式 + 待机(Standby):
- AUDIO_IN 持续采集,硬件 FFT VAD 持续判断。
- 连续无声音达到
CONFIG_LVP_STATE_FVAD_COUNT_DOWN个 context 后,MCU 调用LvpPmuSuspend(LRT_GPIO | LRT_AUDIO_IN | LRT_I2C)进入待机。 - 检测到声音后由 AUDIO_IN 中断唤醒,BYPASS 模式继续处理 PCM,并通过串口把录音数据发送给 PC。
- 主机通过 UART Message 2.0 协议下发
MSG_NTF_START_PCM启动录音、MSG_NTF_STOP_PCM停止录音;设备通过MSG_NTF_PCM_DATA上报 PCM 数据。
数据流:MIC → AUDIO_IN PCM buffer → AUDIO_IN_RECORD_DONE_EVENT_ID 事件 → LvpAppEventTick() → UartRecordTask() → 串口发送。
补充说明:待机(或安静)状态下 AUDIO_IN 仍持续采集,音频会写入 buffer。VAD 触发唤醒后,系统可回补 CONFIG_LVP_VAD_FALLBACK_CONTEXT 个历史 context;当前配置为 4 个 context(约 320 ms)。因此理论上可以把进入低功耗/唤醒点之前几百毫秒的音频也录下来,而不是从唤醒那一刻才开始。实际可回补长度受 buffer 大小、VAD 触发时机以及串口发送队列/流控影响,队列满或录音刚启动时可能被截断。
4.2 录音配置*
配置文件:lvp_tws/configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K_standby.config
编译方法:
cd lvp_tws
cp configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K_standby.config .config
make menuconfig
make
主要配置项:
| 配置项 | 值 | 说明 |
|---|---|---|
CONFIG_LVP_INIT_WORKMODE_BYPASS |
y |
上电进入 BYPASS 模式 |
CONFIG_LVP_HAS_BYPASS_MODE |
y |
使能 BYPASS 模式 |
CONFIG_LVP_STANDBY_ENABLE |
y |
使能待机,实现低功耗录音 |
CONFIG_LVP_STATE_FVAD_COUNT_DOWN |
18 |
无声音约 18 个 context 后进入待机 |
CONFIG_LVP_FFT_VAD_ENABLE |
y |
硬件 FFT VAD,用于唤醒和待机管理 |
CONFIG_LVP_FFT_INVALID_VAD_NUM |
25 |
无效 VAD 过滤数量 |
CONFIG_LVP_VAD_FALLBACK_CONTEXT |
4 |
VAD 有效时回补的历史 context 数 |
CONFIG_LVP_HAS_UART_RECORD |
y |
使能串口录音模块 |
CONFIG_UART_RECORD_ENABLE |
y |
使能串口录音功能 |
CONFIG_LVP_UART_RECORD_PORT |
0 |
录音使用 UART0 |
CONFIG_LVP_UART_RECORD_PORT_BAUDRATE |
500000 |
录音波特率 500000 |
CONFIG_BOARD_HAS_UART0 |
y |
板级使能 UART0 |
CONFIG_LVP_HAS_UART_MESSAGE_2_0 |
y |
使用 UART Message 2.0 协议 |
CONFIG_TYPE_AMIC |
y |
模拟麦克风 |
CONFIG_BOARD_MIC_NUM |
1 |
单麦克风 |
CONFIG_BOARD_MIC_GAIN_A |
24 |
模拟麦 PGA 增益 24 dB |
CONFIG_PCM_SAMPLE_RATE_16K |
y |
采样率 16 kHz |
CONFIG_PCM_FRAME_LENGTH_10MS |
y |
每帧 10 ms |
该配置中:
- UART0 用于录音数据,UART1 仅用于打印日志(
CONFIG_MCU_PRINT_UART_PORT_1=y、CONFIG_BOARD_HAS_UART1_JUST_SUPPORT_PRINTF_LOG=y)。PC 录音工具需连接 UART0,调试日志接 UART1。 - 1 个 context 为 8 帧 × 10 ms = 80 ms,
CONFIG_LVP_STATE_FVAD_COUNT_DOWN=18约 1.44 s 无声后进入待机。
4.3 录音操作*
Linux 下使用 lvp_tws/tools/record/grus-record-tool:
sudo ./grus-record-tool -p /dev/ttyUSB0 -o record.pcm -d 10
Windows 下使用 windows-grus-record-tool.zip 中的 grus-record-tool.exe,串口号为 COMx。工具的详细参数和输出说明见 串口录音。
注意事项:
- 固件进入待机后不会持续上传静音数据;检测到声音时唤醒并回补
CONFIG_LVP_VAD_FALLBACK_CONTEXT个历史 context,因此录音以“有声片段”为主。若需要不间断连续录音,请改用不带待机的配置configs/example/record/gx8002d_dev_v1_4_1amic_uart0_500K.config。 - 串口录音与日志建议分开使用不同串口,避免日志数据混入录音数据。
- 若录音未开始,先确认 PC 工具已下发启动命令,且串口号、波特率、接线正确。
4.4 双数字麦低功耗录音*
配置:lvp_tws/configs/example/record/gx8002d_dev_v1_4_2dmic_uart0_1M_standby.config
CONFIG_TYPE_DMIC=y、CONFIG_TYPE_DMIC_TRACK=2、CONFIG_MIC_CHANNEL_NUM=2- mic buffer 每通道 20 帧(200ms),logfbank 20 帧,
audio_in共占 14400B(≤16KB) - UART0 1M 波特率,录音工具用
-c 3同时录两路 - 低功耗唤醒后每通道最多保留约 200ms;2 通道 × 400ms 需要 25.6KB,放不下
命令示例:
sudo ./grus-record-tool -p /dev/ttyUSB0 -b 1000000 -c 3 -o record_2ch.pcm -d 10
内置串口录音(
UART_RECORD_ENABLE)从唤醒点开始上报 PCM,不会主动回放唤醒前 mic buffer 里的 200ms 历史。要验证这段缓存本身,需要使用会从 mic buffer 回填的app/vad_i2s_out_standby,或在录音路径里增加唤醒回填逻辑。
5. VAD 触发录音(缓存 2s/1s + I2S 输出)*
上面的第 4 节是“持续串口录音”。如果需求是“VAD 触发后输出一段音频,并且要包含触发前的历史音频”,请使用 app/vad_i2s_out_standby:
- 应用目录:
lvp_tws/app/vad_i2s_out_standby - 单模拟麦配置:
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config(缓存 1s,回滚 400ms;2s 缓存用..._2s.config) - 单数字麦配置:
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config(缓存 1s,回滚 200ms) - 双数字麦配置:
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config(两路采集混音单声道输出) - 功能:人声 VAD(SED V2)触发;空闲进 standby,冷启动先填满缓存再允许睡;唤醒后复用回滚环并接上睡眠期间音频;I2S 输出 16k/16bit;PAD0/PAD3 输出 VAD 状态;PAD2(GPIO02)按键停止输出。
详细说明见 8002 VAD触发录音(低功耗缓存+I2S输出)说明。