8002 VAD 触发录音(低功耗缓存 + I2S 输出)说明*
本文说明 lvp_tws 中的 app/vad_i2s_out_standby:人声 VAD 触发后先从回滚缓存输出触发前的历史音频,再持续把实时音频送到 I2S;空闲时应用释放 suspend lock,系统可正常进入深度 standby。单模拟麦最长缓存 2s、触发后回滚 400ms;双数字麦每通道缓存 1s、回滚 200ms。本应用只做 I2S 输出。
对应配置文件:
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config # 单模拟麦,1s 缓存
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_2s.config # 单模拟麦,2s 缓存
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config # 单数字麦,1s 缓存
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config # 双数字麦,混音单声道输出
1. 功能与接口*
| 项目 | 实现 |
|---|---|
| 触发源 | 人声 VAD(SED V2 模型,context->sed > 0),可切换为硬件 FFT VAD 或两者级联 |
| 缓存/回滚 | 单模拟麦最长 2s(示例 1s)/回滚 400ms;双数字麦每通道 1s/回滚 200ms(CONFIG_VAD_RECORD_CACHE_MS、CONFIG_VAD_RECORD_HISTORY_MS) |
| 停止方式 | GPIO02 按键(multi_button 状态机),停止后要等 VAD 回落才允许再次触发 |
| 低功耗 | 空闲时释放 suspend lock,框架在 FVAD 倒计时后进入 standby;录音期间持锁不睡 |
| I2S | GX8002 Master,16 kHz / 16 bit;单麦单声道,双麦混音单声道 |
| VAD 状态脚 | 单麦/单数字麦 PAD0,双数字麦 PAD3(PAD0/PAD1 作为 PDM 使用) |
| 日志 | UART1 打印日志(CONFIG_MCU_PRINT_UART_PORT_1=y) |
板级引脚占用(grus_gx8002b_dev_1v,单麦/单数字麦):
| PAD | 功能 |
|---|---|
| PAD0 | VAD 状态输出(本方案) |
| PAD2 | GPIO02 停止按键输入 |
| PAD7~PAD10 | AOUT I2S MCLK / BCLK / LRCLK / DATA |
| PAD11 / PAD12 | UART1:日志 |
双数字麦时 PAD0/PAD1 改作 PDM_DATA/PDM_CLK_OUT,VAD 状态脚改到 PAD3。
2. 数据流与缓存原理*
AMIC/DMIC --> AIN PCM --> mic_buffer --> 回滚环(.audio_out, 40/64KB)
|
+--> AOUT I2S --> PAD10
- 回滚环放在
.audio_out段,大小由CONFIG_AUDIO_OUT_BUFFER_SIZE_KB决定:单麦 1s 用 40KB、2s 用 64KB;双麦混音 40KB。 - 冷启动读指针落后
CACHE_MS;首帧从 mic buffer 回填HISTORY_MS,所以第一声就是触发前的历史音频。 - VAD 触发后取消静音,持续输出实时音频;录音中按下 GPIO02 按键后重新静音。
CONFIG_VAD_RECORD_CACHE_MS:回滚环能保留的最长历史,单麦 ≤2s、双麦 ≤1s/通道。CONFIG_VAD_RECORD_HISTORY_MS:触发后先输出的历史长度(回滚),单麦 ≤400ms、双麦 ≤200ms/通道,受 mic buffer 限制。- 冷启动先保持唤醒,等缓存填满
CACHE_MS后再允许进入 standby。
2.1 低功耗与回滚长度的取舍*
GX8002 的 audio_in DRAM 固定在 0x20030000,只有 16KB:
- 单模拟麦:mic buffer 40 帧 = 400ms
- 单数字麦:mic buffer 20 帧 = 200ms
- 双数字麦:mic buffer 每通道 20 帧 = 200ms/通道
深度 standby 期间 CPU 不搬运数据,AIN 仍在往 mic buffer 写。回滚环本身放在 .audio_out,内容在 MCU SRAM 里跨 standby 不掉电,可以保留单麦 2s / 双麦 1s。
因此本方案:
- 冷启动先持锁保持唤醒,等
CACHE_MS缓存填满后再释放锁,让框架正常进入 standby。 - 空闲/录音结束后释放 suspend lock,允许
LvpPmuSuspend;挂起时只调用gx_audio_out_free(),不调用gx_audio_out_exit()。exit会 gate 模块时钟但不注销 ISR,挂起后重新开中断时,挂起的 AOUT 中断会读没有时钟的寄存器导致挂总线;唤醒后由VadRecordAudioInit()重新初始化。 - 从 standby 唤醒时重新初始化 AOUT,环内容不清零,用 AIN 写指针增量把睡眠期间新采集的一段(最多一个 mic buffer)接到环尾,再按
CACHE_MS落后推首帧。 - 录音期间重新加锁,避免 AOUT 正在读 DRAM 时被 standby 打断。
2.2 代码结构*
| 文件 | 职责 |
|---|---|
app/vad_i2s_out_standby/lvp_app_vad_i2s_out_standby.c |
App 生命周期、VAD 判决(人声/硬件)、录音状态机、suspend lock、VAD 状态脚 |
app/vad_i2s_out_standby/vad_i2s_out_audio.c/.h |
I2S AOUT 初始化、回滚环、AIN 搬运/混音、mic buffer 回填、推帧与统计 |
app/vad_i2s_out_standby/vad_i2s_out_key.c/.h |
GPIO02 停止按键(multi_button 状态机) |
app/vad_i2s_out_standby/vad_i2s_out_log.h |
日志级别封装 |
3. 配置项*
3.1 应用参数*
make menuconfig -> LVP Application Settings -> Application Settings
| 配置项 | 默认值 | 说明 |
|---|---|---|
CONFIG_VAD_RECORD_LOG_LEVEL |
1 |
日志级别:0=只错误,1=加初始化/按键/触发/停止,2=加每秒状态和按键电平 |
CONFIG_VAD_RECORD_CACHE_MS |
单麦 1000 / 双麦 1000 |
回滚环最长缓存;单模拟麦 menuconfig 最多 2s,双数字麦每通道最多 1s |
CONFIG_VAD_RECORD_HISTORY_MS |
单麦 400 / 双麦 200 |
触发后回滚时长;单麦最多 400ms,双麦每通道最多 200ms(受 mic buffer 限制) |
CONFIG_VAD_RECORD_STOP_GPIO |
2 |
停止按键输入脚,默认 GPIO02(PAD2,与 i2s_delay_demo 一致),-1 关闭 |
CONFIG_VAD_RECORD_STOP_GPIO_ACTIVE_LOW |
y |
按键低电平有效(另一端接 GND,外部上拉) |
CONFIG_VAD_RECORD_TRIGGER_HUMAN |
y |
只用 SED V2 人声 VAD 触发(默认) |
CONFIG_VAD_RECORD_TRIGGER_CASCADE |
- | FFT VAD + 人声 VAD 级联触发 |
CONFIG_VAD_RECORD_TRIGGER_FFT |
- | 只用硬件 FFT VAD |
CONFIG_VAD_RECORD_TRIGGER_CNT |
3 |
连续 3 个 10ms 采样检测到硬件 VAD 才触发 |
CONFIG_VAD_RECORD_VAD_GPIO |
单麦 0 / 双麦 3 |
VAD 状态脚,-1 关闭 |
3.2 关键依赖*
- 工作模式:
CONFIG_LVP_INIT_WORKMODE_SED_V2=y、CONFIG_LVP_HAS_SED_V2_MODE=y - 人声 VAD 模型:
CONFIG_SED_V2_VAD_MODEL=y、CONFIG_SED_V2_VAD_MODEL_V221=y - NPU SRAM:
CONFIG_NPU_SRAM_SIZE_KB=67 - 硬件 VAD:
CONFIG_LVP_FFT_VAD_ENABLE=y - 低功耗:
CONFIG_LVP_STANDBY_ENABLE=y、CONFIG_LVP_STATE_FVAD_COUNT_DOWN=50 - 回滚环:
CONFIG_AUDIO_OUT_BUFFER_SIZE_KB按配置取 40/64(需满足每通道环 ≥ CACHE_MS × 32B/ms + 4 帧,否则编译报错) - 麦克风:单麦
CONFIG_TYPE_AMIC=y、CONFIG_TYPE_AMIC_TRACK=1;数字麦CONFIG_TYPE_DMIC=y、CONFIG_TYPE_DMIC_TRACK=1/2;CONFIG_MIC_CHANNEL_NUM对应1/2 - I2S 输出:
CONFIG_BOARD_HAS_AOUT_I2S_M=y - 看门狗:
CONFIG_LVP_HAS_WATCHDOG=y、CONFIG_LVP_HAS_WATCHDOG_TICK_BLOCK=y
4. 编译与运行*
cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config .config # 或其它 vad_record 配置
make menuconfig # 换配置后必须重新生成 autoconf.h
make
产物在 output/,烧录方式同其他 LVP 工程。
5. 调试与验证*
5.1 日志(UART1)*
正常上电日志包含:
[VAD_REC] ---- SampleAppInit ----
[VAD_REC] cold boot: keep awake until cache filled
[VAD_AOUT] aout ok: ch=1 ring=0x2001e000/40960(40960/ch) mclk=... mic=.../12800(400ms/ch)
[VAD_KEY] init: GPIO2, active low
[VAD_REC] trigger=HUMAN cache=1000ms rollback=400ms stop=GPIO key
[VAD_AOUT] first push: ch=1 ain_w=... prefill=400ms delay=1000ms read_off=... wake=0
[VAD_REC] boot cache filled, allow standby
按键按下/松开时会打印原始电平:
[VAD_KEY] GPIO2 level -> 0
[VAD_KEY] stop key event #1
说话触发后:
[VAD_REC] VAD trigger: output on (cache 1000ms, rollback 400ms, prefill 400ms), ring_w=..., press GPIO2 key to stop
[VAD_REC] stop key: output off
[VAD_REC] key latched, wait VAD fall before next trigger
[VAD_REC] vad released, allow trigger again
空闲约 2 秒后应进入低功耗:
[VAD_REC] ---- SampleAppSuspend ----
[PMU] set mcu sleep
唤醒后会重新打印 SampleAppInit / first push,环内容保留,环尾接睡眠期间的音频。
每秒状态行(需要 CONFIG_VAD_RECORD_LOG_LEVEL=2):
[VAD_REC] t=5000ms cb/s=100 ain_B/s=32000 push/s=100 early=0 diff=32000 rw=... rd=... drop=0 rsz=0 rec=0 fft=0 sed=0 key=1
t每次应增加约 1000,用来确认gx_get_time_ms()走时正常。cb/s约 100,说明 AOUT 16kHz 正常。ain_B/s:单麦约 32000,双麦约 64000。diff:冷启动填满后单麦约 32000(1s)/ 双麦约 32000(每通道 1s);standby 唤醒后仍按CACHE_MS输出,只是环尾接的是睡眠期间的音频。若为 0 或接近每通道环大小说明读写指针跑飞,rsz会增加。sed是人声 VAD 算法结果(1 = 有人声)。key是累计按键事件数。drop应恒为 0。
5.2 波形与音频*
- 示波器/逻辑分析仪量 PAD7~PAD10,确认 16kHz 帧同步和 DATA 持续输出。
- 录音中把 PAD2(GPIO02)拉低再松开,I2S 应停止,PAD0 回到低电平。
- 直接听 I2S 输出,触发后开头应能听到触发前约 400ms(双麦 200ms)的声音。
5.3 按键排查*
按键使用 multi_button 状态机(主循环每 5ms 调一次 button_ticks()),默认 GPIO02(PAD2) ,与已验证的 app/i2s_delay_demo 按键脚一致。
| 现象 | 排查方向 |
|---|---|
按按键时没有 GPIO2 level -> ... 日志 |
确认硬件按键确实接在 PAD2;CONFIG_VAD_RECORD_STOP_GPIO 是否被改成其它脚 |
有 level 日志但没有 stop key event |
按下电平与 CONFIG_VAD_RECORD_STOP_GPIO_ACTIVE_LOW 是否匹配(默认低有效,若按键接 VCC 需关闭该选项) |
| 有 event 但输出没有停 | 看每秒状态行的 rec 是否为 1;若为 0 说明当时并没有在录音 |
| 停止后马上又输出 | 看是否有 key latched, wait VAD fall。正常需要人声消失(sed=0)后才打印 vad released 并允许再次触发 |
| 按一次触发多次 | multi_button 已做消抖,事件只置标志,不会重复动作 |
6. 录音方案*
6.1 单模拟麦录音(AMIC,1ch,低功耗 standby)*
提供两个配置,只有缓存长度不同:
| 配置文件 | 缓存 | 回滚环 | 内存 |
|---|---|---|---|
grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config |
CACHE_MS=1000 |
40KB | 24M,无 XIP |
grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_2s.config |
CACHE_MS=2000 |
64KB | 24M,开 XIP |
| 项目 | 值 |
|---|---|
| 麦克风 | AMIC 单通道,CONFIG_MIC_CHANNEL_NUM=1;mic buffer 40 帧 = 400ms |
| 缓存/回滚 | CACHE_MS=1000/2000;HISTORY_MS=400(回滚 400ms) |
| I2S | 16kHz / 16bit 单声道,AOUT Master,PAD7~PAD10 |
| VAD 状态脚 | PAD0(CONFIG_VAD_RECORD_VAD_GPIO=0) |
| 停止按键 | PAD2 / GPIO02 |
| 低功耗 | 空闲时释放 suspend lock 进 standby;录音期间持锁不睡 |
cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config .config
make menuconfig && make
2s 缓存需要 64000 + 4 帧 = 65280 字节回滚环,40KB 放不下,所以用 64KB;64KB 环在无 XIP 时 stage2 DRAM 会溢出,因此 2s 配置打开了 XIP。24M 时钟下**不要打开 CONFIG_ENABLE_PLL_FREQUENCY_50M** 。
6.2 单数字麦录音(DMIC,1ch,低功耗 standby)*
配置文件:grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config
| 项目 | 值 |
|---|---|
| 麦克风 | DMIC 单通道,CONFIG_TYPE_DMIC_TRACK=1、CONFIG_MIC_CHANNEL_NUM=1;mic buffer 20 帧 = 200ms |
| 缓存/回滚 | CACHE_MS=1000(1s);HISTORY_MS=200(回滚 200ms) |
| I2S | 16kHz / 16bit 单声道 |
| 内存 | 40KB audio_out,XIP |
| 低功耗 | 空闲时释放 suspend lock 进 standby;录音期间持锁不睡 |
cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config .config
make menuconfig && make
6.3 双数字麦录音(DMIC,2ch)*
配置文件:
| 配置文件 | 说明 |
|---|---|
grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config |
两路采集,逐采样平均混音成单声道输出 |
- 麦克风:DMIC 双通道,mic buffer 20 帧/通道 = 200ms
- 缓存/回滚:
CACHE_MS=1000(整条环 1s);HISTORY_MS=200(每通道 200ms) - I2S:把 ch0/ch1 平均混成一路,再按**双声道时序** (左右输出同一路)送到 PAD10;PAD0/1 为 PDM_DATA/CLK,PAD3 VAD 状态,PAD2 停止按键
- 内存:40KB audio_out,24MHz
- 低功耗:空闲释放 suspend lock 进 standby,录音期间持锁
引脚:
| PAD | 功能 |
|---|---|
| PAD0 | PDM_DATA(func 7) |
| PAD1 | PDM_CLK_OUT(func 9) |
| PAD2 | GPIO02 停止按键 |
| PAD3 | VAD 状态输出 |
| PAD7~PAD10 | AOUT I2S |
| PAD11 / PAD12 | UART1 日志 |
DMIC 在
grus_gx8002b_dev_1v上只使能 PCM1 (audio_board.c里 DMIC 走 PDM,PCM0 留给 SADC/FFT)。应用必须取AUDIO_IN_CHANNEL_PCM1的写指针;取 PCM0 会一直读到 0,表现为开机不推首帧、直接进 standby。
cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config .config
make menuconfig && make
日志会显示 ch=2。冷启动后读指针先落后 CACHE_MS(1s);从 standby 唤醒时环尾接睡眠期间音频,diff 仍约为 1s。每秒统计需 VAD_RECORD_LOG_LEVEL=2,ain_B/s≈64000。
6.4 双麦只输出混音单声道*
双麦不做立体声输出:AOUT 同时读取两块不同地址 buffer(非交织立体声)时,每个环绕周期会出现一次“滴”声,应用侧无法规避。因此双麦统一把 ch0/ch1 逐采样平均混成一路,AOUT 只配置一块 buffer(buffer0 = buffer1 = s_ring)+ 双声道时序(pcm.channels=2、interlace=0、GX_AUDIO_OUT_LEFT_C),左右输出同一路。
双通道要点:CONFIG_TYPE_DMIC + 2ch,ch1 基址为 ch0 加一个通道大小;_AinWptr 取 AUDIO_IN_CHANNEL_PCM1;logfbank 源为 LOGFBANK_SOURCE_PDM_LEFT,人声 VAD 只看 ch0。
6.5 缓存容量评估*
16kHz/16bit PCM 每通道每秒 32000B:
| 方案 | 缓存需求 | audio_out | 结果 |
|---|---|---|---|
| 单模拟麦 1s | 32000B | 40KB | 放得下 |
| 单模拟麦 2s | 64000B | 64KB | 放得下 |
| 单数字麦 1s | 32000B | 40KB | 放得下 |
| 双数字麦 1s(混音单声道) | 32000B | 40KB | 放得下(混音后单路,整环 1s) |
- 冷启动/持续 awake :读指针先落后
CACHE_MS,环跑满后允许触发,可保留完整缓存。 - standby 唤醒 :环内容跨 standby 保留,用 AIN 写指针增量把睡眠期间的数据接到环尾;睡眠超过一个 mic buffer(单麦 400ms / 双麦 200ms)时,中间那段没有缓存,时间上会有空洞。
6.6 时钟同源*
clock_board.c 里 AIN 和 AOUT 都来自同一颗 24.576MHz PLL:
CLOCK_MODULE_AUDIO_IN_SYS:DTO 24.576MHz → 12.288MHz,再分频给 ADC/PDMCLOCK_MODULE_AUDIO_PLAY:DTO 24.576MHz → 12.288MHz,AOUT 按 768FS 得到 16kHz- PDM 时钟 1.024MHz = 12.288MHz / 12,LRCLK 16kHz = 12.288MHz / 768
两路都是同一 PLL 的整数分频,没有独立晶振。不要打开 CONFIG_ENABLE_PLL_FREQUENCY_50M :那会让音频 DTO 走 49.152M 分支,AOUT 实际消费比 16kHz 快约 12.5%,表现为回滚延迟被吃掉、周期性断层。CONFIG_AIN_AOUT_SAME_CLOCK 只在 AOUT 配置成 I2S Slave 时可用,本方案 AOUT 是 Master,不能打开它。若实测仍有 ppm 级漂移,_AoutCallback 里的 resync 会重新对齐,日志 rsz 应保持 0。
7. 已知限制*
- 缓存能力:单模拟麦 menuconfig 最多 2s(示例配置 1s)/回滚 400ms;双数字麦每通道最长 1s/回滚 200ms。回滚环跨 standby 保留,睡眠超过一个 mic buffer 时历史中间会有空洞。
- 回滚环大小由
CONFIG_AUDIO_OUT_BUFFER_SIZE_KB决定;源码有“每通道环 ≥ CACHE_MS + 4 帧”和“CACHE_MS ≥ HISTORY_MS”的编译检查。 - 单通道环不要超过 64KB:实测单麦 72KB 环时 AOUT 每帧只消费约 8ms(
cb/s在 100/125 间跳),降到 40KB 后恢复正常。 - 录音只由 GPIO02 按键停止,没有固定时长自动停止;按键脚若不用可配
CONFIG_VAD_RECORD_STOP_GPIO=-1关闭。 - 触发判断中的人声 VAD 依赖 SED V2 模型;模型未就绪或 NPU 忙时只会保留硬件 VAD 判决。