跳转至

8002 VAD 触发录音(低功耗缓存 + I2S 输出)说明*

本文说明 lvp_tws 中的 app/vad_i2s_out_standby:人声 VAD 触发后先从回滚缓存输出触发前的历史音频,再持续把实时音频送到 I2S;空闲时应用释放 suspend lock,系统可正常进入深度 standby。单模拟麦最长缓存 2s、触发后回滚 400ms;双数字麦每通道缓存 1s、回滚 200ms。本应用只做 I2S 输出。

对应配置文件:

lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config    # 单模拟麦,1s 缓存
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_2s.config    # 单模拟麦,2s 缓存
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config       # 单数字麦,1s 缓存
lvp_tws/configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config           # 双数字麦,混音单声道输出

1. 功能与接口*

项目 实现
触发源 人声 VAD(SED V2 模型,context->sed > 0),可切换为硬件 FFT VAD 或两者级联
缓存/回滚 单模拟麦最长 2s(示例 1s)/回滚 400ms;双数字麦每通道 1s/回滚 200ms(CONFIG_VAD_RECORD_CACHE_MS、CONFIG_VAD_RECORD_HISTORY_MS)
停止方式 GPIO02 按键(multi_button 状态机),停止后要等 VAD 回落才允许再次触发
低功耗 空闲时释放 suspend lock,框架在 FVAD 倒计时后进入 standby;录音期间持锁不睡
I2S GX8002 Master,16 kHz / 16 bit;单麦单声道,双麦混音单声道
VAD 状态脚 单麦/单数字麦 PAD0,双数字麦 PAD3(PAD0/PAD1 作为 PDM 使用)
日志 UART1 打印日志(CONFIG_MCU_PRINT_UART_PORT_1=y)

板级引脚占用(grus_gx8002b_dev_1v,单麦/单数字麦):

PAD 功能
PAD0 VAD 状态输出(本方案)
PAD2 GPIO02 停止按键输入
PAD7~PAD10 AOUT I2S MCLK / BCLK / LRCLK / DATA
PAD11 / PAD12 UART1:日志

双数字麦时 PAD0/PAD1 改作 PDM_DATA/PDM_CLK_OUT,VAD 状态脚改到 PAD3。

2. 数据流与缓存原理*

AMIC/DMIC --> AIN PCM --> mic_buffer --> 回滚环(.audio_out, 40/64KB)
                                              |
                                              +--> AOUT I2S --> PAD10
  • 回滚环放在 .audio_out 段,大小由 CONFIG_AUDIO_OUT_BUFFER_SIZE_KB 决定:单麦 1s 用 40KB、2s 用 64KB;双麦混音 40KB。
  • 冷启动读指针落后 CACHE_MS;首帧从 mic buffer 回填 HISTORY_MS,所以第一声就是触发前的历史音频。
  • VAD 触发后取消静音,持续输出实时音频;录音中按下 GPIO02 按键后重新静音。
  • CONFIG_VAD_RECORD_CACHE_MS:回滚环能保留的最长历史,单麦 ≤2s、双麦 ≤1s/通道。
  • CONFIG_VAD_RECORD_HISTORY_MS:触发后先输出的历史长度(回滚),单麦 ≤400ms、双麦 ≤200ms/通道,受 mic buffer 限制。
  • 冷启动先保持唤醒,等缓存填满 CACHE_MS 后再允许进入 standby。

2.1 低功耗与回滚长度的取舍*

GX8002 的 audio_in DRAM 固定在 0x20030000,只有 16KB:

  • 单模拟麦:mic buffer 40 帧 = 400ms
  • 单数字麦:mic buffer 20 帧 = 200ms
  • 双数字麦:mic buffer 每通道 20 帧 = 200ms/通道

深度 standby 期间 CPU 不搬运数据,AIN 仍在往 mic buffer 写。回滚环本身放在 .audio_out,内容在 MCU SRAM 里跨 standby 不掉电,可以保留单麦 2s / 双麦 1s。

因此本方案:

  1. 冷启动先持锁保持唤醒,等 CACHE_MS 缓存填满后再释放锁,让框架正常进入 standby。
  2. 空闲/录音结束后释放 suspend lock,允许 LvpPmuSuspend;挂起时只调用 gx_audio_out_free(),不调用 gx_audio_out_exit()。exit 会 gate 模块时钟但不注销 ISR,挂起后重新开中断时,挂起的 AOUT 中断会读没有时钟的寄存器导致挂总线;唤醒后由 VadRecordAudioInit() 重新初始化。
  3. 从 standby 唤醒时重新初始化 AOUT,环内容不清零,用 AIN 写指针增量把睡眠期间新采集的一段(最多一个 mic buffer)接到环尾,再按 CACHE_MS 落后推首帧。
  4. 录音期间重新加锁,避免 AOUT 正在读 DRAM 时被 standby 打断。

2.2 代码结构*

文件 职责
app/vad_i2s_out_standby/lvp_app_vad_i2s_out_standby.c App 生命周期、VAD 判决(人声/硬件)、录音状态机、suspend lock、VAD 状态脚
app/vad_i2s_out_standby/vad_i2s_out_audio.c/.h I2S AOUT 初始化、回滚环、AIN 搬运/混音、mic buffer 回填、推帧与统计
app/vad_i2s_out_standby/vad_i2s_out_key.c/.h GPIO02 停止按键(multi_button 状态机)
app/vad_i2s_out_standby/vad_i2s_out_log.h 日志级别封装

3. 配置项*

3.1 应用参数*

make menuconfig -> LVP Application Settings -> Application Settings

配置项 默认值 说明
CONFIG_VAD_RECORD_LOG_LEVEL 1 日志级别:0=只错误,1=加初始化/按键/触发/停止,2=加每秒状态和按键电平
CONFIG_VAD_RECORD_CACHE_MS 单麦 1000 / 双麦 1000 回滚环最长缓存;单模拟麦 menuconfig 最多 2s,双数字麦每通道最多 1s
CONFIG_VAD_RECORD_HISTORY_MS 单麦 400 / 双麦 200 触发后回滚时长;单麦最多 400ms,双麦每通道最多 200ms(受 mic buffer 限制)
CONFIG_VAD_RECORD_STOP_GPIO 2 停止按键输入脚,默认 GPIO02(PAD2,与 i2s_delay_demo 一致),-1 关闭
CONFIG_VAD_RECORD_STOP_GPIO_ACTIVE_LOW y 按键低电平有效(另一端接 GND,外部上拉)
CONFIG_VAD_RECORD_TRIGGER_HUMAN y 只用 SED V2 人声 VAD 触发(默认)
CONFIG_VAD_RECORD_TRIGGER_CASCADE - FFT VAD + 人声 VAD 级联触发
CONFIG_VAD_RECORD_TRIGGER_FFT - 只用硬件 FFT VAD
CONFIG_VAD_RECORD_TRIGGER_CNT 3 连续 3 个 10ms 采样检测到硬件 VAD 才触发
CONFIG_VAD_RECORD_VAD_GPIO 单麦 0 / 双麦 3 VAD 状态脚,-1 关闭

3.2 关键依赖*

  • 工作模式:CONFIG_LVP_INIT_WORKMODE_SED_V2=y、CONFIG_LVP_HAS_SED_V2_MODE=y
  • 人声 VAD 模型:CONFIG_SED_V2_VAD_MODEL=y、CONFIG_SED_V2_VAD_MODEL_V221=y
  • NPU SRAM:CONFIG_NPU_SRAM_SIZE_KB=67
  • 硬件 VAD:CONFIG_LVP_FFT_VAD_ENABLE=y
  • 低功耗:CONFIG_LVP_STANDBY_ENABLE=y、CONFIG_LVP_STATE_FVAD_COUNT_DOWN=50
  • 回滚环:CONFIG_AUDIO_OUT_BUFFER_SIZE_KB 按配置取 40/64(需满足 每通道环 ≥ CACHE_MS × 32B/ms + 4 帧,否则编译报错)
  • 麦克风:单麦 CONFIG_TYPE_AMIC=y、CONFIG_TYPE_AMIC_TRACK=1;数字麦 CONFIG_TYPE_DMIC=y、CONFIG_TYPE_DMIC_TRACK=1/2;CONFIG_MIC_CHANNEL_NUM 对应 1/2
  • I2S 输出:CONFIG_BOARD_HAS_AOUT_I2S_M=y
  • 看门狗:CONFIG_LVP_HAS_WATCHDOG=y、CONFIG_LVP_HAS_WATCHDOG_TICK_BLOCK=y

4. 编译与运行*

cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config .config   # 或其它 vad_record 配置
make menuconfig       # 换配置后必须重新生成 autoconf.h
make

产物在 output/,烧录方式同其他 LVP 工程。

5. 调试与验证*

5.1 日志(UART1)*

正常上电日志包含:

[VAD_REC] ---- SampleAppInit ----
[VAD_REC] cold boot: keep awake until cache filled
[VAD_AOUT] aout ok: ch=1 ring=0x2001e000/40960(40960/ch) mclk=... mic=.../12800(400ms/ch)
[VAD_KEY] init: GPIO2, active low
[VAD_REC] trigger=HUMAN cache=1000ms rollback=400ms stop=GPIO key
[VAD_AOUT] first push: ch=1 ain_w=... prefill=400ms delay=1000ms read_off=... wake=0
[VAD_REC] boot cache filled, allow standby

按键按下/松开时会打印原始电平:

[VAD_KEY] GPIO2 level -> 0
[VAD_KEY] stop key event #1

说话触发后:

[VAD_REC] VAD trigger: output on (cache 1000ms, rollback 400ms, prefill 400ms), ring_w=..., press GPIO2 key to stop
[VAD_REC] stop key: output off
[VAD_REC] key latched, wait VAD fall before next trigger
[VAD_REC] vad released, allow trigger again

空闲约 2 秒后应进入低功耗:

[VAD_REC] ---- SampleAppSuspend ----
[PMU] set mcu sleep

唤醒后会重新打印 SampleAppInit / first push,环内容保留,环尾接睡眠期间的音频。

每秒状态行(需要 CONFIG_VAD_RECORD_LOG_LEVEL=2):

[VAD_REC] t=5000ms cb/s=100 ain_B/s=32000 push/s=100 early=0 diff=32000 rw=... rd=... drop=0 rsz=0 rec=0 fft=0 sed=0 key=1
  • t 每次应增加约 1000,用来确认 gx_get_time_ms() 走时正常。
  • cb/s 约 100,说明 AOUT 16kHz 正常。
  • ain_B/s:单麦约 32000,双麦约 64000。
  • diff:冷启动填满后单麦约 32000(1s)/ 双麦约 32000(每通道 1s);standby 唤醒后仍按 CACHE_MS 输出,只是环尾接的是睡眠期间的音频。若为 0 或接近每通道环大小说明读写指针跑飞,rsz 会增加。
  • sed 是人声 VAD 算法结果(1 = 有人声)。
  • key 是累计按键事件数。
  • drop 应恒为 0。

5.2 波形与音频*

  1. 示波器/逻辑分析仪量 PAD7~PAD10,确认 16kHz 帧同步和 DATA 持续输出。
  2. 录音中把 PAD2(GPIO02)拉低再松开,I2S 应停止,PAD0 回到低电平。
  3. 直接听 I2S 输出,触发后开头应能听到触发前约 400ms(双麦 200ms)的声音。

5.3 按键排查*

按键使用 multi_button 状态机(主循环每 5ms 调一次 button_ticks()),默认 GPIO02(PAD2) ,与已验证的 app/i2s_delay_demo 按键脚一致。

现象 排查方向
按按键时没有 GPIO2 level -> ... 日志 确认硬件按键确实接在 PAD2;CONFIG_VAD_RECORD_STOP_GPIO 是否被改成其它脚
有 level 日志但没有 stop key event 按下电平与 CONFIG_VAD_RECORD_STOP_GPIO_ACTIVE_LOW 是否匹配(默认低有效,若按键接 VCC 需关闭该选项)
有 event 但输出没有停 看每秒状态行的 rec 是否为 1;若为 0 说明当时并没有在录音
停止后马上又输出 看是否有 key latched, wait VAD fall。正常需要人声消失(sed=0)后才打印 vad released 并允许再次触发
按一次触发多次 multi_button 已做消抖,事件只置标志,不会重复动作

6. 录音方案*

6.1 单模拟麦录音(AMIC,1ch,低功耗 standby)*

提供两个配置,只有缓存长度不同:

配置文件 缓存 回滚环 内存
grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config CACHE_MS=1000 40KB 24M,无 XIP
grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_2s.config CACHE_MS=2000 64KB 24M,开 XIP
项目 值
麦克风 AMIC 单通道,CONFIG_MIC_CHANNEL_NUM=1;mic buffer 40 帧 = 400ms
缓存/回滚 CACHE_MS=1000/2000;HISTORY_MS=400(回滚 400ms)
I2S 16kHz / 16bit 单声道,AOUT Master,PAD7~PAD10
VAD 状态脚 PAD0(CONFIG_VAD_RECORD_VAD_GPIO=0)
停止按键 PAD2 / GPIO02
低功耗 空闲时释放 suspend lock 进 standby;录音期间持锁不睡
cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_1amic_vad_lowpower_i2s_1s.config .config
make menuconfig && make

2s 缓存需要 64000 + 4 帧 = 65280 字节回滚环,40KB 放不下,所以用 64KB;64KB 环在无 XIP 时 stage2 DRAM 会溢出,因此 2s 配置打开了 XIP。24M 时钟下**不要打开 CONFIG_ENABLE_PLL_FREQUENCY_50M** 。

6.2 单数字麦录音(DMIC,1ch,低功耗 standby)*

配置文件:grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config

项目 值
麦克风 DMIC 单通道,CONFIG_TYPE_DMIC_TRACK=1、CONFIG_MIC_CHANNEL_NUM=1;mic buffer 20 帧 = 200ms
缓存/回滚 CACHE_MS=1000(1s);HISTORY_MS=200(回滚 200ms)
I2S 16kHz / 16bit 单声道
内存 40KB audio_out,XIP
低功耗 空闲时释放 suspend lock 进 standby;录音期间持锁不睡
cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_1dmic_vad_lowpower_i2s.config .config
make menuconfig && make

6.3 双数字麦录音(DMIC,2ch)*

配置文件:

配置文件 说明
grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config 两路采集,逐采样平均混音成单声道输出
  • 麦克风:DMIC 双通道,mic buffer 20 帧/通道 = 200ms
  • 缓存/回滚:CACHE_MS=1000(整条环 1s);HISTORY_MS=200(每通道 200ms)
  • I2S:把 ch0/ch1 平均混成一路,再按**双声道时序** (左右输出同一路)送到 PAD10;PAD0/1 为 PDM_DATA/CLK,PAD3 VAD 状态,PAD2 停止按键
  • 内存:40KB audio_out,24MHz
  • 低功耗:空闲释放 suspend lock 进 standby,录音期间持锁

引脚:

PAD 功能
PAD0 PDM_DATA(func 7)
PAD1 PDM_CLK_OUT(func 9)
PAD2 GPIO02 停止按键
PAD3 VAD 状态输出
PAD7~PAD10 AOUT I2S
PAD11 / PAD12 UART1 日志

DMIC 在 grus_gx8002b_dev_1v 上只使能 PCM1 (audio_board.c 里 DMIC 走 PDM,PCM0 留给 SADC/FFT)。应用必须取 AUDIO_IN_CHANNEL_PCM1 的写指针;取 PCM0 会一直读到 0,表现为开机不推首帧、直接进 standby。

cd lvp_tws
cp configs/example/vad_record/grus_gx8002b_dev_1v_2dmic_vad_mono_i2s.config .config
make menuconfig && make

日志会显示 ch=2。冷启动后读指针先落后 CACHE_MS(1s);从 standby 唤醒时环尾接睡眠期间音频,diff 仍约为 1s。每秒统计需 VAD_RECORD_LOG_LEVEL=2,ain_B/s≈64000。

6.4 双麦只输出混音单声道*

双麦不做立体声输出:AOUT 同时读取两块不同地址 buffer(非交织立体声)时,每个环绕周期会出现一次“滴”声,应用侧无法规避。因此双麦统一把 ch0/ch1 逐采样平均混成一路,AOUT 只配置一块 buffer(buffer0 = buffer1 = s_ring)+ 双声道时序(pcm.channels=2、interlace=0、GX_AUDIO_OUT_LEFT_C),左右输出同一路。

双通道要点:CONFIG_TYPE_DMIC + 2ch,ch1 基址为 ch0 加一个通道大小;_AinWptr 取 AUDIO_IN_CHANNEL_PCM1;logfbank 源为 LOGFBANK_SOURCE_PDM_LEFT,人声 VAD 只看 ch0。

6.5 缓存容量评估*

16kHz/16bit PCM 每通道每秒 32000B:

方案 缓存需求 audio_out 结果
单模拟麦 1s 32000B 40KB 放得下
单模拟麦 2s 64000B 64KB 放得下
单数字麦 1s 32000B 40KB 放得下
双数字麦 1s(混音单声道) 32000B 40KB 放得下(混音后单路,整环 1s)
  • 冷启动/持续 awake :读指针先落后 CACHE_MS,环跑满后允许触发,可保留完整缓存。
  • standby 唤醒 :环内容跨 standby 保留,用 AIN 写指针增量把睡眠期间的数据接到环尾;睡眠超过一个 mic buffer(单麦 400ms / 双麦 200ms)时,中间那段没有缓存,时间上会有空洞。

6.6 时钟同源*

clock_board.c 里 AIN 和 AOUT 都来自同一颗 24.576MHz PLL:

  • CLOCK_MODULE_AUDIO_IN_SYS:DTO 24.576MHz → 12.288MHz,再分频给 ADC/PDM
  • CLOCK_MODULE_AUDIO_PLAY:DTO 24.576MHz → 12.288MHz,AOUT 按 768FS 得到 16kHz
  • PDM 时钟 1.024MHz = 12.288MHz / 12,LRCLK 16kHz = 12.288MHz / 768

两路都是同一 PLL 的整数分频,没有独立晶振。不要打开 CONFIG_ENABLE_PLL_FREQUENCY_50M :那会让音频 DTO 走 49.152M 分支,AOUT 实际消费比 16kHz 快约 12.5%,表现为回滚延迟被吃掉、周期性断层。CONFIG_AIN_AOUT_SAME_CLOCK 只在 AOUT 配置成 I2S Slave 时可用,本方案 AOUT 是 Master,不能打开它。若实测仍有 ppm 级漂移,_AoutCallback 里的 resync 会重新对齐,日志 rsz 应保持 0。

7. 已知限制*

  • 缓存能力:单模拟麦 menuconfig 最多 2s(示例配置 1s)/回滚 400ms;双数字麦每通道最长 1s/回滚 200ms。回滚环跨 standby 保留,睡眠超过一个 mic buffer 时历史中间会有空洞。
  • 回滚环大小由 CONFIG_AUDIO_OUT_BUFFER_SIZE_KB 决定;源码有“每通道环 ≥ CACHE_MS + 4 帧”和“CACHE_MS ≥ HISTORY_MS”的编译检查。
  • 单通道环不要超过 64KB:实测单麦 72KB 环时 AOUT 每帧只消费约 8ms(cb/s 在 100/125 间跳),降到 40KB 后恢复正常。
  • 录音只由 GPIO02 按键停止,没有固定时长自动停止;按键脚若不用可配 CONFIG_VAD_RECORD_STOP_GPIO=-1 关闭。
  • 触发判断中的人声 VAD 依赖 SED V2 模型;模型未就绪或 NPU 忙时只会保留硬件 VAD 判决。