ESP32-S3-Korvo-2 多媒体开发板

乐鑫科技推出 ESP-RTC (Real-Time Communication) 音视频通信方案,能够实现稳定流畅、超低延时的语音和视频实时通信。

ESP-RTC 以乐鑫 ESP32-S3-Korvo-2 多媒体开发板为核心。ESP32-S3-Korvo-2 搭载 ESP32-S3 AI SoC,拥有双麦克风阵列,支持近/远场语音唤醒和语音识别。它还集成了摄像头、Micro SD 卡、LCD 等外设,支持基于 MJPEG 视频流的处理,为用户构建低成本、低功耗、可联网的音视频产品提供了理想的开发原型。

ESP-RTC 方案参考硬件框架

ESP-RTC 方案基于乐鑫自研的 SIP(Session Initialization Protocol,会话初始协议)协议栈,实现了实时的音视频通信。协议栈包含传输层、事务层和会话层,其信令交互模块支持 UDP、TCP 和 TLS 三种方式,媒体传输模块支持 RTP (UDP)、RTCP、SRTP、TURN 等 NAT 透传协议。值得一提的是,ESP-RTC 方案还在传输模块中增加了弱网对抗算法,如 Jitter Buffer 和 PLC,有效解决了丢包、抖动、拥塞、延时等问题,能够充分保证音视频通信的流畅性与实时性。

ESP-RTC 方案也支持 RTSP(Real Time Streaming Protocol,实时流协议)协议栈,其媒体传输模块同时支持 RTP/UDP 和 RTP over TCP。ESP-RTC 方案既可以作为 RTSP 服务器,支持使用 VLC/FFMPEG/PotPlayer/KmPlayer 等播放器进行点播;也可以作为 RTSP 客户端,支持对 EasyDarwin 等开源服务器进行直播推流和拉流播放。

ESP-RTC 基于乐鑫自研的音频 3A 算法 (AEC 声学回声消除、ANS 背景噪声抑制、AGC 音频自动增益),降低了通话中的噪音和回声,使语音对讲保持高质量稳定。它还采用乐鑫芯片级编解码算法,为用户提供了清晰画质的视频通话体验。结合乐鑫 AI SoC ESP32-S3,ESP-RTC 可借助其出色的 AI 运算能力,实现高性能语音唤醒与识别、图像识别等应用,广泛适用于智能音箱、可视对讲门铃、智能家居控制面板、宠物监控、车载行车记录仪、儿童玩具等场景。

ESP-RTC 方案支持 FreeSWITCH、FreePBX 等开源服务器,也可接入成熟的 SFU 云端服务器,实现多人同屏音视频通话。用户借助乐鑫开源物联网开发框架 ESP-IDF 和音频开发框架 ESP-ADF,即可快速搭建音视频通信相关应用。

免责声明:凡注明为其它来源的信息均转自其它平台,目的在于传递更多信息,并不代表本站观点及立场。若有侵权或异议请联系我们处理。

相关推荐