乐鑫信息科技 (688018.SH) 推出 AI 语音开发套件 ESP32-S3-BOX,为用户提供了一个以离线和在线语音助手为核心的智能设备开发平台,能够助力用户降低研发投入成本,缩短开发周期,轻松构建可自定义 AI 语音功能的 AIoT 方案。它既可以用于构建智能音箱,也可以赋能更多物联网设备直接实现人机语音交互。
ESP32-S3-BOX 现已在乐鑫官方淘宝店铺限量发售,欢迎选购!
ESP32-S3-BOX 除了智能语音助手以外,还集触摸屏控制、传感器、红外控制器和智能网关等多功能于一体,拥有完善的 SDK 和丰富的例程。与开放式 PCB 开发板不同,ESP32-S3-BOX 外观精致,在设计上大幅减少 PCB 尺寸,方便用户直接构建接近实际产品形态的应用。
ESP32-S3-BOX 以 ESP32-S3 Wi-Fi + Bluetooth 5 (LE) SoC 为核心,搭载 Xtensa® 32 位 LX7 双核处理器,工作频率高达 240 MHz,具有强大的 AI 指令拓展,能够实现神经网络加速和高效的音频处理性能。ESP32-S3-BOX 在 ESP32-S3 的内置 512 KB SRAM 之外,还集成了 16 MB QSPI flash 和 8 MB Octal PSRAM。
ESP32-S3-BOX 板载一块配备电容触摸面板的 2.4 寸显示屏(分辨率 320 x 240),一个可提供 5 V 电源输入和串口/JTAG 调试的 Type-C USB 接口,以及两个用于连接外设模块、进行功能拓展的 Pmod™ 兼容接口。Pmod™ 接口共包含 16 个可编程 GPIO,能够为外设提供 3.3 V 供电。
ESP32-S3-BOX 拥有以下代表性应用:
离线 & 在线语音助手
ESP32-S3-BOX 提供离线和在线语音助手功能,既可以作为独立的语音助手使用,也可以作为语音功能模块集成到其他智能设备中。
高性能的声学前端和语音唤醒引擎对于提高语音助手的用户体验十分重要。ESP32-S3-BOX 无需外加任何 DSP 处理器就实现了这一特性。将支持 AI 加速的 ESP32-S3-BOX 与乐鑫自研的声学前端 (Audio Front-End, AFE) 算法相结合,用户仅用两个麦克风即可实现 360 度和远场 5 m 拾音,获得高质量且稳定的音频数据;在噪声环境中也能精准提高目标音频源的声音质量,实现出色的语音交互性能。乐鑫 AFE 算法现已通过亚马逊 Alexa 内置设备的 Software Audio Front-End Solution 认证。
乐鑫 ESP-Skainet SDK 具有丰富的离线语音助手功能,支持开发者配置多达 200 条自定义语音命令。乐鑫 Alexa for IoT SDK 支持用户轻松地将 Alexa 功能集成到物联网设备中。这两个 SDK 分别满足了开发者在 ESP32-S3-BOX 上对离线和在线语音助手的需求。相关例程将于不久后更新。
HMI 人机交互触摸面板
ESP32-S3-BOX 配备了一块可作为控制面板等 HMI 应用的 320 x 240 电容式触摸屏。ESP32-S3 SoC 经过优化的 PSRAM 接口和计算能力,能够为其提供高性能、高刷新率的触摸屏显示。乐鑫已将 LVGL 作为组件集成到 SDK 软件包中,方便开发者轻松评估并将其移植到产品设计中。LVGL 是一个免费的开源嵌入式图形库,具有易于使用的图形元素,支持动画、抗锯齿等高级的功能。开发者可以基于 LVGL 丰富的组件元素自定义界面开发,为 ESP32-S3-BOX 构建全功能嵌入式 GUI(Graphical User Interface, 图形用户界面)。
智能网关
ESP32-S3-BOX 通过 Pmod™ 接口与乐鑫其他芯片系列组合,能够快速构建打通多种通信协议的智能网关,轻松联动多类型设备,实现万物智联。
在 ESP32-S3-BOX 上接入集成 IEEE 802.15.4 (Thread 1.x/Zigbee 3.x) + Bluetooth 5 (LE) 的 ESP32-H2 模组,可以构建一个 Thread 边界路由器 (Border Router),将低功耗 Thread 网络与 Wi-Fi 网络互联。同时该设备还可以作为一个 Zigbee 网关,支持用户通过智能家居互联协议 Matter 控制现有 Zigbee 网络中的设备。
ESP32-S3-BOX 也可以作为 Wi-Fi / 蓝牙网关。ESP32-S3-BOX 经路由器联网后,通过热点将网络连接共享给周围设备,实现 Wi-Fi 中继或 Wi-Fi 信号放大功能,扩大网络覆盖范围。ESP32-S3-BOX 通过 Pmod™ 接口外接一个移动网络(如 LTE、5G、NB-IoT)模组,也可以作为随身 Wi-Fi,将蜂窝网络转换为 Wi-Fi 信号,为周围设备提供联网功能。
此外,ESP32-S3-BOX 还支持对接多种第三方云平台,与多生态设备协同工作。用户借助乐鑫的一站式 AIoT 云平台 ESP RainMaker®,可实现 APP 控制 ESP32-S3-BOX 设备状态、自由配置 GPIO 管脚、自定义语音命令词和 OTA 升级等功能。使用 ESP RainMaker 和 ESP32-S3-BOX,用户可以通过 Pmod™ 接口将离线产品转换为无线连接产品。ESP RainMaker 中集成的桥接支持,也扩展了 ESP32-S3-BOX 通过云端轻松控制 Bluetooth LE 或 IEEE 802.15.4 设备的能力。
方便拓展的 Pmod™ 接口
ESP32-S3-BOX 在保证美观小巧的同时,还提供了两个 Pmod™ 兼容接口(共 16 个可编程 GPIO),支持用户外接各类外设模块,灵活拓展开发板的功能。
例如:
外接 Micro SD 卡模块,ESP32-S3-BOX 可作为一个多媒体播放器,用于存储图片和音频文件;
外接红外传感器,开发板可模拟一个语音红外遥控器,通过离线语音控制空调、电视、投影仪等设备;
外接温湿度、PM 2.5 等传感器,可实现一个带有语音功能的空气质量检测仪,在屏幕上可视化地呈现传感器采集的数据信息;
外接 RGB LED 模块,可构建通过离线语音控制的智能照明方案;
外接 USB OTG 模块,实现 USB 摄像头、4G 通信设备、Wi-Fi 共享 U 盘,以及 USB 触控板等应用;
外接 Camera 模块,拓展支持人脸检测与识别功能。
乐鑫还提供了丰富的 ESP32-S3-BOX 技术资源,包括硬件参考设计和用户指南,LVGL 组件库,ESP-SR 语音识别算法模型库(包括唤醒词识别模型、语音命令识别模型和声学算法),以及能够为神经网络推理、图像处理、数学运算和深度学习模型提供 API 的 ESP-DL 深度学习开发库。用户基于乐鑫开源的物联网开发框架 ESP-IDF,可在 ESP32-S3-BOX 上进行二次开发、运行高性能的 AI 应用,快速实现应用的产品化落地。相关例程将于不久后更新,请持续关注。
乐鑫科技将坚持以自研的技术与性能卓越的产品回馈用户。我们期待与广大合作伙伴以及开发者共同探索物联网的更多创新应用。您可以点此直接购买 ESP32-S3-BOX 开发套件,如您想了解更多关于 ESP32-S3-BOX 的信息,请联系乐鑫的客户支持团队,我们将竭诚为您服务。