DuerOS开发套件标准版使用说明书

概述

DuerOS开发套件标准版是一款基于MTK MT8516处理器和科胜讯四麦克风阵列的语音整体解决方案。用户可以方便地使用DuerOS丰富的资源能力及利用开发套件进行二次开发。开发平台为用户提供了强大的处理性能和调试资源,形成完整的软硬一体语音解决方案。

硬件规格说明

开发套件规格

开发套件主要规格。

功能 描述
麦克风阵列 4麦克风 360度声源定位
CPU MT8516 Cortex A35 4核 1.3GHz
DDR 512MB
Flash 512MB
WIFI&BT WiFi:802.11a\b\g\n\ac 2.4G、5GHz BT:2.4GHz,V4.1+HS
接口 USB Host、USB OTG、UART、Line out
扬声器 2 inch 4Ω full-range,15W
OS Linux + Duer OS
尺寸 90 X 90 X 157 mm

开发套件结构示意图。 开发套件结构示意图

麦克阵列板

本麦克阵列板采用四麦克方案支持360度拾音,SER可达-30dB。包含如下主要功能。

功能 四麦阵列板
拾音距离 5米
声源定位 360度
动态噪声抑制 支持
稳态噪声抑制 支持
回声消除 支持
语音打断 支持
语音增强 支持
语音唤醒 支持

麦克阵列板的主要规格。

  • 4颗数字MEMS麦克

  • 1个Micro USB接口

  • 1颗电源指示LED

麦克阵列板的接口说明。

  • MIC1~MIC4:4麦克风输入

  • SW1:开关机

  • SW2:静音键

  • SW3:音量减小

  • SW4:音量增加

  • SW5:近场按键

  • SW6:复位按键

  • CN1:30pin连接器与MT8516通过排线连接

  • J1:Micro USB 1

麦克阵列板正面示意图。
麦克阵列板TOP面示意图
麦克阵列板反面示意图。
麦克阵列板Bottom面示意图

主控板

MT8516主控板使用Cortex A35 四核1.3GHz ARM 处理器,是开发套件的核心,架构如下。 MT8516架构示意图

主控板的主要特性。

CPU Cortex A35 四核1.3GHz ARM
L1&L2 Cache 32KB L1 I-cache 32KB L1 D-cache 512KB L2 cache
DDR 512MB
Nand flash 512MB
EMMC 兼容EMMC flash
Wifi&BT Wifi 2.4G/5G,1T1R,802.11 a/b/g/n/ac BT 3.0 + HS BT 4.1 LE
USB OTG 支持
USB Host/Slave 支持

主控板的接口说明。

  • J4:TDM、I2S OUT等信号

  • J5: 电源、I2S IN等信号

  • A203:WiFi&BT天线接口

主控板正面示意图。
主控板Top层示意图
主控板反面示意图。
主控板Bottom示意图

功放板

功放板主要给主控板供电,同时提供喇叭、USB等接口按键。

功放板的主要功能。

  • 供电

  • 连接主控板和麦克阵列板

  • 控制按键

  • 喇叭接口

  • USB等对外连接接口

功放板的接口说明。

  • SW1 :Power

  • SW4 :VOL Up

  • SW6 :Reset

  • J1 :电源、I2S IN等信号

  • J2 :TDM、I2S OUT等信号

  • J4 :Speaker OUT1

  • J5 :Speaker OUT2

  • J6 :Mic In 3

  • J7 :Mic In 2

  • J8 :电源接口

  • J9 :Micro USB 3/Host

  • J10 :Micro USB 2/OTG

  • J11 :耳机接口

  • J12 :Debug调试串口

  • CON3:串口线
  • CN1 :与主控板连接FPC信号线

功放板的正面示意图。
功放板的正面示意图
功放板的反面示意图。
功放板反面示意图

扬声器

扬声器尺寸示意图。
扬声器尺寸示意图
扬声器参数说明。

DC Resistance Revc Ohms 3.43 5.0%
Minimum Impedance Zmin Ohms 3.89 7.5%
Resonant Frequency Fs Hz 186.8 15%
Ratio Fs/Qts F Fs/Qts 243.87
Half Space Sensitivity @2.83V db@2.83V/1M dB 86.34 +/-1.0db
Half Space Sensitivity @1W/1M db@1W/1M dB 83.2 +/-1.0db

开机启动联网

开机启动

1. 设备上电

使用19V/3A的电源适配器接入电源接口(位号:J8)对开发板供电,功放板LED(位号:D3)点亮,之后麦克阵列板的LED灯带点亮,证明设备启动并进入Linux Kernel。电源口接线示意图。
电源口接线示意图

2. 不同阶段的提示音

1) Linux启动完成,可登录shell时,提示音为“你好,我是小度,正在开机,请稍等”。

2) 度秘应用启动完成,但未配网时,提示音为“现在请到小度之家APP上,找到DuerOS开发套件标准版,帮我联网”。

3) 通过小度之家进行配网时,提示音为“正在联网,可能需要一分钟”。

4) 通过小度之家配网成功时,提示音为“联网成功,现在请对我说,小度小度,播放音乐”。

5) 通过小度之家配网失败时,提示音为“联网失败,请重试”。

6) 在未联网的情况下,提示音为“网络连接失败,请检查网络”。

7) 设备上电后自动开机并语音提示用户“现在请到小度之家APP上,找到DuerOS开发套件标准版,帮我联网”,开发套件随之进入等待联网状态,橙色灯光呼吸闪烁。

联网

1. 首次联网

当开发套件灯光呈现橙色呼吸闪烁时,表明开发套件已处于等待用户联网状态,此时请按照如下指导进行操作。
1)安装小度之家APP。可以通过扫描二维码进行下载。
Android&IOS版小度之家二维码
2)使用百度账号登录小度之家APP。
以百度账户登录小度之家
进入小度之家主页面。
小度之家主界面
3)在主页面点击添加设备,待APP发现DuerOS_XXX名称的设备热点后,点击添加。
发现并添加设备
4)输入Wi-Fi密码,点击下一步。
设置工作网络
5)联网过程预计需要1分钟,请保持手机尽量靠近设备,等待联网完成。
设备联网中
6)联网成功。
设备联网中

2. 手动联网

当用户想主动更换网络,可同时长按开发套件顶部“音量加”和“音量减”3s以上进入等待联网,此时开发套件灯光呈现橙色呼吸闪烁,并语音提示用户使用小度之家APP帮助联网。

四 唤醒

在设备成功联网后,通过“小度 小度”唤醒词进行唤醒。

五 服务内容

DuerOS可为不同行业的合作伙伴赋能,广泛支持手机、电视、音箱、汽车、机器人等多种智能设备,提供娱乐影音、信息查询、生活服务、出行路况等服务等10大类目100多项服务。下面是一些常见的服务内容示例。

音乐服务示例。

  • 我要听周杰伦的歌
  • 旅行适合什么歌
  • 适合看书的歌曲
  • 播放伤感的粤语歌曲
  • 这首歌是谁唱的
  • 这首歌叫什么名字
  • 收藏这首歌
  • 下一首
  • 上一首
  • 暂停
  • 继续
  • 单曲循环这首歌
  • 我不喜欢这首歌

有声-点播服务示例。

  • 播放鬼吹灯
  • 帮我播一下狄仁杰第8集广州案
  • 购买
  • 下一个
  • 上一个
  • 跳到第21集
  • 快进50秒
  • 快退10秒
  • 暂停
  • 继续
  • 这是什么专辑
  • 这是哪一集

有声-直播示例。

  • 我要听汕头电台音乐之声
  • 换台
  • 暂停
  • 继续
  • 这个台叫什么

新闻示例。

  • 我要听新闻
  • 播放北京新闻
  • 播放王健林的新闻
  • 下一个
  • 上一个
  • 暂停

闹钟示例。

  • 提醒我---请问几点提醒你?
  • 每周一上午8点提醒我开会
  • 查看闹钟
  • 删除闹钟--查询到x个闹钟,你要删除哪一个?…
  • 停止响铃

计时器示例。

  • 设置5分钟的计时器
  • 查看计时器
  • 删除10分钟的计时器
  • 停止响铃

信息问答示例。

  • 今天天气怎么样
  • 今天雾霾严重吗
  • 今天适合运动吗
  • 现在几点了
  • 纽约现在几点了
  • 今天是星期几
  • 三个火是什么字
  • 讲个笑话
  • 再来一个
  • 暂停
  • 继续
  • 2+5等于几
  • 西红柿的英文
  • 翻译一下我想你
  • 翻译下apple
  • how do you do什么意思

自控示例。

  • 音量增大;音量增加10
  • 音量减小;音量减小10
  • 音量调到50
  • 适合阅读的音量;
  • 静音
  • 取消静音
  • 打开蓝牙
  • 关闭蓝牙
  • 关闭Mic

打车示例。

  • 我要打车
  • 打车去西二旗地铁站
  • 帮我叫个出租车

聊天示例。

  • 你是谁
  • 吃饭了吗
  • 你好

六 开发调试

调试接口

1. 串口

1) 在PC安装USB转TTL的PL2303驱动。请根据PC的操作系统类型在http://www.prolific.com.tw/US/ShowProduct.aspx?pcid=41&showlevel=0041-0041网站上选择匹配的驱动并安装。

2) 使用串口调试板。串口线(3.5mm接口)接入功放板J12 DEBUG口。 串口连接

3) 在设备管理器的端口(COM和LPT)中找到新增的COM口。
Windows设备管理器

4) 在PC安装SecureCRT/Putty等串口工具,以SecureCRT为例,以如下参数配置串口即可以用户名root访问开发套件的串口TTY。

SecureCRT串口设置

2. USB口

1) 在PC安装adb。

2) 使用USB OTG USB ADB模式。使用标准Micro USB接入J9 USB OTG接口。
USB连接
3) 在PC的CMD命令行程序中,输入adb shell,即可登录到开发套件的shell命令行。

手动升级

  1. 开发套件上电。

  2. 待开发套件语音提示“你好,我是小度,正在开机,请稍等”后,使用adb push update的文件名 /tmp。

  3. 待adb push命令返回后,输入adb shell upgrade_app /tmp/update的文件名。

  4. 如提示upgrade_app successs,表明升级成功,可通过adb reboot重启设备。

  5. 如提示升级失败,可能有以下原因。

    • 下载的文件或推送到设备上的文件有误,可通过md5校验文件。

    • 设备的/data目录空间不足,请,通过命令 adb shell rm –rf /data/duer /data/misc/stp_dump /data/coredump手动删除/data下的duer、stp_dump和coredump目录,然后再次执行adb shell upgrade_app /tmp/update的文件名。

常用操作

进入产测模式

adb shell factory ATE_ENTER_FACTORY

获取IP地址

adb shell ifconfig

推送文件到设备

adb push 文件名设备上的目录
如需要长期保存,建议推送到/data。

获取WIFI MAC

adb shell factory ATE_WIFI_MAC_GET

获取蓝牙MAC

adb shell factory ATE_BT_MAC_GET

WIFI吞吐量测试命令

测试前通过adb shell 进入shell环境。

测试下行速率

  • 音箱端:iperf –s

  • 路由器连接的PC端:iperf –c 音箱IP地址 –t 60 -i 1 –w 2M

测试上行速率

  • 音箱端:iperf –c 路由器连接的PC ip地址 –t 60 -i 1

  • 路由器连接的PC端:iperf –s

通过wpa_cli -iwlan0 -p /tmp/wpa_supplicant status查看连接状态。

通过wpa_cli -iwlan0 -p /tmp/wpa_supplicant signal_poll查看连接速度。

循环播放音频

adb shell play.sh duer_plug 音乐文件名 &

获取当前WIFI连接信息

可以获取路由器MAC,SSID,加密方式,音箱IP,音箱WIFI MAC等WIFI信息。

adb shell wpa_cli -iwlan0 -p /tmp/wpa_supplicant status

获取网关IP

adb shell ip route

设置音量

adb shell amixer cset name=’TAS5760 Volume’ XXX

获取当前音量

adb shell amixer cget name=’TAS5760 Volume’