人工智能自然语言综合实训平台

人工智能自然语言综合实训平台

4.2.1、产品简介

人工智能自然语音综合实训平台，可以开展语音信号的采集与播放、语音编jiema、回声消除、语音信号降噪、语音变速变调、语音识别、语音合成、智能对话等智能语音处理课程教学与实践。

该实训箱是一款软硬件一体的人工智能教学与开发实践端侧设备，主要包含人工智能边缘计算平台、六合一麦克风阵列、离线语音模块、天猫精灵、高保真扬声器、AIOT无线网关、AIOT虚实结合采集控制端模块和AIOT端感控场景应用系统，以及智能温湿度计、智能无线按钮、LED灯等传感控制器件。实验箱配套相关教学实践资源。预装Linux操作系统和深度学习框架、智能语音处理SDK，且具有CANS机构认可的产品检验报告。

4.2.2、产品特点

1）出厂预装Ubuntu操作系统和深度学习框架

平台出厂预装Ubuntu操作系统与深度学习框架，集成Python3、机器视觉、自然语言、深度学习、ROS系统等开发环境，能满足人工智能相关的学习与开发。

2）离线语音图形化中文编程开发

平台离线语音模块提供配套图形化编程软件“天问Block”，通过中文图形化语句指令的编程后可自动生成专业代码，用户只需“拖拉、组合、点击”的方式即可完成程序指令的编写，哪怕零基础也能快速上手进行单片机硬件开发，从而可以将更多的精力放到逻辑层面。

3）三大语音开发套件循序渐进学习语音处理

平台装配天猫精灵、离线语音、麦克风阵列三大语音采集模块，引导学生循序渐进学习自然语音处理技术。天猫精灵支持蓝牙Mech设备连接，从而实现周边设备的语音控制。离线语音模块，开放软硬件接口，支持零代码编程，可以轻松实现对灯光、风扇、空调等设备的离线控制。麦克风阵列内含科大讯飞深度学习框架，支持声源定位、语音导航、语音交互、离线语音识别，真正实现人工智能层面的自然语音处理技术。

4）三大智慧语音端感控场景应用单元

平台搭载智慧环境、安防感知、智慧停车三大端感控场景应用，通过虚实结合采集点、无线网关实现与与语音模块的语音交互。包括通过语音获取场景单元传感器的状态，以及通过语音控制场景单元的执行器状态，从而实现自然语言处理技术在不同场景的智慧应用。

4.2.3、主要硬件构成

本平台主要由边缘计算平台、麦克风阵列、离线语音模块、天猫精灵智能音箱、AIOT无线网关、AIOT虚实采集控制模块、端感知控制模组等硬件模块构成，介绍如下：

（1）Jetson Nano边缘计算平台

NVIDIA JetsonNano是一个小巧却功能强大的计算机，它可以让你并行运行多个神经网络、对象检测、分割和语音处理等应用程序,JetsonNano搭载四核cortex-A57处理器，128核MaxwellGPU及4GBLPDDR内存，带来足够的AI计算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等

（2）语音识别麦克风阵列

麦克风阵列采用 4核高性能边缘计算处理器。内部集成特定的语音算法，利用麦克风阵列的空域滤波特性，通过唤醒人的角度定位，形成定向拾音波束，并对波束以外的噪声进行抑制，提升远场拾音质量。针对人机交互一体终端，集成高性能回声消除算法，降低语音、语义识别难度，防止自言自语的情况发生。

麦克风阵列接口采用科大讯飞M260C环形麦克风阵列，阵列由 6 个麦克风环形排列组成，远场拾音实验室环境下可达10m，唤醒角度的分辨率为 1°，可进行 360°全方位声源定位。

（3）智能声控音箱

天猫精灵IN糖采用了圆润的糖果造型设计,顶部有一个触控式操作面板，可以实现对音量、播放/暂停等功能的控制。搭载了天猫精灵语音助手，用户可以通过语音与音箱进行交互。兼容众多智能家居设备，如智能灯具、智能插座、智能门锁等。用户可以通过语音指令或手机APP控制这些设备，实现智能家居的自动化和智能化。

（4）离线语音模块

离线语音模块上采用ASRPRO智能离线语音识别核心板，它是一款通用、便携、低功耗高性能的语音识别芯片，采用了第三代语音识别技术，能支持DNN\TDNN\RNN等神经网络及卷积运算，支持语音识别、声纹识别、语音增强、语音检测等功能，具备强劲的回声消除和环境噪声抑制能力，语音识别效果优于其它语音芯片。该芯片方案还支持汉语、英语、日语等多种全球语言，可广泛应用于家电、照明、玩具、可穿戴设备、工业、qiche等产品领域，搭配天问Block图形化编程软件，快速实现语音交互及控制和各类智能语音方案应用。

（5）AIOT无线网关

核心MCU朵用ARMCortex-M3内核微控制器，搭载2.0寸TFT触摸显示屏，标配ZigBee+WiFi两大无线通信模组。整个AIOT无线网关,实现了边缘计算网关、离线语音模块、天猫精灵、无线智能节点等多路无线数据和串口数据的转发。

（6）AIOT虚实结合采集控制终端

核心MCU采用基于ARM Cortex-M3内核的32位微控制器；配有1块3.2寸TFT触摸显示屏用于显示和交互，分辨率为320*240。对外提供多种可编程的硬件接口，包括485、CAN、ADC、SPI、PWM、GPIO、UART、IIC等。预留了通用双排防反插接口，支持Zigbee、Wifi、Lora、433等无线模块的自由切换。

（7）AIOT端感控场景应用系统

智慧环境感知单元：光照、温湿度、雨雪、风扇、数码管、调色灯

智能安防感知单元：红外对射、烟雾、酒精、蜂鸣器、触摸按键、人体

智能停车感知单元：超声波、电磁锁、继电器、舵机

4.2.4、平台主要功能

（1）端感知控制

1）端感知控制主要依赖于AIOT感控场景应用硬件模块进行，配套对应的Ubantu应用软件，主要包含环境监测、安防感知、智能停车三个应用场景。

环境监测：获取当前的温度、湿度、光照、雨雪等环境信息，或控制调光灯、排风扇状态。

安防感知：随时监测当前的红外、烟雾、酒精、触摸按键、人体感应等安防信息，或控制蜂鸣器的状态。

智能停车：及时获取超声波传感的距离数据，或控制电磁锁、继电器、停车杆、数码管的状态信息。

（2）离线语音识别

离线语音识别以离线语音模块为语音输入，通过配套的图形化编程软件编写相关指令代码后及可使用设定的“关键词”唤醒模块，唤醒后通过预先设计的“关键指令”获取板载或端感控场景中传感器的数据，或控制对应的执行对象。该模块无需联网可在离线状态下使用，且无需每次对话均要唤醒。在唤醒状态下，可连续与之进行语音交互。

（3）天猫精灵语音识别

天猫精灵语音识别主要以天猫精灵智能音响为识别核心，配套温湿度计、按钮、AIOT无线网关（含天猫精灵模块），通过配对接入阿里物联网云平台后，不仅可以通过语音交互获取“天气、新闻、娱乐”等网络信息，还可以通过语音交互控制实验平台上“AIOT虚实采集控制终端”的灯光。

（4）麦克风阵列语音识别

麦克风阵列语音识别使用麦克风阵列作为语音输入，平台配备了Ubuntu人机交互应用，支持高精度的语音识别、语义分析和语音控制。通过设置与端感知控制板建立连接后，程序界面左下方会显示温湿度传感器等数据，也能控制端感知控制板上的执行器硬件。

通过语音查询指令，可以查询端感知控制板上各传感器的数据，通过控制指令，可以控制端感知控制板上各执行器的状态。

4.2.5、配套课程资源

人工智能自然语言实验平台配套提供丰富的课程资源，课程主要包括《Python基础》、《自然语言处理》、《离线语音》、《端感知控制》、《PyQT5应用开发》、《天猫精灵应用开发》等。课程会涉及到实验平台中的各个硬件模块，包括麦克风阵列、离线语言、天猫精灵、AIOT感知控制单元等。课程也会涉及到人工智能领域中的关键技术，包括Python基础、自然语言、深度学习、离线语音、天猫精灵云服务等。

1）《Python基础》课程主要包括Python的基础语法、数据类型、表达式、函数异常处理等内容，主要为了学生掌握后续课程打下基础。

2）《自然语言处理》课程主要包括麦克风阵列、文本处理、深度学习、百度AI语音云服务等内容，学生通过学习可以掌握人工智能自然语言相关的理论及使用方法。

3）《离线语音应用开发》课程主要包括如何利用离线语音模块进行智能对话、硬件控制、屏幕控制、串口输出协议数据等应用开发，学生通过学习可以快速上手离线语音模块开发方法。

4）《端感知控制》课程主要包括Stm32应用开发基础、端感知控制板上的传感器实验以及基于Zigbee模组无线应用等内容，学生通过学习可以掌握如何控制和采集端感知控制板。

5）《PyQT5应用开发》课程主要包括PyQT5的界面设计、信号与槽、UI布局、数据库、多线程、网络编程等内容，学生通过学习可以掌握如何设计PyQT5应用。

6）《天猫精灵应用开发》课程主要包括天猫精灵芯片模组的调试方法，阿里云物联网飞燕平台的使用，RGB灯、温湿度传感器、蜂鸣器、光照传感器等硬件接入天猫精灵的应用开发，学生通过学习可以掌握如何将一个普通的传感器执行器模块接入天猫精灵生态。

每一门课程都提供了包括环境搭建、开发流程、原理讲解、基础应用的部分，并且课程不是相互独立的，它们之间有一定关联性和梯度。通过由浅入深、循序渐进的学习，学生能轻松理解人工智能自然语言相关理论，学会各种开发工具的使用，掌握应用开发的方法，获得人工智能的基本应用开发能力。

（1）《Python基础》实验目录