雷锋网(搜索“雷锋网”公众号关注)按：本文作者牛建伟，地平线语音算法工程师。硕士毕业于西北工业大学，曾任百度语音技术部资深工程师。主要工作方向是语音识别中声学模型的算法开发和优化，负责深度学习技术在声学模型上的应用和产品优化。参与了百度最早的深度学习系统研发，负责优化语音搜索、语音输入法等产品；后负责百度嵌入式语音开发，其负责的离线语音识别性能超越竞品。现任地平线机器人语音识别算法工程师，深度参与地平线“安徒生”智能家居平台的研发。

　　声学模型

　　语音技术在近年来开始改变我们的生活和工作方式。对于某些嵌入式设备来说，语音成为了人机交互的主要方式。出现这种趋势的原因，首先是计算能力的不断提升，通用GPU等高计算能力设备的发展，使得训练更复杂、更强大的声学模型（Acoustic Model, AM）变得可能，高性能的嵌入式处理器的出现，使语音识别的终端应用变得可能。

　　声学模型是人工智能领域的几大基本模型之一，基于深度学习的声学模型发展对于人工智能的拓展和交互方式的延伸都有着十分重要的意义。本期的大牛讲堂，我们邀请到地平线的语音算法工程师牛建伟为大家重磅科普何为声学模型。

　　自动语音识别

　　自动语音识别（Automatic Speech Recognition, ASR）作为一个研究领域已经发展了五十多年。这项技术的目标是将语音识别作为可以使得人与人、人与机器更顺畅交流的桥梁。然而，语音识别技术在过去并没有真正成为一种重要的人机交流形式，一部分原因是源于当时技术的落后，语音技术在大多数实际用户使用场景下还不大可用；另一部分原因是很多情况下使用键盘、鼠标这样的形式交流比语音更有效、更准确，约束更小。

　　语音技术在近年来开始改变我们的生活和工作方式。对于某些嵌入式设备来说，语音成为了人机交互的主要方式。出现这种趋势的原因：

　　首先是计算能力的不断提升，通用GPU等高计算能力设备的发展，使得训练更复杂、更强大的声学模型（Acoustic Model, AM）变得可能，高性能的嵌入式处理器的出现，使得语音识别的终端应用变得可能；

　　其次，借助近乎无处不在的互联网和不断发展的云计算，我们可以得到海量的语音数据资源，真实场景的数据使得语音识别系统变得更加鲁棒；

　　最后，移动设备、可穿戴设备、智能家居设备、车载信息娱乐系统正变得越来越流行，在这些设备上，语音交互变成了一个无法避免的交互方式。

　　语音识别基本组成

　　语音识别系统主要有四部分组成： 信号处理和特征提取、声学模型、语言模型（Language Model, LM）和解码器(Decoder)。

　　信号处理和特征提取部分以音频信号为输入，通过消除噪音、信道失真等对语音进行增强，将语音信号从时域转化到频域，并为后面的声学模型提取合适的特征。声学模型将声学和发音学的知识进行整合，以特征提取模块提取的特征为输入，生成声学模型得分。

　　语言模型估计通过重训练语料学习词之间的相互概率，来估计假设词序列的可能性，也即语言模型得分。如果了解领域或者任务相关的先验知识，语言模型得分通常可以估计得更准确。解码器对给定的特征向量序列和若干假设词序列计算声学模型得分和语言模型得分，将总体输出分数最高的词序列作为识别结果。

　　关于声学模型，主要有两个问题，分别是特征向量序列的可变长和音频信号的丰富变化性。可变长特征向量序列问题在学术上通常有动态时间规划（Dynamic Time Warping, DTW）和隐马尔科夫模型（Hidden Markov Model, HMM）方法来解决。

　　而音频信号的丰富变化性是由说话人的各种复杂特性或者说话风格与语速、环境噪声、信道干扰、方言差异等因素引起的。声学模型需要足够的鲁棒性来处理以上的情况。

　　在过去，主流的语音识别系统通常使用梅尔倒谱系数（Mel-Frequency Cepstral Coefficient, MFCC）或者线性感知预测（Perceptual Linear Prediction, PLP）作为特征，使用混合高斯模型-隐马尔科夫模型（GMM-HMM）作为声学模型。在近些年，区分性模型，比如深度神经网络（Deep Neural Network, DNN）在对声学特征建模上表现出更好的效果。基于深度神经网络的声学模型，比如上下文相关的深度神经网络-隐马尔科夫模型（CD-DNN-HMM）在语音识别领域已经大幅度超越了过去的GMM-HMM模型。

　　我们首先介绍传统的GMM-HMM声学模型，然后介绍基于深度神经网络的声学模型。

　　传统声学模型（GMM-HMM）

　　HMM模型对时序信息进行建模，在给定HMM的一个状态后，GMM对属于该状态的语音特征向量的概率分布进行建模。

　　1.混合高斯模型

　　如果一个连续随机变量服从混合高斯分布，则它的概率密度函数为：