一個完整的基于統計的語音識別系統可大致分為三部分：

(1)語音信號預處理與特征提??；

(2)聲學模型與模式匹配；

(3)語言模型與語言處理 選擇識別單元是語音識別研究的第一步。語音識別單元有單詞（句）、音節和音素三種，具體選擇哪一種，由具體的研究任務決定。

單詞（句）單元廣泛應用于中小詞匯語音識別系統，但不適合大詞匯系統，原因在于模型庫太龐大，訓練模型任務繁重，模型匹配算法復雜，難以滿足實時性要求。

音節單元多見于漢語語音識別，主要因為漢語是單音節結構的語言，而英語是多音節，并且漢語雖然有大約1300個音節，但若不考慮聲調，約有408個無調音節，數量相對較少。因此，對于中、大詞匯量漢語語音識別系統來說，以音節為識別單元基本是可行的。

音素單元以前多見于英語語音識別的研究中，但目前中、大詞匯量漢語語音識別系統也在越來越多地采用。原因在于漢語音節僅由聲母（包括零聲母有22個）和韻母（共有28個）構成，且聲韻母聲學特性相差很大。實際應用中常把聲母依后續韻母的不同而構成細化聲母，這樣雖然增加了模型數目，但提高了易混淆音節的區分能力。由于協同發音的影響，音素單元不穩定，所以如何獲得穩定的音素單元，還有待研究。

語音識別一個根本的問題是合理的選用特征。特征參數提取的目的是對語音信號進行分析處理，去掉與語音識別無關的冗余信息，獲得影響語音識別的重要信息，同時對語音信號進行壓縮。在實際應用中，語音信號的壓縮率介于10-100之間。語音信號包含了大量各種不同的信息，提取哪些信息，用哪種方式提取，需要綜合考慮各方面的因素，如成本，性能，響應時間，計算量等。非特定人語音識別系統一般側重提取反映語義的特征參數，盡量去除說話人的個人信息；而特定人語音識別系統則希望在提取反映語義的特征參數的同時，盡量也包含說話人的個人信息。 

線性預測（LP）分析技術是目前應用廣泛的特征參數提取技術，許多成功的應用系統都采用基于LP技術提取的倒譜參數。但線性預測模型是純數學模型，沒有考慮人類聽覺系統對語音的處理特點。

也有研究者嘗試把小波分析技術應用于特征提取，但目前性能難以與上述技術相比，有待進一步研究。 聲學模型通常是將獲取的語音特征使用訓練算法進行訓練后產生。在識別時將輸入的語音特征同聲學模型（模式）進行匹配與比較，得到最佳的識別結果。

聲學模型是識別系統的底層模型，并且是語音識別系統中最關鍵的一部分。聲學模型的目的是提供一種有效的方法計算語音的特征矢量序列和每個發音模板之間的距離。聲學模型的設計和語言發音特點密切相關。聲學模型單元大?。ㄗ职l音模型、半音節模型或音素模型）對語音訓練數據量大小、系統識別率，以及靈活性有較大的影響。必須根據不同語言的特點、識別系統詞匯量的大小決定識別單元的大小。

以漢語為例：

漢語按音素的發音特征分類分為輔音、單元音、復元音、復鼻尾音四種，按音節結構分類為聲母和韻母。并且由音素構成聲母或韻母。有時，將含有聲調的韻母稱為調母。由單個調母或由聲母與調母拼音成為音節。漢語的一個音節就是漢語一個字的音，即音節字。由音節字構成詞，最后再由詞構成句子。

漢語聲母共有22個，其中包括零聲母，韻母共有38個。按音素分類，漢語輔音共有22個，單元音13個，復元音13個，復鼻尾音16個。

目前常用的聲學模型基元為聲韻母、音節或詞，根據實現目的不同來選取不同的基元。漢語加上語氣詞共有412個音節，包括輕音字，共有1282個有調音節字，所以當在小詞匯表孤立詞語音識別時常選用詞作為基元，在大詞匯表語音識別時常采用音節或聲韻母建模，而在連續語音識別時，由于協同發音的影響，常采用聲韻母建模。

基于統計的語音識別模型常用的就是HMM模型λ(N,M,π,A,B)，涉及到HMM模型的相關理論包括模型的結構選取、模型的初始化、模型參數的重估以及相應的識別算法等。 語言模型包括由識別語音命令構成的語法網絡或由統計方法構成的語言模型，語言處理可以進行語法、語義分析。

語言模型對中、大詞匯量的語音識別系統特別重要。當分類發生錯誤時可以根據語言學模型、語法結構、語義學進行判斷糾正，特別是一些同音字則必須通過上下文結構才能確定詞義。語言學理論包括語義結構、語法規則、語言的數學描述模型等有關方面。目前比較成功的語言模型通常是采用統計語法的語言模型與基于規則語法結構命令語言模型。語法結構可以限定不同詞之間的相互連接關系，減少了識別系統的搜索空間，這有利于提高系統的識別。