從最起初的一聲巨響，到梵音天籟，到耳旁的竊竊私語(yǔ)，到媽媽喊我回家吃飯，總離不開(kāi)聲音。聲音是這個(gè)世界存在并運(yùn)動(dòng)著的證據(jù)。
1.1大音希聲
假設(shè)我們已經(jīng)知道了聲音是什么。
我們可以找到很多描述聲音的詞語(yǔ)，如“抑揚(yáng)頓挫”、“余音繞梁”。當(dāng)我們?cè)谀X海中搜刮這類(lèi)詞語(yǔ)時(shí)，描述對(duì)象總繞不過(guò)這兩個(gè)：人的聲音和物的聲音。人的聲音，就是語(yǔ)音；物的聲音，多數(shù)想到的是音樂(lè)。這樣的選擇源于人的先驗(yàn)預(yù)期：語(yǔ)音和音樂(lè)才最可能有意義，有意義的才去關(guān)注。估計(jì)不會(huì)有人樂(lè)于用豐富的辭藻來(lái)描述毫無(wú)意義的聲音。所以，語(yǔ)音研究的意義在于語(yǔ)音本身所傳遞的意義是什么，以及語(yǔ)音為什么能夠傳遞意義。
聲音有很多，每時(shí)每刻每次振動(dòng)都能產(chǎn)生聲音，可是有意義的聲音實(shí)在不多。我們可以使用機(jī)器隨機(jī)生成一段聲音，心想著也許這段聲音可以產(chǎn)生一些文字內(nèi)涵。這個(gè)想法與很多年前就開(kāi)始忙不迭地敲打莎士比亞巨著的大猩猩沒(méi)有差別。不管重復(fù)多少次，這些隨機(jī)的聲音聽(tīng)起來(lái)都是雜音，沒(méi)意思。很顯然，在這樣一個(gè)龐大的聲音空間中，有意義的語(yǔ)音和音樂(lè)只是其中極微小的一點(diǎn)，這也是“大音希聲”的一種解釋吧。偏偏人類(lèi)就能毫不費(fèi)力找到那個(gè)點(diǎn)，并且能說(shuō)會(huì)道，這種搜索能力也是千百年來(lái)才積攢下來(lái)的。不過(guò)就算是這么一個(gè)小點(diǎn)，古往今來(lái)的文學(xué)和音樂(lè)經(jīng)典也并未占據(jù)多少地盤(pán)，這也使得語(yǔ)音語(yǔ)言的研究、文學(xué)音樂(lè)的創(chuàng)作有著廣闊的發(fā)揮空間。
從大音希聲中，我們可以得到以下一些啟示：語(yǔ)言是高度概括和規(guī)范化的產(chǎn)物，它的熵值（簡(jiǎn)單理解為系統(tǒng)的混亂程度）極低，所以語(yǔ)言本身反映了一種思維方式，比如不同語(yǔ)言對(duì)“過(guò)去時(shí)”、“現(xiàn)在時(shí)”、“將來(lái)時(shí)”的處理方式體現(xiàn)了對(duì)時(shí)間的不同感受，不同語(yǔ)言對(duì)主謂賓的排序體現(xiàn)了對(duì)空間層次的不同感知；還有，語(yǔ)音在聲音空間中是高度集中的，這使得我們?cè)诮馕鲆欢握Z(yǔ)音時(shí)不用搜索整個(gè)聲音空間，少了一些盲目性（不過(guò)語(yǔ)言本身的博大精深已讓人嘆為觀止了）。
聲音以波的形式傳播，即聲波（Sound Wave）。當(dāng)我們以波的視角來(lái)理解聲音時(shí)，卻又大繁若簡(jiǎn)起來(lái)：僅憑頻率（Frequency）、幅度（Magnitude）、相位（Phase）便構(gòu)成了波及其疊加的所有，聲音的不同音高（Pitch）、音量（Loudness）、音色（Timbre）也由這些基本“粒子”組合而來(lái)。圖1.1展示了幾種簡(jiǎn)單的波形，世上形形色色的聲波都可以“降解”到基本波身上，這也是傅里葉變換（Fourier Transform）的基本思想。不同的聲波有不同的頻率和幅度（決定音量），人耳也有自己的接受范圍。人耳對(duì)頻率的接受范圍大致為 20 Hz至20 kHz，于是以人為本地將更高頻率的聲波定義為超聲波（Ultrasound Wave）、更低頻率的聲波定義為次聲波（Infrasound Wave），雖然其他動(dòng)物可以聽(tīng)到不同范圍的聲音；人耳對(duì)音量的接受范圍已經(jīng)進(jìn)化得適應(yīng)了地球上的常規(guī)聲音，小到呼吸聲、飛蟲(chóng)聲， 大到飛機(jī)起飛、火箭發(fā)射的聲音（已經(jīng)不是地球默認(rèn)配置），再往上，人的身心就越來(lái)越承受不住了，為了衡量音量的大小，再一次以人為本地將人耳所能聽(tīng)到的1kHz純音的音量下限定義為0dB。
1.2產(chǎn)生語(yǔ)音
語(yǔ)言是人類(lèi)的標(biāo)志性能力，是一項(xiàng)發(fā)明，只不過(guò)這個(gè)發(fā)明是人類(lèi)群體在長(zhǎng)遠(yuǎn)的歷史當(dāng)中不斷打磨而成，趨近于穩(wěn)定而不得穩(wěn)定，因?yàn)樾碌娜撕托碌乃枷肟偸遣粩嘤楷F(xiàn)，語(yǔ)言隨之而進(jìn)化，根據(jù)社會(huì)的需要不斷做出改變，比如小到每年產(chǎn)生的新詞（對(duì)于漢語(yǔ)來(lái)說(shuō)，常用的字基本已經(jīng)固定不變，是所有詞句的基本單元，新加的詞也不過(guò)是對(duì)已有單字進(jìn)行組合，再賦予新的意義，這與利用字母組裝成新詞有所區(qū)別），大到一種語(yǔ)言的消亡和另一種語(yǔ)言的誕生（計(jì)算機(jī)語(yǔ)言也是一種情形）。當(dāng)語(yǔ)言通過(guò)聲音的形式表達(dá)出來(lái)，即為“語(yǔ)音”，是指由人類(lèi)發(fā)出的、承載特定語(yǔ)義的聲音，其中語(yǔ)義不僅可以借助文字本身來(lái)傳遞，也可以借助聲音的音高、音強(qiáng)、音長(zhǎng)、音色及其組合來(lái)表示不同的情感、態(tài)度等信息。
圖1.2展示了人體的發(fā)音器官及其對(duì)聲音的影響區(qū)域。簡(jiǎn)而言之，肺部產(chǎn)生氣流動(dòng)力，經(jīng)過(guò)氣管引起聲帶振動(dòng)形成聲源（通常稱(chēng)為激勵(lì)，圖中激勵(lì)區(qū)也叫聲源區(qū)），最后經(jīng)過(guò)聲道（咽腔、口腔、鼻腔等區(qū)域）調(diào)制后由口唇輻射出來(lái)，產(chǎn)生了我們所聽(tīng)到的語(yǔ)音。當(dāng)我們說(shuō)話(huà)、唱歌時(shí)，基本上所有的發(fā)聲器官都被調(diào)用了；當(dāng)我們哼著小曲時(shí)，口腔可以不動(dòng)，而只通過(guò)調(diào)動(dòng)鼻腔來(lái)調(diào)節(jié)音調(diào)；當(dāng)我們捂著口鼻時(shí)，氣流停止，沒(méi)了動(dòng)力，漸漸就發(fā)不出聲音了。
已知了人體發(fā)音器官的結(jié)構(gòu)圖，便可以仿生復(fù)制出語(yǔ)音發(fā)生器，然而僅僅只是功能上復(fù)制出這些發(fā)音器官以及將它們聯(lián)系在一起的神經(jīng)系統(tǒng)已是很難，而模擬產(chǎn)生讓各個(gè)器官能夠聯(lián)動(dòng)協(xié)作的神經(jīng)信號(hào)就更難了。
1.3看見(jiàn)語(yǔ)音
語(yǔ)音是用來(lái)聽(tīng)的，看不見(jiàn)，摸不著，但是我們可以看看語(yǔ)音的保存形式。自然存在的語(yǔ)音是連續(xù)的波動(dòng)，具有波的所有屬性。聲波可以保存成離散的數(shù)字，即模數(shù)轉(zhuǎn)換（Analog to Digital Conversion，ADC），所以，我們之后所研究的語(yǔ)音并不是聲音的最原始形態(tài)，甚至都不叫聲音，一串?dāng)?shù)字而已，但這些數(shù)字卻達(dá)到了它的目的：再現(xiàn)聲音，且原始聲音所要傳遞的信息不丟失。音樂(lè)可以做得更徹底，直接將聲音記錄在一紙沒(méi)有動(dòng)靜的樂(lè)譜上。除了聲音，光線(xiàn)也是自然存在的現(xiàn)象，同樣地，我們也可以將它數(shù)字化，保存成圖片或視頻。機(jī)器學(xué)習(xí)中注重表征學(xué)習(xí)（Representation Learning），不管是聲音還是光影，它們的數(shù)字化保存形式已經(jīng)是一種表征方法了。對(duì)文本的處理顯得直來(lái)直去一些，因?yàn)槲淖质侨祟?lèi)發(fā)明出來(lái)的，發(fā)明文字的目的就是為了保存和傳承，如音符一樣，它也是一種離散的可記錄、傳播的符號(hào)，它的形態(tài)就是它的保存形式，所以文字本身就是文本處理的原始表征方法。
語(yǔ)音的基本保存形式可用波形圖（Waveform）展現(xiàn)出來(lái)，如圖1.3所示，可以簡(jiǎn)單地看作是一串上下擺動(dòng)的數(shù)字序列，比如，每1秒的音頻可以用16000個(gè)電壓數(shù)值表示，即采樣率為16kHz。進(jìn)一步聚焦放大波形圖，可以清晰地看到每個(gè)采樣點(diǎn)，如圖1.4所示。真正的語(yǔ)音不需要額外的注解，但對(duì)于數(shù)字化的語(yǔ)音來(lái)說(shuō)，還需要額外的信息對(duì)文件格式進(jìn)行說(shuō)明，如信道、采樣率、精度、時(shí)長(zhǎng)等，并有文件大小=格式信息+信道數(shù)*采樣率*精度*時(shí)長(zhǎng)。可以用soxi查看文件信息，如圖1.5所示。
語(yǔ)音，是包含時(shí)序信息的序列，是時(shí)域上的一維信號(hào)。離散傅里葉變換（Discrete Fourier Transform，DFT）使得語(yǔ)音的頻域分析成為可能，圖 1.3的語(yǔ)音可以變成圖1.6的頻譜圖（Spectrogram）模樣，圖中可以清楚地看到“層巒疊嶂”，原始音頻里的信息又以另一種表征方法釋放出來(lái)了，顏色明暗表示頻帶能量大小，較亮的條紋即是共振峰（Formant）。整個(gè)過(guò)程就好比一雙好耳朵聽(tīng)到了一首隨時(shí)間流動(dòng)的曲子，隨即寫(xiě)出了它的譜子，看著譜，曲子又隨即可以復(fù)現(xiàn)出來(lái)。傅里葉變換適宜具有平穩(wěn)性（Stationarity）的波，而表意豐富的語(yǔ)音顯然不具有長(zhǎng)時(shí)平穩(wěn)性，為了適用傅里葉變換，則需要假設(shè)語(yǔ)音的短時(shí)平穩(wěn)性，所以語(yǔ)音的傅里葉變換是一小段一小段（一幀）進(jìn)行的，而“短時(shí)”有多短也有不同影響，較短的窗口有較高的時(shí)域分辨率、較低的頻域分辨率，較長(zhǎng)的窗口有較高的頻域分辨率、較低的時(shí)域分辨率，語(yǔ)音識(shí)別中常取25毫秒。時(shí)域與頻域之間是一一對(duì)應(yīng)的，可以代表彼此。從一種表征到另一種表征，包含的意義都在，只是有些藏得深，挖掘不到，有些露得淺，一目了然，后者才更利于機(jī)器學(xué)習(xí)，所以機(jī)器學(xué)習(xí)領(lǐng)域常常撇不開(kāi)表征學(xué)習(xí)，而深度學(xué)習(xí)的優(yōu)勢(shì)就在于表征學(xué)習(xí)。
1.4小結(jié)
研究一個(gè)事物之前，先去觀察它、了解它，看它的來(lái)歷，看它的形態(tài)、結(jié)構(gòu)。語(yǔ)音識(shí)別的研究對(duì)象就是“語(yǔ)音”，本章簡(jiǎn)介了語(yǔ)音的物理產(chǎn)生原理及其大繁若簡(jiǎn)的呈現(xiàn)形式。
文章來(lái)源：清語(yǔ)賦
