作者 | 小隱 來源 | 淘氣麵包
網上找到一些例子，有一些成熟的模型，可以將語音轉成文字。例如Cloud Speech API，但是需要你使用google雲平臺的前提。
speech recognition
對於python這一非常成熟的膠水語言，在網上找一些現成的工具包真的不是一個太難的問題。在GitHub上就發現了這樣一個神奇的包：speech recognition
它可以支持實時翻譯，當然前提是需要在機器上安裝有關麥克風的依賴包；還可以支持將語音文件中的文字直接提取出來。通過speech recognition可以調用多種平臺上的模型，比如google API，CMU sphinx，Microsoft Bing Speech，IBM Speech to Text，Wit.ai 等
離線轉換
對於國內的網絡環境，無法用google API來將語音數據轉換成文本文件，因為在調用這個包的時候，需要連接到google。當然，你可以租用一個國外的VPS來做這件事情。
這裡講一下如何在不聯網的情況下，依然可以通過python來將語音文件轉換成文字。這裡用到的包為sphinx，sphinx是由美國卡內基梅隆大學開發的大詞彙量、非特定人、連續英語語音識別系統。
安裝 sphinx
我本人所用的環境為ubuntu。
imyin@develop:~/Downloads/phinx$ lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 16.04.3 LTSRelease: 16.04Codename: xenial
在安裝sphinx之前需要安裝一些軟體包
sudo apt-get install gcc automake autoconf libtool bison swig python-dev libpulse-dev
之後可以在相關網站上下載sphinxbase安裝包，當然也可以直接clone github上的包
下載完之後進行解壓
tar zxpf sphinxbase-5prealpha.tar.gz
修改文件名
mv sphinxbase-5prealpha sphinxbasels sphinxbaseAUTHORS doc indent.sh Makefile.am README.md src win32autogen.sh .git LICENSE NEWS sphinxbase.pc.in swigconfigure.ac include m4 README sphinxbase.sln test
現在我們應該運行
autogen.sh
來生成
Makefiles
和其他一些腳本以備後續的編譯和安裝。
./autogen.sh
下面開始源碼安裝
make && sudo make install
執行完以上命令之後，如果沒有出現什麼報錯信息，就說明已經安裝成功了，但是此時你的命令並不可以生效，在運行命令時會出現這樣的錯誤。
imyin@develop:~/Downloads/phinx/sphinxbase$ sphinx_lm_convert sphinx_lm_convert: error while loading shared libraries: libsphinxbase.so.3: cannot open shared object file: No such file or directory
還需要讓系統加載目錄
/usr/local/lib
，為了讓系統每次啟動時都可以自動加載，可以修改系統配置文件
ld.so.conf
sudo echo "/usr/local/lib" >> /etc/ld.so.confsudo ldconfig
這時候，就可以通過
sphinx_lm_convert
命令將模型DMP文件轉成bin文件
sphinx_lm_convert -i zh_broadcastnews_64000_utf8.DMP -o zh_CN.lm.bin
上面這行代碼是將中文的模型DMP文件轉成了bin文件。在安裝完sphinx後默認只支持英文，在存放模型的路徑下只有一個文件名為
en-US
，所以這裡需要添加一個處理中文的模型，相關文件可以在這個網址中下載。
在python中使用sphinx
想要在python中使用sphinx的話，需要安裝一些依賴包。
pip install pydub -U # 負責將MP3文件轉換為 wav 文件pip install SpeechRecognition -U # 負責將語音轉換成文字sudo apt -qq install build-essential swig libpulse-dev # 為後面安裝 pocketsphinx 做準備pip install -U pocketsphinx # 為使用 sphinx sudo apt-get install libav-tools # 為解決在調用 pydub 時出現的 warning ：RuntimeWarning: Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work warn("Couldn't find ffmpeg or avconv - defaulting to ffmpeg, but may not work", RuntimeWarning)
這時候，就可以啟動ipython來試試效果了。
file_path = '/home/imyin/Downloads/phinx/test_data'r = sr.Recognizer()hello_zh = sr.AudioFile(os.path.join(file_path, 'test.wav'))with hello_zh as source: audio = r.record(source)r.recognize_sphinx(audio, language='zh_CN')'今天 天氣 很'
可以看出，這個語音識別器已經生效了。但是我說的是「今天天氣好熱啊」。
看來sphinx中的模型並非很準吶，而且這只是一個短句子。我們接下來看看長句子的效果，我錄了村上春樹的《當我談跑步時我談些什麼》中的一段內容。
那一年的七月裡，我去了一趟希臘，要獨自從雅典跑到馬拉松，將那條原始的馬拉松路線——馬拉松至雅典——逆向跑上一趟。為什麼要逆向跑呢?因為清晨便從雅典市中心出發，在道路開始擁堵、空氣被汙染之前跑出市區，一路直奔馬拉松的話，道路的交通量遠遠少得多，跑起來比較舒適。這不是正式的比賽，自己一個人隨意去跑，當然不能指望有什麼交通管制。hello_zh = sr.AudioFile(os.path.join(file_path, 'test2.wav'))with hello_zh as source: audio = r.record(source)r.recognize_sphinx(audio, language='zh_CN')'南 音 揚 的 只有 領 過 球 的 立場 是 希望 讓 豬只 處理 垃圾 土木工程 上 打球 運動 充滿 溫情 能 成功 嗎 而 中止 了 對 印尼 商報 稱 他 不是 沒有 立場 談 那 一 枚 其中 春天 從 雅典 市中心 出發 寸 廠 都 可 成功 突破 尋求 對 於 能 提升 統籌 署 取締 一路 直奔 馬拉松 和 阿 惹 山 活動 等 二十 個 隊 中 重申 這 不是 正常 的 比賽 自己 一個人 卻 一直到 當然 不能 說明 什麼 這種 共識'
呃，看到結果，我覺得可以用一個來形容：差勁。兩個字來形容：太差勁！
當然，這個模型只是我直接從網上下載下來的。訓練它時所用到的語料不會那麼齊全，所以在測試時難免會出現不準確的情況。要想讓模型更加準確，需要自己在利用sphnix繼續訓練模型。
相關辦法在其官網上可以找到，也有相應的教程。感興趣的朋友可以自行研究。
Q: Why my accuracy is poorSpeech recognition accuracy is not always great. To test speech recognition you need to run recognition on prerecorded reference database to see what happens and optimize parameters.You do not need to play with unknown values, the first thing you should do is to collect a database of test samples and measure the recognition accuracy. You need to dump speech utterances into wav files, write the reference text file and use decoder to decode it. Then calculate WER using the word_align.pl tool from Sphinxtrain. Test database size depends on the accuracy but usually it’s enough to have 10 minutes of transcribed audio to test recognizer accuracy reliably. The process is described in tutorialtuning.
Google API
利用google API來處理語音識別則相當準確，不過需要連接google，以下是我在VPS中執行的一段代碼，可以看出，它將我的錄音精準地翻譯成了文字。
但是如果錄音文件較大的話，會運行時間很長，並且會返回一個超時的錯誤，這很是讓我苦惱。
不過幸運的是，speech_recognition支持將語音文件進行截取處理。例如，我可以只處理語音文件中的前15秒鐘的內容。
with test as source: audio = r.record(source, duration=15)r.recognize_google(audio, language='zh-CN')'那一年的7月裡我去了一趟希臘有獨自從雅典跑到馬拉松江哪條原始的馬拉松路線馬拉松直雅典一想跑上一趟'
從上面的結果看，簡直比sphnix處理的效果好太多了。
通過看幫助文檔發現speech_recognition不僅可以截取前面的錄音，還可以截取中間的。
In [18]: r.record?Signature: r.record(source, duration=None, offset=None)Docstring:Records up to ``duration`` seconds of audio from ``source`` (an ``AudioSource`` instance) starting at ``offset`` (or at the beginning if not specified) into an ``AudioData`` instance, which it returns.If ``duration`` is not specified, then it will record until there is no more audio input.
例如我想處理5秒至20秒之間的內容。
with test as source: audio = r.record(source, offset=5, duration=15)r.recognize_google(audio, language='zh-CN')'要獨自從雅典跑到馬拉松江哪條原始的馬拉松路線馬拉松直雅典一項跑上一趟為什麼要一想到呢因為星辰變從雅典市中心出發'
今天就講到這裡。世界真奇妙，更多精彩，自己繼續去發現吧！