一、 研究進(jìn)展情況

1、課題開(kāi)題與子課題進(jìn)展情況

① 研究計(jì)劃總體執(zhí)行情況及各子課題進(jìn)展情況（如下圖）

該研究的目標(biāo)是針對(duì)中國(guó)方言區(qū)英語(yǔ)學(xué)習(xí)者的發(fā)音特點(diǎn)和偏誤類型，開(kāi)展一系列的跨學(xué)科研究，提出可以用于計(jì)算機(jī)口語(yǔ)評(píng)測(cè)與課堂學(xué)習(xí)的矯正方法，以針對(duì)不同方言區(qū)英語(yǔ)學(xué)習(xí)者進(jìn)行發(fā)音評(píng)測(cè)和制定個(gè)性化的學(xué)習(xí)方案，同時(shí)為方言區(qū)英語(yǔ)口語(yǔ)能力評(píng)測(cè)提供科學(xué)的依據(jù)。根據(jù)上圖的研究路線，本課題研究凝練出3個(gè)關(guān)鍵性研究問(wèn)題，設(shè)置了四個(gè)子課題（如下圖）。目前，四個(gè)子課題均按照進(jìn)度執(zhí)行。

子課題1：中國(guó)方言區(qū)英語(yǔ)學(xué)習(xí)者大規(guī)模語(yǔ)音庫(kù)與標(biāo)注系統(tǒng)構(gòu)建（負(fù)責(zé)人：賈媛）

完成了語(yǔ)音總體方案設(shè)計(jì)，完成了東北（200人）、山東（200人）、寧波（50人）、廈門(mén)（50人）和長(zhǎng)沙（50人）等方言區(qū)的語(yǔ)音錄制，共550人，錄制了每人約10個(gè)小時(shí)，合計(jì)約5000小時(shí)的語(yǔ)音。完成任務(wù)過(guò)半。

1.1 語(yǔ)音庫(kù)與標(biāo)注系統(tǒng)總體方案制訂

中國(guó)社會(huì)科學(xué)院語(yǔ)言所負(fù)責(zé)完成了語(yǔ)音庫(kù)總體方案制訂，包括方言區(qū)分布確認(rèn)、英語(yǔ)語(yǔ)音庫(kù)的發(fā)音文本設(shè)計(jì)、語(yǔ)音庫(kù)錄音和標(biāo)注規(guī)范的制訂。

1.1.1 方言區(qū)分布（如下圖）

1.1.2 語(yǔ)料庫(kù)發(fā)音文本設(shè)計(jì)

英語(yǔ)語(yǔ)料包括英語(yǔ)單詞、詞組、短語(yǔ)、句子和語(yǔ)篇（如下圖）。為了便于開(kāi)展英漢對(duì)比研究，我們同時(shí)還采集了漢語(yǔ)的語(yǔ)料，包括普通話和方言的單字調(diào)、兩字組、三字組、句子和語(yǔ)篇。

1.1.3 錄音平臺(tái)（如下左圖）和錄音數(shù)據(jù)自動(dòng)切分

錄音時(shí)，發(fā)音人配戴耳麥（如下右圖），坐在電腦屏幕前，朗讀顯示在電腦屏幕上的單詞、句子或篇章，錄音由英語(yǔ)專業(yè)的研究生操作，錄制完成需進(jìn)行聽(tīng)音檢查。

對(duì)所有錄音提供自動(dòng)音段切分程序

1.1.4 完成方言區(qū)英語(yǔ)語(yǔ)音標(biāo)注系統(tǒng)構(gòu)建

音段標(biāo)注：在對(duì)聲音文件進(jìn)行標(biāo)注時(shí)，在音段標(biāo)注上，首先采用自動(dòng)切分軟件，對(duì)英語(yǔ)單詞、句子和篇章進(jìn)行自動(dòng)切分，不僅切分單詞邊界，也切分音素邊界。標(biāo)注符號(hào)采用ARPABET符號(hào)集。對(duì)于方言普通話的切分，首先采用自動(dòng)切分程序，對(duì)詞邊界和聲韻邊界進(jìn)行自動(dòng)切分，然后用手工對(duì)邊界進(jìn)行校準(zhǔn)和修改。方言的切分主要依靠手工，符號(hào)集采用SAMPA。

超音段標(biāo)注：對(duì)英語(yǔ)發(fā)音的超音段特征的標(biāo)注，選用IViE語(yǔ)調(diào)標(biāo)注系統(tǒng)和ToBI語(yǔ)調(diào)標(biāo)注系統(tǒng)相結(jié)合的系統(tǒng)。IViE系統(tǒng)是由ToBI發(fā)展而來(lái)的，但又有所區(qū)別，兩個(gè)系統(tǒng)的結(jié)合方式，主要是將ToBI中的間斷指數(shù)層加入IViE標(biāo)注系統(tǒng)中，標(biāo)注層級(jí)包括：

（1）正則層(orthographic tier)：將說(shuō)話人所說(shuō)的正確詞語(yǔ)標(biāo)記下來(lái)；

（2）音素層(phoneme tier)：對(duì)所有元音和輔音邊界進(jìn)行標(biāo)注；

（3）間斷指數(shù)層(break index tier)：對(duì)語(yǔ)調(diào)短語(yǔ)、中間短語(yǔ)和詞邊界進(jìn)行標(biāo)注，其中4、3、1分別代表前面3種韻律邊界；

（4）突顯層(prominence tier)：標(biāo)記突顯音節(jié)，突顯的音節(jié)用“P”表示，并標(biāo)記在重讀元音的中間位置；

（5）目標(biāo)層(target tier)，即語(yǔ)音層(phonetic tier)：對(duì)語(yǔ)調(diào)的變化進(jìn)行語(yǔ)音上的描寫(xiě)。

1.1.5 錄音和標(biāo)注培訓(xùn)

社科院負(fù)責(zé)對(duì)各個(gè)課題組進(jìn)行錄音和標(biāo)注培訓(xùn)，系統(tǒng)講解實(shí)驗(yàn)語(yǔ)音學(xué)的基本理論知識(shí)和標(biāo)注分析方法。標(biāo)注人員經(jīng)過(guò)反復(fù)練習(xí)，經(jīng)過(guò)一致性測(cè)試后方可進(jìn)行標(biāo)注，以保證錄音和標(biāo)注的質(zhì)量。

1.2 東北方言區(qū)數(shù)據(jù)收集和標(biāo)注

東北方言區(qū)課題組負(fù)責(zé)東北方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)的建立和研究。選取了東北具有代表性的四個(gè)城市—長(zhǎng)春、哈爾濱、沈陽(yáng)、大連—收集錄音語(yǔ)料，每個(gè)城市選取發(fā)音人50名，男女各半，四個(gè)城市共200人。每個(gè)城市的50人中，有20人每人發(fā)音時(shí)長(zhǎng)約為15個(gè)小時(shí)，其余30人每人發(fā)音時(shí)長(zhǎng)約為5個(gè)小時(shí)。發(fā)音人是來(lái)自上述四個(gè)城市的吉林大學(xué)本科生和研究生。

完成了所有錄音的音段切分工作，并開(kāi)展了大規(guī)模的標(biāo)注，在標(biāo)注基礎(chǔ)上開(kāi)展了語(yǔ)音偏誤特征分析。

1.3 山東方言區(qū)數(shù)據(jù)收集和標(biāo)注

山東課題組自立項(xiàng)以來(lái)，收集并建立了200人的山東方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)。建庫(kù)采納了山東方言研究者錢(qián)曾怡（1985，2001）對(duì)山東方言區(qū)的劃分，即東區(qū)與西區(qū)，東西區(qū)又各下分兩個(gè)片，即東萊片和東濰片，西齊片和西魯片。我們從這四個(gè)片的代表縣市尋找發(fā)音人，盡量按男女人數(shù)相等的原則遴選發(fā)音人。發(fā)音人皆為某高校的在校大學(xué)生和研究生。錄音歷時(shí)一年半的時(shí)間，現(xiàn)已全部完成。每片男女各25人，共采集200名發(fā)音人的錄音資料，每人錄音時(shí)長(zhǎng)達(dá)10小時(shí)。

完成了錄制的語(yǔ)音數(shù)據(jù)的音段切分，開(kāi)展了大規(guī)模的音段標(biāo)注標(biāo)注，在標(biāo)注基礎(chǔ)上開(kāi)展了語(yǔ)音偏誤特征分析。

1.4 寧波方言數(shù)據(jù)收集和標(biāo)注

寧波方言研究收集了50名被試（男女各25人）、人均錄音時(shí)長(zhǎng)在8-12小時(shí)之間的英、漢口語(yǔ)語(yǔ)料（漢語(yǔ)又分普通話和寧波話）。提取語(yǔ)料的文本涵蓋了詞、句和短文，形式以朗讀和看圖會(huì)話為主。為了盡可能地排除干擾因素，被試來(lái)源地域主要被限制在寧波老城區(qū)，以規(guī)避李榮在《寧波方言詞典》（1997）中所定義的語(yǔ)音變體帶來(lái)的差異；受試對(duì)象基本來(lái)自在校大學(xué)生和研究生，群體年齡控制在19-28周歲之間，弱化新、老寧波話的差別；選取的發(fā)音人多具有10年以上的英語(yǔ)學(xué)習(xí)經(jīng)歷，語(yǔ)言水平中上。漢語(yǔ)普通話相當(dāng)于3級(jí)甲等，在日常生活中可自如完成普通話和寧波話之間的語(yǔ)碼轉(zhuǎn)換，父母為寧波本地居民或長(zhǎng)期生活在寧波地區(qū)的方言使用者。

完成了錄制的語(yǔ)音數(shù)據(jù)的音段切分，開(kāi)展了大規(guī)模的音段標(biāo)注標(biāo)注，在標(biāo)注基礎(chǔ)上開(kāi)展了語(yǔ)音偏誤特征分析。

1.5 長(zhǎng)沙方言數(shù)據(jù)收集和標(biāo)注

長(zhǎng)沙方言研究收集了50名被試（男女各25人）、人均錄音時(shí)長(zhǎng)在8-12小時(shí)之間的英、漢口語(yǔ)語(yǔ)料（漢語(yǔ)又分普通話和長(zhǎng)沙話）。提取語(yǔ)料的文本涵蓋了詞、句和短文，形式包括朗讀、看圖會(huì)話和即興演講。為了盡可能地排除年齡、地域因素造成的干擾，被試基本上是來(lái)自長(zhǎng)沙市區(qū)的來(lái)自在校大學(xué)生和研究生，群體年齡控制在19-28周歲之間，以規(guī)避《長(zhǎng)沙方言詞典》（1998）中所定義的語(yǔ)音變體帶來(lái)的差異；選取的發(fā)音人多具有10年以上的英語(yǔ)學(xué)習(xí)經(jīng)歷，語(yǔ)言水平中上。漢語(yǔ)普通話相當(dāng)于3級(jí)甲等，在日常生活中可自如完成普通話和長(zhǎng)沙話之間的語(yǔ)碼轉(zhuǎn)換，父母為長(zhǎng)沙本地居民或長(zhǎng)期生活在長(zhǎng)沙地區(qū)的方言使用者。

目前已完成了10人語(yǔ)音數(shù)據(jù)的音段切分工作，并對(duì)已切分音段進(jìn)行音段標(biāo)注，在標(biāo)注基礎(chǔ)上開(kāi)展了英語(yǔ)單元音偏誤特征分析。

1.6 福州方言數(shù)據(jù)收集和標(biāo)注

構(gòu)建了福州方言區(qū)英語(yǔ)學(xué)習(xí)者英語(yǔ)、福州話及普通話語(yǔ)音數(shù)據(jù)庫(kù)。發(fā)音人為43名熟練使用福州方言的在校本科層次及碩士研究生層次的英語(yǔ)學(xué)習(xí)者。語(yǔ)料采集歷時(shí)一年時(shí)間，現(xiàn)已全部完成，每個(gè)發(fā)音人的錄音時(shí)長(zhǎng)超過(guò)10小時(shí)。語(yǔ)料除了各個(gè)子課題使用的通用語(yǔ)料之外，還錄制了福州方言。標(biāo)注方面，利用Praat軟件，綜合ToBI和IViE標(biāo)注系統(tǒng)的優(yōu)勢(shì)，根據(jù)需要對(duì)采錄的語(yǔ)音材料進(jìn)行了嘗試性的分級(jí)標(biāo)注，并對(duì)標(biāo)注的文件進(jìn)行了初步的數(shù)據(jù)處理，分析福州方言區(qū)英語(yǔ)學(xué)習(xí)者在音段層面與超音段層面的語(yǔ)音特征，對(duì)比總結(jié)其與本族語(yǔ)者語(yǔ)音系統(tǒng)的異同點(diǎn)，探究學(xué)習(xí)者英語(yǔ)語(yǔ)音習(xí)得偏誤及福州話對(duì)英語(yǔ)語(yǔ)音習(xí)得的遷移效應(yīng)。研究報(bào)告還在整理中。

1.7 英語(yǔ)母語(yǔ)者語(yǔ)音庫(kù)收集和標(biāo)注

社科院課題組收集了英國(guó)和美國(guó)英語(yǔ)母語(yǔ)發(fā)音人各10人的數(shù)據(jù)。完成了數(shù)據(jù)的自動(dòng)音段切分標(biāo)注和部分韻律標(biāo)注。

子課題2：中國(guó)方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音偏誤特征與自動(dòng)標(biāo)注系統(tǒng)構(gòu)建（負(fù)責(zé)人：胡方）

我國(guó)的英語(yǔ)教育十分重視詞匯、語(yǔ)法等語(yǔ)言形式，而對(duì)語(yǔ)音、語(yǔ)調(diào)的作用重視不夠，從而導(dǎo)致我國(guó)英語(yǔ)學(xué)習(xí)者發(fā)音不準(zhǔn)確，語(yǔ)調(diào)不連貫，難以用英語(yǔ)進(jìn)行口語(yǔ)交流。建立中國(guó)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)，依據(jù)聲學(xué)指征分析學(xué)生的英語(yǔ)發(fā)音，不僅可以彌補(bǔ)單純依靠聽(tīng)辨感知學(xué)習(xí)語(yǔ)音的不足，也為語(yǔ)音學(xué)、音系學(xué)及二語(yǔ)語(yǔ)音習(xí)得研究提供全新的研究視角，對(duì)二語(yǔ)習(xí)得研究、外語(yǔ)教學(xué)和計(jì)算機(jī)輔助教學(xué)系統(tǒng)具有重要的理論價(jià)值和實(shí)際意義。在方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)基礎(chǔ)上，課題組陸續(xù)開(kāi)展了語(yǔ)音偏誤分析，取得了一批階段性成果。

2.1 東北方言區(qū)課題組語(yǔ)音研究

對(duì)東北方言區(qū)英語(yǔ)學(xué)習(xí)者的語(yǔ)音偏誤特征進(jìn)行聲學(xué)研究，主要從音段和超音段兩個(gè)層面進(jìn)行。音段層面考察輔音和元音的發(fā)音偏誤。輔音我們用嗓聲起始時(shí)間(VOT)，強(qiáng)頻集中區(qū)等聲學(xué)參數(shù)考察。元音用第一、第二或者第三共振峰等參數(shù)考察。超音段層面主要考察學(xué)習(xí)者在短語(yǔ)和句子層面的發(fā)音特征，包括重音分布、停頓、語(yǔ)調(diào)短語(yǔ)切分和邊界調(diào)類型等。我們將東北方言區(qū)發(fā)音人的聲學(xué)參數(shù)與標(biāo)準(zhǔn)英語(yǔ)發(fā)音人的聲學(xué)參數(shù)進(jìn)行系統(tǒng)的對(duì)比分析，從而發(fā)現(xiàn)學(xué)習(xí)者聲學(xué)特征與標(biāo)準(zhǔn)英語(yǔ)發(fā)音人的聲學(xué)特征之間的差異，找出學(xué)習(xí)者的發(fā)音偏誤，進(jìn)而探討普通話以及東北方言的某些特殊音段特征如何影響學(xué)習(xí)者成功習(xí)得英語(yǔ)的元音和輔音，方言聲調(diào)系統(tǒng)以及普通話聲調(diào)系統(tǒng)如何影響學(xué)習(xí)者正確習(xí)得英語(yǔ)語(yǔ)調(diào)。

2.2 山東方言區(qū)語(yǔ)音研究

山東方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)是目前在全國(guó)單方言區(qū)建庫(kù)人數(shù)最多的，其研究的切入點(diǎn)也比較有規(guī)律性。在語(yǔ)音習(xí)得、聲調(diào)習(xí)得以及英漢語(yǔ)音對(duì)比方面都有涉及。我們也將研究的成果與其他方言區(qū)進(jìn)行交流，如和東北方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)互換研究成果，交流所開(kāi)展的研究工作，并就山東方言語(yǔ)音習(xí)得特點(diǎn)與東北方言區(qū)英語(yǔ)學(xué)習(xí)者習(xí)得特點(diǎn)進(jìn)行對(duì)比，以期發(fā)現(xiàn)異同。同時(shí)，我們還共享了目前各自庫(kù)中所有的本族語(yǔ)者語(yǔ)音資料。

目前我們已對(duì)山東方言兩區(qū)四片的英語(yǔ)學(xué)習(xí)者的四個(gè)前元音習(xí)得做了較為全面的研究，與美國(guó)本族語(yǔ)者的發(fā)音進(jìn)行了對(duì)比，初步總結(jié)出了山東方言英語(yǔ)學(xué)習(xí)者語(yǔ)音學(xué)習(xí)的規(guī)律和特點(diǎn)。研究采納了實(shí)驗(yàn)語(yǔ)音手段，得出的結(jié)果具有客觀性與可信性。

2.3 寧波方言區(qū)語(yǔ)音研究

分布在浙江寧波、舟山地區(qū)的寧波方言以其“石骨鐵硬”的發(fā)音風(fēng)格、個(gè)性化的語(yǔ)音特征和生動(dòng)形象地表達(dá)方式成為吳語(yǔ)太湖片區(qū)具有代表性的重要方言。對(duì)現(xiàn)行語(yǔ)言政策和語(yǔ)言生態(tài)環(huán)境下的方言區(qū)英語(yǔ)學(xué)習(xí)者而言，來(lái)自母語(yǔ)因素的影響更為復(fù)雜。近年來(lái)，隨著語(yǔ)言研究視角的擴(kuò)展和傳統(tǒng)語(yǔ)音教學(xué)困境的凸顯，對(duì)學(xué)習(xí)者獨(dú)特的語(yǔ)音系統(tǒng)和節(jié)奏韻律模式描述和解讀獲得了更多的關(guān)注。

初步研究成果顯示，寧波方言區(qū)英語(yǔ)學(xué)習(xí)者的語(yǔ)音產(chǎn)出從音段、韻律節(jié)奏到語(yǔ)調(diào)型層面與英語(yǔ)本族語(yǔ)使用者間存在系統(tǒng)的差異。中介語(yǔ)體現(xiàn)出的語(yǔ)音特征明顯受到學(xué)習(xí)者母語(yǔ)，特別是方言方音的遷移。語(yǔ)料庫(kù)技術(shù)和實(shí)驗(yàn)方法的介入不僅使語(yǔ)音教學(xué)和研究從對(duì)傳統(tǒng)“口耳之學(xué)”的感性經(jīng)驗(yàn)的依賴轉(zhuǎn)向基于大數(shù)據(jù)統(tǒng)計(jì)的理性分析成為可能，還可將研究得發(fā)現(xiàn)充分地融入教學(xué)實(shí)踐環(huán)節(jié)，借助參數(shù)的對(duì)比和試錯(cuò)，對(duì)語(yǔ)音偏誤加以有效的預(yù)判，突出教學(xué)重點(diǎn)，形成針對(duì)性的教學(xué)策略，服務(wù)于以提高溝通效能為核心的方言區(qū)的英語(yǔ)語(yǔ)音教學(xué)。

2.4 長(zhǎng)沙方言語(yǔ)音研究

長(zhǎng)沙方言是新湘語(yǔ)的代表方言，屬于長(zhǎng)益片長(zhǎng)株潭小片，主要使用于長(zhǎng)沙市區(qū)和長(zhǎng)沙縣。由于果攝字元音的高化演變，長(zhǎng)沙方言的元音系統(tǒng)屬于偏后型元音三角（貝先明，2008），其后元音與屬典型元音四角的美式英語(yǔ)具有更大的相似度，而前元音與美式英語(yǔ)具有更小的相似度，因此是元音偏誤較為理想的研究材料。

初步研究成果顯示，長(zhǎng)沙方言區(qū)英語(yǔ)學(xué)習(xí)者難以區(qū)分英語(yǔ)中的/i-?/、/?-u/等相似元音對(duì)，且與英語(yǔ)本族語(yǔ)者在個(gè)體元音發(fā)音上有較大差異（如下圖）。

長(zhǎng)沙被試在發(fā)英語(yǔ)/? u/時(shí)傾向于用母語(yǔ)中的/u/代替；同時(shí)，/i/ /?/ /?/在聲學(xué)空間的高低維度上與方言中的相似元音無(wú)明顯差異。研究結(jié)果對(duì)課堂英語(yǔ)教學(xué)有一定的指導(dǎo)意義：傳統(tǒng)的英語(yǔ)語(yǔ)音教學(xué)受對(duì)比語(yǔ)言分析理論影響，著重于母語(yǔ)和外語(yǔ)發(fā)音有差異的部分，但本研究結(jié)果為語(yǔ)音學(xué)習(xí)模型提供了實(shí)證支持，發(fā)現(xiàn)學(xué)習(xí)者產(chǎn)出與母語(yǔ)相似的英語(yǔ)元音時(shí)，會(huì)因范疇構(gòu)建過(guò)程的同化機(jī)制產(chǎn)生偏誤。因此，教學(xué)的側(cè)重點(diǎn)應(yīng)轉(zhuǎn)移到相似元音上，落實(shí)到長(zhǎng)沙地區(qū)英語(yǔ)語(yǔ)音教學(xué)中，則應(yīng)重點(diǎn)關(guān)注/i u ? ?/的發(fā)音。

2.5 方言區(qū)英語(yǔ)學(xué)習(xí)者韻律自動(dòng)標(biāo)注系統(tǒng)構(gòu)建研究

韻律標(biāo)注包括韻律邊界和音高事件（重音、邊界調(diào)等）的標(biāo)注。隨著語(yǔ)料庫(kù)規(guī)模的增大，人工標(biāo)注的工作量急劇增加，標(biāo)注成本較大。此外，韻律標(biāo)注具有一定的主觀性，保證不同標(biāo)注人員之間標(biāo)注結(jié)果的一致性較為困難。因此，采用計(jì)算機(jī)技術(shù)自動(dòng)而準(zhǔn)確地進(jìn)行語(yǔ)料的標(biāo)注是本課題的一個(gè)重要研究工作。

課題組針對(duì)韻律邊界的標(biāo)注，提出了基于隱馬爾科夫模型(Hidden Markov Model; HMM)聲學(xué)建模與狀態(tài)解碼的自動(dòng)韻律標(biāo)注方法。采用該方法用于韻律自動(dòng)標(biāo)注的優(yōu)勢(shì)包括：在基于聲學(xué)特征分布進(jìn)行韻律邊界標(biāo)注時(shí)可以充分考慮其他已知標(biāo)注信息對(duì)于分布參數(shù)的影響；通過(guò)整句解碼的方式確定韻律邊界標(biāo)注結(jié)果，考慮了句中不同位置處韻律邊界標(biāo)注間的相關(guān)性；使用與語(yǔ)音識(shí)別類似的算法框架，可以借鑒語(yǔ)音識(shí)別中較為成熟的模型訓(xùn)練與解碼算法。

在具體實(shí)現(xiàn)中：提出基于窮舉搜索的韻律短語(yǔ)邊界自動(dòng)標(biāo)注方法，分析了合成系統(tǒng)中不同特征與上下文信息對(duì)韻律標(biāo)注性能的影響，驗(yàn)證該方法的可行性；在此基礎(chǔ)上又提出了基于維特比搜索的韻律短語(yǔ)自動(dòng)標(biāo)注方法，在保證標(biāo)注結(jié)果準(zhǔn)確性的前提下，提高了標(biāo)注的效率；進(jìn)一步提出了結(jié)合n-gram先驗(yàn)分布的韻律短語(yǔ)自動(dòng)標(biāo)注方法，通過(guò)利用文本層面的先驗(yàn)知識(shí)，進(jìn)一步提高了韻律標(biāo)注的準(zhǔn)確性，在標(biāo)準(zhǔn)英語(yǔ)庫(kù)Boston University Radio News Corpus和Blizzard Challenge 2007英文語(yǔ)料庫(kù)上分布取得了79.6%和81%的標(biāo)注F-score。

課題組將利用方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)，對(duì)現(xiàn)在提出的韻律邊界分類模型進(jìn)行改進(jìn)。

子課題3：中國(guó)方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音與音系學(xué)習(xí)機(jī)制研究（負(fù)責(zé)人：宋大為）

課題組開(kāi)展了英語(yǔ)學(xué)習(xí)者的元音產(chǎn)出、發(fā)音和感知空間關(guān)系的研究。目前完成了數(shù)據(jù)收集和初步的分析。創(chuàng)新在于從三個(gè)空間維度，對(duì)英語(yǔ)學(xué)習(xí)者的語(yǔ)音發(fā)音生理、聲學(xué)、和感知數(shù)據(jù)進(jìn)行采集和分析，深入探索學(xué)習(xí)者的語(yǔ)音習(xí)得機(jī)制。本項(xiàng)目利用電磁發(fā)音儀釆集學(xué)習(xí)者的英語(yǔ)和母語(yǔ)的元音發(fā)音運(yùn)動(dòng)數(shù)據(jù)，以及英語(yǔ)本族語(yǔ)者的運(yùn)動(dòng)數(shù)據(jù)，用科學(xué)、直觀的方法對(duì)比和分析不同發(fā)音人的生理發(fā)音特點(diǎn)，科學(xué)構(gòu)建發(fā)音人在元音發(fā)音中的舌位運(yùn)動(dòng)空間。并同時(shí)結(jié)合感知實(shí)驗(yàn)的多模態(tài)研究方法，深入和全面地挖掘?qū)W習(xí)者的音位范疇習(xí)得特征。

3.1 L1 和L2的EMA英語(yǔ)數(shù)據(jù)采集

本項(xiàng)目利用電磁發(fā)音儀(Electromagnetic Articulography; EMA)釆集學(xué)習(xí)者的英語(yǔ)和母語(yǔ)的元音發(fā)音生理運(yùn)動(dòng)數(shù)據(jù)，以及英語(yǔ)本族語(yǔ)者的運(yùn)動(dòng)數(shù)據(jù)，用科學(xué)、直觀的方法對(duì)比和分析不同發(fā)音人的生理發(fā)音特點(diǎn)，科學(xué)構(gòu)建發(fā)音人在元音發(fā)音中的舌位運(yùn)動(dòng)空間。另外，基于聲學(xué)數(shù)據(jù)，即元音的共振峰F1、F2和F3數(shù)值，構(gòu)建聲學(xué)元音圖。通過(guò)對(duì)比中國(guó)學(xué)習(xí)者和英語(yǔ)本族語(yǔ)者的英語(yǔ)元音聲學(xué)特征、以及學(xué)習(xí)者的母語(yǔ)方言聲學(xué)特征，分析和歸納學(xué)習(xí)者的英語(yǔ)元音偏誤特點(diǎn)，探究英語(yǔ)產(chǎn)出和方言母語(yǔ)間的關(guān)聯(lián)性。

EMA的采集系統(tǒng)為德國(guó)引進(jìn)的Carsten AG500儀器，錄音采樣率為200赫茲。每次錄音共需用到9個(gè)傳感器（如下圖），其中6個(gè)傳感器分別要粘貼在每位發(fā)音人的舌根、舌體、舌尖、下齒齦、下唇和上唇位置；另外3個(gè)傳感器分別粘貼在發(fā)音人的鼻梁、左耳根和右耳根位置，作為對(duì)數(shù)據(jù)進(jìn)行頭部校準(zhǔn)處理的參考點(diǎn)，數(shù)據(jù)釆集時(shí)要求發(fā)音人語(yǔ)速較慢，發(fā)音清晰。

電磁發(fā)音儀可以讓人們更直觀地跟蹤發(fā)音時(shí)舌位的運(yùn)動(dòng)情況。通過(guò)構(gòu)建發(fā)音人的元音發(fā)音生理空間對(duì)比英美本族語(yǔ)者和學(xué)習(xí)者的舌頭運(yùn)動(dòng)情況（如下左圖）和舌頭位置（如下右圖）。

3.2 感知實(shí)驗(yàn)和數(shù)據(jù)處理

本部分研究將學(xué)習(xí)者的發(fā)音語(yǔ)料作為感知實(shí)驗(yàn)中的刺激音，并請(qǐng)25名英語(yǔ)母語(yǔ)者（包括英國(guó)人和美國(guó)人）參與對(duì)學(xué)習(xí)者的元音發(fā)音進(jìn)行了聽(tīng)辨實(shí)驗(yàn)和評(píng)分實(shí)驗(yàn)。感知實(shí)驗(yàn)研究用Eprime2.0軟件設(shè)計(jì)和完成。

感知實(shí)驗(yàn)1為聽(tīng)辨實(shí)驗(yàn)，要求英語(yǔ)母語(yǔ)者每聽(tīng)到一個(gè)刺激音后，從備選單詞中，選出所感知到的單詞。實(shí)驗(yàn)2為評(píng)分實(shí)驗(yàn)，要求英語(yǔ)母語(yǔ)者對(duì)聽(tīng)到的每個(gè)刺激音中的元音發(fā)音進(jìn)行評(píng)分。

3.3聲學(xué)錄音和數(shù)據(jù)處理

本部分研究通過(guò)中國(guó)社科院語(yǔ)言所語(yǔ)音室的專業(yè)錄音軟件以44.1 KHZ的采樣率，采集了發(fā)音人的英語(yǔ)發(fā)音語(yǔ)料，語(yǔ)料中涵蓋了英語(yǔ)中的18個(gè)單雙元音，包括11個(gè)單元音/?/，/?/，/ɑ/，/?/，/u/，/?/，/i/，/?/，/?/，/?/，/?:/和6個(gè)雙元音/a?/，/??/，/e?/，/a?/，/o?/，/ju/。每個(gè)元音都在一個(gè)真實(shí)的英語(yǔ)單音節(jié)單詞中，單詞大多都是以阻塞音或摩擦音作為首尾輔音。

通過(guò)Praat腳本（熊子瑜2016）自動(dòng)提取到每個(gè)單詞元音穩(wěn)定段上10個(gè)等分點(diǎn)的F1，F(xiàn)2和F3數(shù)據(jù)。接下來(lái)，我們將第3-8點(diǎn)上的F1，F(xiàn)2和F3值分別求均值，作為代表該元音音質(zhì)的共振峰數(shù)據(jù)，這樣在一定程度上可以去除音節(jié)首尾輔音對(duì)元音共振峰的影響。

子課題四：中國(guó)方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音學(xué)習(xí)策略與應(yīng)用平臺(tái)研究（負(fù)責(zé)人：顧曰國(guó)）

現(xiàn)代信息技術(shù)與課堂教學(xué)的整合是我國(guó)英語(yǔ)教育改革中的重要問(wèn)題，新的教學(xué)模式實(shí)現(xiàn)了（1）以學(xué)生為中心，使學(xué)習(xí)者有了更多自主學(xué)習(xí)和合作學(xué)習(xí)的機(jī)會(huì)；（2）教師利用計(jì)算機(jī)輔助交流平臺(tái)能更好地監(jiān)測(cè)學(xué)生的發(fā)展，獲取學(xué)生的反饋信息，增強(qiáng)課堂模式的互動(dòng)性；（3）移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，提高了資源的共享和推廣，使得在線學(xué)習(xí)成為未來(lái)發(fā)展趨勢(shì)。大城市學(xué)校的現(xiàn)代化語(yǔ)音教育手段可以帶動(dòng)偏遠(yuǎn)地區(qū)的課堂教學(xué)，縮小教學(xué)水平上的差距，實(shí)現(xiàn)教育公平化。信息交互平臺(tái)的多元化和現(xiàn)代化特征有利于推動(dòng)我國(guó)的外語(yǔ)教育的改革和發(fā)展。

研究創(chuàng)新處在于推動(dòng)現(xiàn)代化科技成果在教學(xué)應(yīng)用中的實(shí)踐，使科技創(chuàng)新更好地服務(wù)于社會(huì)需求具有重要的理論和現(xiàn)實(shí)意義。課堂將3D動(dòng)態(tài)發(fā)音可視化模型、自動(dòng)語(yǔ)音評(píng)測(cè)系統(tǒng)、訓(xùn)練語(yǔ)音感知和產(chǎn)出的APP軟件應(yīng)用于語(yǔ)音教學(xué)課堂中，促進(jìn)傳統(tǒng)課堂向多元化、多模態(tài)的發(fā)展。學(xué)習(xí)者在多模態(tài)的信息交流平臺(tái)和模擬語(yǔ)言情境中，學(xué)習(xí)、體驗(yàn)和實(shí)踐知識(shí)，豐富語(yǔ)音課堂的教學(xué)模式，調(diào)動(dòng)學(xué)生的積極性，克服傳統(tǒng)語(yǔ)音課堂中形式單一、內(nèi)容抽象、學(xué)生缺乏興趣的問(wèn)題。為未來(lái)更多現(xiàn)代信息技術(shù)與課堂教學(xué)的融合嘗試提供參考。在立項(xiàng)的1年多時(shí)間里，課題組完成了兩方面工作。

4.1 3D發(fā)音建模

本研究擬以我國(guó)各個(gè)方言區(qū)的大學(xué)英語(yǔ)學(xué)習(xí)者的語(yǔ)音特征為考察對(duì)象，利用電磁發(fā)音儀EMA(AG500)和核磁共振MRI的三維舌位空間數(shù)據(jù)，探討各個(gè)地區(qū)英語(yǔ)學(xué)習(xí)者的發(fā)音問(wèn)題，構(gòu)建我國(guó)首批面向英語(yǔ)學(xué)習(xí)者的三維發(fā)音生理模型，為二語(yǔ)學(xué)習(xí)者的發(fā)音問(wèn)題提供可視化信息反饋(visual feedback)，打破目前語(yǔ)音評(píng)測(cè)體系中只提供評(píng)分，而沒(méi)有反饋的局限性，進(jìn)而發(fā)展語(yǔ)音評(píng)測(cè)的有效性和可視化，也為開(kāi)發(fā)面向教育應(yīng)用的可視化語(yǔ)音訓(xùn)練系統(tǒng)和平臺(tái)提供有價(jià)值的參考。

目前完成了部分MRI數(shù)據(jù)和EMA數(shù)據(jù)的收集。使用電磁發(fā)音儀，在發(fā)音器官表面粘貼了傳感器（用于記錄發(fā)音過(guò)程中局部發(fā)音器官的位置信息），采集了同步的語(yǔ)音信號(hào)和傳感器的位置信息，用核磁共振設(shè)備采集了同一發(fā)音人的發(fā)音器官（舌、下顎、上顎等）的MRI形態(tài)數(shù)據(jù)。

在此基礎(chǔ)上，建立了一個(gè)虛擬現(xiàn)實(shí)系統(tǒng)，該系統(tǒng)能實(shí)時(shí)將輸入的語(yǔ)音信號(hào)轉(zhuǎn)換成高真實(shí)度的三維舌頭運(yùn)動(dòng)序列。利用深度神經(jīng)網(wǎng)絡(luò)建立從語(yǔ)音信號(hào)到傳感器位置的映射關(guān)系；用MRI形態(tài)數(shù)據(jù)，用有限元方法建立了一個(gè)舌的生理模型；將這兩個(gè)模型依次串聯(lián)起來(lái)，得到了發(fā)音過(guò)程中舌頭實(shí)時(shí)運(yùn)動(dòng)的虛擬現(xiàn)實(shí)系統(tǒng)。實(shí)驗(yàn)表明，該系統(tǒng)能夠依據(jù)輸入的語(yǔ)音信號(hào)生成高真實(shí)度的發(fā)音器官的運(yùn)動(dòng)序列。

4.2 “語(yǔ)音教學(xué)與測(cè)試平臺(tái)”建設(shè)

按照國(guó)家社科基金重大項(xiàng)目的研究計(jì)劃和進(jìn)度安排，第四子課題組于2016年初開(kāi)始啟動(dòng)“語(yǔ)音教學(xué)與測(cè)試平臺(tái)”建設(shè)的調(diào)研和研發(fā)工作。

經(jīng)過(guò)細(xì)致論證，該平臺(tái)將主要著眼于學(xué)習(xí)者語(yǔ)言聽(tīng)說(shuō)能力的訓(xùn)練和培養(yǎng)，以富文本形式向?qū)W習(xí)者全方位呈現(xiàn)字、詞、句、語(yǔ)篇等語(yǔ)音材料的標(biāo)注數(shù)據(jù)內(nèi)容，并具備語(yǔ)音播放、錄制和聲學(xué)參數(shù)動(dòng)態(tài)呈現(xiàn)等基礎(chǔ)功能，還將支持跟讀、混播、對(duì)比、評(píng)測(cè)等輔助學(xué)習(xí)功能。

目前該平臺(tái)已完成了前期的技術(shù)調(diào)研、方案設(shè)計(jì)和程序開(kāi)發(fā)等基礎(chǔ)工作，并初步實(shí)現(xiàn)了xReader系統(tǒng)，可用于語(yǔ)音訓(xùn)練和跟讀學(xué)習(xí)（操作界面如下圖）。

xReader可呈現(xiàn)的數(shù)據(jù)內(nèi)容：文本方面，以篇章材料為例，xReader目前可以呈現(xiàn)語(yǔ)句、短語(yǔ)、詞語(yǔ)、音標(biāo)等不同層級(jí)的標(biāo)注內(nèi)容及其翻譯信息，還可通過(guò)字號(hào)大小、字符顏色變化等手段來(lái)凸顯相應(yīng)的文字內(nèi)容，如語(yǔ)句重音、詞重音等；聲學(xué)參數(shù)方面，xReader目前可以動(dòng)態(tài)分析并呈現(xiàn)寬帶語(yǔ)圖、窄帶語(yǔ)圖、音高圖和波形圖等數(shù)據(jù)內(nèi)容。

為便于用戶的學(xué)習(xí)和跟讀，xReader提供了豐富的語(yǔ)音播放方式：

針對(duì)列表內(nèi)容主要有兩種播放方式：（1）順序播放，對(duì)列表中選定的內(nèi)容從上往下依次播放，用戶可自由設(shè)定中間的停頓時(shí)間；（2）隨機(jī)播放，對(duì)列表中選定的內(nèi)容按照隨機(jī)順序進(jìn)行播放，用戶可自由設(shè)定中間的停頓時(shí)間。

針對(duì)語(yǔ)句內(nèi)容，不僅可以播放全句內(nèi)容，也可以根據(jù)需要選定其中的某個(gè)短語(yǔ)或詞語(yǔ)進(jìn)行播放，還可以在波形圖或語(yǔ)圖上自由選定某個(gè)聲音片段進(jìn)行播放。

針對(duì)用戶錄音內(nèi)容主要有三種播放方式：（1）混合播放，混合播放語(yǔ)句的原始聲音和用戶聲音，以便于用戶對(duì)比；（2）僅播放原始聲音；（3）僅播放用戶聲音。另外，該程序還支持將原始聲音和用戶聲音拼接起來(lái)同屏顯示與播放。

xReader可支持錄音與采集：該工具支持學(xué)習(xí)者按句錄音，并可自動(dòng)保存用戶語(yǔ)音數(shù)據(jù)，從而實(shí)現(xiàn)學(xué)習(xí)者語(yǔ)音數(shù)據(jù)的動(dòng)態(tài)集采功能。

2、調(diào)查研究及學(xué)術(shù)交流情況

為了對(duì)獲取的語(yǔ)料進(jìn)行標(biāo)注以便開(kāi)展深入的分析，社科院專家和學(xué)者到各個(gè)子課題組交流訪問(wèn)，介紹語(yǔ)料標(biāo)注和分析技術(shù)，并多次組織人員參加社科院主辦的學(xué)術(shù)交流和專題研修活動(dòng)，啟動(dòng)聯(lián)合指導(dǎo)模式，定期派出學(xué)生到社科院訪學(xué)，參與課題研究。課題組成員先后參與相關(guān)國(guó)內(nèi)學(xué)術(shù)會(huì)議、專題研討和研修活動(dòng)共32次，成功申報(bào)科研項(xiàng)目共7項(xiàng)，教研課題共1項(xiàng)，指導(dǎo)學(xué)生成功申報(bào)相關(guān)課題共3項(xiàng)（均已結(jié)題）。

課題組成員在期刊、國(guó)際和國(guó)內(nèi)重要會(huì)議上、論壇和沙龍發(fā)表研究成果32篇，其中英文12篇，EI檢索8篇，CSSCI檢索2篇，指導(dǎo)與本課題相關(guān)碩士畢業(yè)論文共12篇，共1篇獲得優(yōu)秀論文獎(jiǎng)。

3、學(xué)術(shù)會(huì)議與學(xué)術(shù)交流活動(dòng)

課題組參加學(xué)術(shù)交流列表：

2016年6月，胡方，Speech Prosody 2016。

2016年7月，聞欣怡、賈媛，第十二屆全國(guó)語(yǔ)音學(xué)學(xué)術(shù)會(huì)議。

2016年7月，王宇、賈媛、李愛(ài)軍、徐亮，國(guó)際中國(guó)語(yǔ)言學(xué)學(xué)會(huì)第24屆年會(huì)。

2016年7月，唐穎、潘淑芳，第十二屆全國(guó)語(yǔ)音學(xué)學(xué)術(shù)會(huì)議。

2016年7月，唐穎、董倩，第十二屆全國(guó)語(yǔ)音學(xué)學(xué)術(shù)會(huì)議。

2016年7月，唐穎、張麗娜，第十二屆全國(guó)語(yǔ)音學(xué)學(xué)術(shù)會(huì)議。

2016年7月，周曉鳳、李丹丹，第十二屆全國(guó)語(yǔ)音學(xué)學(xué)術(shù)會(huì)議。

2016年7月，周曉鳳、楊迪，第十二屆全國(guó)語(yǔ)音學(xué)學(xué)術(shù)會(huì)議。

2016年7月，周曉鳳、劉珊珊，第十二屆全國(guó)語(yǔ)音學(xué)學(xué)術(shù)會(huì)議。

2016年9月，翟紅華、王妃妃、李愛(ài)軍、趙瑾，第五屆中國(guó)英語(yǔ)語(yǔ)音教學(xué)研究國(guó)際研討會(huì)。

2016年9月，Qian Chen、Zhenhua Ling, Chenyu Yang, Lirong Dai，Interspeech 2016。

2016年9月，Xinyi Wen、Jia Yuan，Interspeech 2016。

2016年9月，Hongwei Ding、X. Xu，Interspeech 2016。

2016年9月，F(xiàn)ang Hu, Chunyu Ge，Interspeech 2016。

2016年9月，Liping Xia, Fang Hu，Interspeech 2016。

2016年9月，Hu, W., Hu, F., Jin, J.，Interspeech 2016。

2016年9月，周曉鳳、張景哲，語(yǔ)言文化的影響與變遷國(guó)際學(xué)術(shù)研討會(huì)。

2016年9月，唐穎、魏召召，語(yǔ)言文化的影響與變遷國(guó)際學(xué)術(shù)研討會(huì)。

2016年9月，周曉鳳、范曉丹，海峽兩岸外語(yǔ)教學(xué)研討會(huì)。

2016年9月，唐穎、魏召召，第五屆中國(guó)英語(yǔ)語(yǔ)音教學(xué)研究國(guó)際研討會(huì)。

2016年9月，李愛(ài)軍、林茂燦，第三屆韻律語(yǔ)法研究國(guó)際研討會(huì)。

2016年12月，李愛(ài)軍、林茂燦，應(yīng)邀到天津大學(xué)外國(guó)語(yǔ)言與文學(xué)學(xué)院做特邀報(bào)告：漫談?wù)Z音的相似性英漢語(yǔ)調(diào)的“同”和“異”》。

2016年10月，王宇、賈媛、李愛(ài)軍、徐亮，Oriental-COCOSDA 2016。

2016年10月，丁紅衛(wèi)，F(xiàn)irst Symposium on Linguistic Diversity in China。

2016年11月，丁紅衛(wèi)，“新信息技術(shù)下高校教學(xué)變革與革新”學(xué)術(shù)研討會(huì)

2016年12月，翟紅華、趙瑾、李愛(ài)軍、賈媛，山東國(guó)外語(yǔ)言學(xué)研究會(huì)年會(huì)。

2017年3月，Qiang Fang, Ran Luo, Jianguo Wei, Wenhuan Lu, Weiwei Xu, Yin Yang，IEEE VR 2017。

2017年10月，Yuan Jia, Wang Yu, Aijun Li, Liang Xu, Dawei Song，第14屆全國(guó)人機(jī)語(yǔ)音通訊會(huì)議。

2017年10月，賈媛、王宇、李愛(ài)軍、徐亮，第14屆全國(guó)人機(jī)語(yǔ)音通訊會(huì)議。

組織學(xué)術(shù)會(huì)議列表：

2016年10月，UPenn-SJTU Symposium on Speech Science and Computational Linguistics

2017年6月，上海交通大學(xué)外國(guó)語(yǔ)學(xué)院2017年音系學(xué)與實(shí)驗(yàn)音系學(xué)高級(jí)研討會(huì)

2017年7月，上海交通大學(xué)外國(guó)語(yǔ)學(xué)院2017年語(yǔ)音學(xué)與大腦神經(jīng)機(jī)制研討會(huì)

2017年10月，國(guó)際言語(yǔ)產(chǎn)出會(huì)議，將組織專題研討：Production and Perception of Tone in Language Acquisition

4、成果宣傳推介情況

項(xiàng)目組積極在項(xiàng)目成語(yǔ)之間和國(guó)際上共享與推介數(shù)據(jù)庫(kù)和研究成果。其一，社科院專家與各個(gè)方言課題組和各個(gè)子課題組進(jìn)行密切溝通，進(jìn)行錄音和標(biāo)注數(shù)據(jù)的培訓(xùn)，保證收集數(shù)據(jù)的質(zhì)量、數(shù)據(jù)標(biāo)注的規(guī)范性和可靠性。其二，各個(gè)方言課題組共享公用基礎(chǔ)資源，并交流研究成果。其三，積極在國(guó)際上推廣研究成果、共享資源。課題組積極組織國(guó)際研討會(huì)，并在在國(guó)際會(huì)議上發(fā)表論文，并且參加每年O-COCOSDA組織的亞洲英語(yǔ)學(xué)習(xí)者數(shù)據(jù)庫(kù)和語(yǔ)音研究研討(AESOP-SIG)，并將在亞洲范圍共享基礎(chǔ)資源部分?jǐn)?shù)據(jù)。

二、 研究成果情況

1、山東方言兩區(qū)四片的英語(yǔ)學(xué)習(xí)者前元音習(xí)得研究

翟紅華、王妃妃、李愛(ài)軍、趙瑾（2016）山東方言區(qū)英語(yǔ)學(xué)習(xí)者英語(yǔ)元音音段習(xí)得的實(shí)驗(yàn)語(yǔ)音研究——以前元音/i/、/?/、/?/、/?/為例，第五屆中國(guó)英語(yǔ)語(yǔ)音教學(xué)研究國(guó)際研討會(huì)。

我們對(duì)山東方言兩區(qū)四片的英語(yǔ)學(xué)習(xí)者四個(gè)前元音/i/、/?/、/?/、/?/習(xí)得進(jìn)行了實(shí)驗(yàn)語(yǔ)音研究。具體實(shí)驗(yàn)語(yǔ)料由兩部分組成，山東學(xué)生和美國(guó)本族語(yǔ)者的朗讀語(yǔ)料。語(yǔ)料全部來(lái)源我們所建的山東方言區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音庫(kù)。包括英語(yǔ)和漢語(yǔ)語(yǔ)料。本研究從山東學(xué)生的朗讀語(yǔ)料和美國(guó)本族語(yǔ)者的朗讀語(yǔ)料中，隨機(jī)抽取了64位山東學(xué)生（每個(gè)城市兩男兩女，年齡20-24歲）和4位美國(guó)學(xué)生（兩男兩女，年齡20歲左右）的語(yǔ)料作為研究對(duì)象。山東發(fā)音人分別是來(lái)自山東某高校非英語(yǔ)專業(yè)的本科生和研究生。在入學(xué)之前他們一直生活在方言區(qū)，方言是他們?nèi)粘＝涣髡Z(yǔ)言。他們的英語(yǔ)學(xué)習(xí)特別是發(fā)音在一定程度上受到方言的影響。抽取的東濰區(qū)學(xué)生的語(yǔ)料包含兩部分：英語(yǔ)語(yǔ)料和方言語(yǔ)料。英語(yǔ)語(yǔ)料選取以濁輔音/b/、/d/、/g/為首輔音，目標(biāo)元音/i/、/?/、/?/、/?/居中，爆破音結(jié)尾的單詞，見(jiàn)下表。

為了研究山東東濰區(qū)學(xué)生英語(yǔ)發(fā)音受方言影響的程度，本研究還選取了這些發(fā)音人的方言語(yǔ)料。方言語(yǔ)料是以/b/、/d/、/g/為聲母，以韻母/i/和/?/結(jié)尾的單字構(gòu)成，見(jiàn)下表。

通過(guò)對(duì)比山東和美國(guó)兩地學(xué)生的元音共振峰F1和F2，發(fā)現(xiàn)山東學(xué)生習(xí)得元音/i/和/?/要優(yōu)于元音/?/和/?/，而且山東學(xué)生試圖用方言/i/和/?/來(lái)代替英語(yǔ)元音/?/和/?/的發(fā)音。這主要是受到方言的影響：山東方言對(duì)元音/i/的習(xí)得產(chǎn)生了正遷移影響，而對(duì)元音/?/和/?/的習(xí)得產(chǎn)生了負(fù)遷移影響。實(shí)驗(yàn)數(shù)據(jù)真實(shí)有效，具有客觀性，一改以往主觀定性的研究，對(duì)英語(yǔ)語(yǔ)音教學(xué)具有參考價(jià)值，同時(shí)對(duì)學(xué)生自身的語(yǔ)音學(xué)習(xí)有很大的幫助，對(duì)于北方官話區(qū)英語(yǔ)學(xué)習(xí)者語(yǔ)音的學(xué)習(xí)也有一定的借鑒作用。

2、寧波方言區(qū)英語(yǔ)學(xué)習(xí)者的單元音聲學(xué)特征分析

王宇、徐亮、賈媛、李愛(ài)軍（2017）基于英漢語(yǔ)對(duì)比的單元音聲學(xué)特征分析,《寧波大學(xué)學(xué)報(bào)》，01期。

該研究以言語(yǔ)學(xué)習(xí)模型為支撐，利用聲學(xué)語(yǔ)音實(shí)驗(yàn)的方法，在音段層面考查了10位來(lái)自寧波方言區(qū)英語(yǔ)學(xué)習(xí)者11個(gè)英語(yǔ)單元音（如下左圖），并對(duì)照寧波方言和漢語(yǔ)普通話相似的3個(gè)頂點(diǎn)元音/i，u，a/語(yǔ)音產(chǎn)出的共振峰特征（如下右圖），推論方言和普通話對(duì)英語(yǔ)發(fā)音可能存在的影響。研究發(fā)現(xiàn)：方言區(qū)發(fā)音人與英語(yǔ)本族語(yǔ)者之間的英語(yǔ)單元音產(chǎn)出存在系統(tǒng)性差異；寧波方言及普通話語(yǔ)音體系對(duì)方言區(qū)學(xué)習(xí)者的英語(yǔ)語(yǔ)音產(chǎn)出具有明顯的負(fù)向遷移。

研究的發(fā)現(xiàn)為ESL語(yǔ)音教學(xué)的支撐理念（如言語(yǔ)學(xué)習(xí)模型）提供了數(shù)理上的依據(jù)，統(tǒng)計(jì)結(jié)果除了顯示出發(fā)音人與英語(yǔ)母語(yǔ)者元音產(chǎn)出差異和趨勢(shì)，還對(duì)語(yǔ)音遷移中相似音位間的影響力做出了推斷，有助于語(yǔ)音教師在語(yǔ)音偏誤預(yù)判得基礎(chǔ)上把握教學(xué)重點(diǎn)，制定有效的應(yīng)對(duì)策略，克服母語(yǔ)的遷移效應(yīng)。

3、影響外語(yǔ)口音感知和可懂度的聲學(xué)及發(fā)音信息探究

智娜（2017）《影響外語(yǔ)口音感知和可懂度的聲學(xué)及發(fā)音信息探究》，中國(guó)社會(huì)科學(xué)院語(yǔ)言研究所博士后報(bào)告。

本研究以我國(guó)北京方言區(qū)的大學(xué)英語(yǔ)學(xué)習(xí)者為考察對(duì)象，通過(guò)三項(xiàng)實(shí)驗(yàn)：（1）聲學(xué)實(shí)驗(yàn)；（2）英語(yǔ)本族語(yǔ)者對(duì)學(xué)習(xí)者發(fā)音的感知實(shí)驗(yàn)；（3）借助電磁發(fā)音儀(EMA)的元音生理發(fā)音實(shí)驗(yàn)，來(lái)探討影響學(xué)習(xí)者外語(yǔ)口音和發(fā)音可懂度的相關(guān)聲學(xué)、感知及發(fā)音特征，以及這三個(gè)維度之間的對(duì)應(yīng)關(guān)系。本研究分別對(duì)比了學(xué)習(xí)者和英國(guó)人、學(xué)習(xí)者和美國(guó)人在元音聲學(xué)層面上的共振峰特征和時(shí)長(zhǎng)特征，以及在發(fā)音生理層面上的舌尖、舌體、舌根、下唇、下齒齦的運(yùn)動(dòng)特征情況。我們將聲學(xué)和生理的7個(gè)參數(shù)同英語(yǔ)本族語(yǔ)者的感知結(jié)果相對(duì)應(yīng)，發(fā)現(xiàn)聲學(xué)層面上的共振峰特征可以顯著影響英語(yǔ)本族語(yǔ)者對(duì)元音可懂度和口音的感知，而時(shí)長(zhǎng)特征對(duì)可懂度和口音的影響不顯著；在生理層面上，舌體和舌根的運(yùn)動(dòng)變化對(duì)元音可懂度和口音的感知影響最為顯著，其他發(fā)音器官的影響不顯著。本研究在聲學(xué)、發(fā)音、和感知三個(gè)維度上的研究數(shù)據(jù)可以為外語(yǔ)學(xué)習(xí)者的元音發(fā)音提供有效的糾正型反饋意見(jiàn)。學(xué)習(xí)者要降低外語(yǔ)口音對(duì)元音發(fā)音的可懂度影響，要練習(xí)和區(qū)別各個(gè)元音，尤其是對(duì)立元音在發(fā)音動(dòng)作上的區(qū)別，而非時(shí)長(zhǎng)特征上的差異；另外，教學(xué)中有必要引進(jìn)可視化的發(fā)音工具和模型，對(duì)可懂度較低的元音有針對(duì)性地開(kāi)展舌體和舌根的發(fā)音運(yùn)動(dòng)模仿和練習(xí)，提高外語(yǔ)的發(fā)音質(zhì)量。

4、自動(dòng)韻律邊界預(yù)測(cè)研究

Chen, Q., Ling, Z., Yang, C., Dai, L. (2015). Automatic phrase boundary labeling of speech synthesis database using context-dependent HMMs and N-Gram prior distributions. Interspeech.

論文提出了基于隱馬爾科夫模型（Hidden Markov Model，HMM）聲學(xué)建模與狀態(tài)解碼的自動(dòng)韻律標(biāo)注方法。采用該方法用于韻律自動(dòng)標(biāo)注的優(yōu)勢(shì)包括：在基于聲學(xué)特征分布進(jìn)行韻律標(biāo)注時(shí)可以充分考慮其他已知標(biāo)注信息對(duì)于分布參數(shù)的影響；通過(guò)整句解碼的方式確定韻律標(biāo)注結(jié)果，考慮了句中不同位置處韻律標(biāo)注間的相關(guān)性；使用與語(yǔ)音識(shí)別類似的算法框架，可以借鑒語(yǔ)音識(shí)別中較為成熟的模型訓(xùn)練與解碼算法。在具體實(shí)現(xiàn)中：首先提出基于窮舉搜索的韻律短語(yǔ)邊界自動(dòng)標(biāo)注方法，分析了合成系統(tǒng)中不同特征與上下文信息對(duì)韻律標(biāo)注性能的影響，驗(yàn)證該方法的可行性；在此基礎(chǔ)上又提出了基于維特比搜索的韻律短語(yǔ)自動(dòng)標(biāo)注方法，在保證標(biāo)注結(jié)果準(zhǔn)確性的前提下，提高了標(biāo)注的效率；進(jìn)一步提出了結(jié)合n-gram先驗(yàn)分布的韻律短語(yǔ)自動(dòng)標(biāo)注方法，通過(guò)利用文本層面的先驗(yàn)知識(shí)，進(jìn)一步提高了韻律標(biāo)注的準(zhǔn)確性，在Boston University Radio News Corpus和Blizzard Challenge 2007英文語(yǔ)料庫(kù)上分布取得了79.6%和81%的標(biāo)注F-score。

5、發(fā)音可視化建模研究

Fang, Q., Luo, R., Wei, J., et al. (2017). Acoustic VR in the mouth: A real-time speech-driven visual tongue system. IEEE VR.

“一帶一路”國(guó)家重大發(fā)展戰(zhàn)略除了要求國(guó)內(nèi)的資金、技術(shù)走出去，同時(shí)也需要大量聽(tīng)、說(shuō)、讀、寫(xiě)能力全面的語(yǔ)言人才為“走出去”戰(zhàn)略服務(wù)。發(fā)音的準(zhǔn)確與否是語(yǔ)言能力評(píng)價(jià)的重要指標(biāo)之一。然而，發(fā)音往往是語(yǔ)言學(xué)習(xí)的薄弱環(huán)節(jié)。有些學(xué)習(xí)者的母語(yǔ)中沒(méi)有目標(biāo)語(yǔ)言的某些語(yǔ)音單元，造成學(xué)習(xí)者僅僅從聽(tīng)覺(jué)上無(wú)法意識(shí)到語(yǔ)音單元的差異，給學(xué)習(xí)這些語(yǔ)言的發(fā)音造成很大困難�？梢曊Z(yǔ)音技術(shù)能生成與語(yǔ)音信號(hào)同步的發(fā)音器官運(yùn)動(dòng)視頻信息，并以視頻的方式反饋學(xué)習(xí)者發(fā)音時(shí)發(fā)音器官的位置信息，能夠幫助學(xué)習(xí)者克服發(fā)音學(xué)習(xí)中的上述困難，提高語(yǔ)言學(xué)習(xí)的效率。

在發(fā)音學(xué)習(xí)過(guò)程中，發(fā)音器官的運(yùn)動(dòng)信息對(duì)于提高學(xué)習(xí)的效率有積極意義。然而，除了唇的運(yùn)動(dòng)能直接觀測(cè)外，其它的發(fā)音器官通常都位于聲道內(nèi)部，很難直接觀察。因此，實(shí)時(shí)捕捉發(fā)音過(guò)程中舌頭的快速三維運(yùn)動(dòng)是一件十分困難的事情。本研究采用如下方法建立了一個(gè)新的虛擬現(xiàn)實(shí)系統(tǒng)。該系統(tǒng)能實(shí)時(shí)將輸入的語(yǔ)音信號(hào)轉(zhuǎn)換成高真實(shí)度的三維舌頭的運(yùn)動(dòng)序列。首先，我們使用EMA在發(fā)音器官表面粘貼了傳感器（用于記錄發(fā)音過(guò)程中局部發(fā)音器官的位置信息），并采集了同步的語(yǔ)音信號(hào)和傳感器的位置信息，并基于此信息利用深度神經(jīng)網(wǎng)絡(luò)建立從語(yǔ)音信號(hào)到傳感器位置的映射關(guān)系。其次，我們用MRI采集了同一發(fā)音人的發(fā)音器官（舌、下顎、上顎等）的形態(tài)數(shù)據(jù)�；�于上述發(fā)音器官的形態(tài)數(shù)據(jù)，我們用有限元建立了一個(gè)舌的生理模型。該模型充分考慮了舌頭的非線性形變，舌頭形變過(guò)程中的體積不變性，以及舌頭在運(yùn)動(dòng)過(guò)程中與周?chē)�器官（下顎、上顎等）的碰撞。為了提高模型的實(shí)時(shí)性，我們采用了空間減縮的方法用在低維度空間中計(jì)算舌頭的形變。最后，我們將前兩部建立的模型依次串聯(lián)起來(lái)，得到了本文描述的發(fā)音過(guò)程中舌頭實(shí)時(shí)運(yùn)動(dòng)的虛擬現(xiàn)實(shí)系統(tǒng)（如下圖）。實(shí)驗(yàn)表明，該系統(tǒng)能夠依據(jù)輸入的語(yǔ)音信號(hào)生成高真實(shí)度的發(fā)音器官的運(yùn)動(dòng)序列。

6、英語(yǔ)語(yǔ)調(diào)與漢語(yǔ)語(yǔ)調(diào)的對(duì)比研究

林茂燦、李愛(ài)軍（2016）英漢語(yǔ)調(diào)的相似性與對(duì)外漢語(yǔ)語(yǔ)調(diào)教學(xué)，《中國(guó)語(yǔ)音學(xué)報(bào)》第7輯。

本文為研究英語(yǔ)語(yǔ)調(diào)與漢語(yǔ)語(yǔ)調(diào)之間在聲學(xué)或語(yǔ)音表現(xiàn)上的相似性，從“相似不等于相同，相似是客觀事物存在的‘同’和‘異’矛盾的統(tǒng)一”（張光鑒，1992）的相似性定義出發(fā)，觀察和研究英語(yǔ)語(yǔ)調(diào)和漢語(yǔ)調(diào)調(diào)之間哪些是“同”，哪些是“異”。漢語(yǔ)是聲調(diào)語(yǔ)言，英語(yǔ)是非聲調(diào)語(yǔ)言。我們看到英語(yǔ)與漢語(yǔ)之間的重讀凸顯及疑問(wèn)和陳述邊界調(diào)，都存在語(yǔ)音表現(xiàn)和語(yǔ)音特征的“同”和“異”，因而，英漢語(yǔ)調(diào)有相似性。

“心智和思維產(chǎn)生于人跟外界的相互作用，在這個(gè)相互過(guò)程中，人通過(guò)自己的身體獲得經(jīng)驗(yàn)，這個(gè)經(jīng)驗(yàn)用“體驗(yàn)”稱之為最合適�！靶脑⒂谏怼边�有一層意思是概念和概念系統(tǒng)的形成要受人類身體構(gòu)造的制約。例如人對(duì)各種顏色的分辨很大程度上是由人體視網(wǎng)膜的生理構(gòu)造決定的�！保ㄉ蚣异�，2005）我們認(rèn)為，英漢語(yǔ)調(diào)的相似性有其認(rèn)知和生理上的理?yè)?jù)。

這篇論文應(yīng)邀作為大會(huì)報(bào)告在第三節(jié)漢語(yǔ)韻律語(yǔ)法國(guó)際研討會(huì)上報(bào)告。

課題組供稿