面部表情如何輔助嬰兒語(yǔ)感研究

更新時(shí)間：2025-08-14

點(diǎn)擊次數(shù)：434

在嬰兒語(yǔ)言發(fā)展關(guān)鍵期，準(zhǔn)確感知語(yǔ)音對(duì)后續(xù)能力發(fā)展至關(guān)重要。

傳統(tǒng)研究多依賴(lài)注視測(cè)量，卻難全面捕捉嬰兒復(fù)雜反應(yīng)。本研究聚焦嬰兒語(yǔ)音感知中面部情感變化，引入自動(dòng)化面部表情分析，探究了嬰兒在面對(duì)母語(yǔ)與非母語(yǔ)時(shí)的面部變化與感知調(diào)諧能力之間的關(guān)系，旨在挖掘面部表情分析作為注視測(cè)量補(bǔ)充的潛力，為早期語(yǔ)言發(fā)展研究提供更豐富、精準(zhǔn)的工具與視角（Tsuji et al., 2025）

嬰兒語(yǔ)言的感知調(diào)諧發(fā)展

嬰兒在出生后的第一年內(nèi)，其語(yǔ)言能力的發(fā)展經(jīng)歷了從廣泛感知到精細(xì)區(qū)分的顯著變化。最初，嬰兒能夠區(qū)分世界各種語(yǔ)言中的廣泛音素對(duì)比，但隨著年齡的增長(zhǎng)，他們對(duì)非母語(yǔ)音素的敏感性逐漸下降，而對(duì)母語(yǔ)音素的區(qū)分能力則顯著增強(qiáng)。這一過(guò)程被稱(chēng)為感知調(diào)諧（Perceptual Attunement），它反映了神經(jīng)可塑性和突觸修剪在關(guān)鍵發(fā)展期的作用，并與后期的語(yǔ)言技能正相關(guān)。

傳統(tǒng)的感知調(diào)諧研究主要依賴(lài)于注視時(shí)間測(cè)量，即通過(guò)測(cè)量嬰兒對(duì)新穎聲音和熟悉聲音的注視時(shí)間差異來(lái)判斷其區(qū)分能力。然而，感知調(diào)諧并非一個(gè)統(tǒng)一的過(guò)程，它受到語(yǔ)言和社會(huì)環(huán)境豐富性的影響。例如，雙語(yǔ)嬰兒可能比單語(yǔ)嬰兒需要更長(zhǎng)的時(shí)間來(lái)調(diào)諧其語(yǔ)音類(lèi)別，而社會(huì)互動(dòng)豐富的環(huán)境則能增強(qiáng)嬰兒對(duì)語(yǔ)音對(duì)比的習(xí)得。

鑒于這些多方面的影響，僅依賴(lài)注視時(shí)間這一單一測(cè)量指標(biāo)可能無(wú)法全面捕捉嬰兒在感知調(diào)諧過(guò)程中的豐富反應(yīng)。而面部表情能提供關(guān)于嬰兒情感狀態(tài)和認(rèn)知參與的額外信息，這些信息可能揭示感知調(diào)諧過(guò)程中更復(fù)雜的機(jī)制。

因此，本研究旨在探索將面部表情分析作為注視時(shí)間測(cè)量的補(bǔ)充工具，以更全面地理解嬰兒在語(yǔ)音感知過(guò)程中的情感和認(rèn)知反應(yīng)。

利用Baby FaceReader捕捉嬰兒情感變化

實(shí)驗(yàn)研究被試來(lái)自東京的日語(yǔ)單語(yǔ)嬰兒，分為9個(gè)月和12個(gè)月兩個(gè)年齡組。對(duì)于母語(yǔ)音素區(qū)分實(shí)驗(yàn)，9個(gè)月組有31名嬰兒，12個(gè)月組有33名嬰兒；對(duì)于非母語(yǔ)音素區(qū)分實(shí)驗(yàn)，9個(gè)月組有29名嬰兒，12個(gè)月組有29名嬰兒。

每個(gè)嬰兒需要參與包含兩組會(huì)話(huà)的實(shí)驗(yàn)，即使用母語(yǔ)刺激（日語(yǔ)）的會(huì)話(huà)和使用非母語(yǔ)刺激（英語(yǔ)）的會(huì)話(huà)。實(shí)驗(yàn)在隔音實(shí)驗(yàn)室中進(jìn)行，視覺(jué)刺激顯示在顯示屏中，音頻刺激通過(guò)屏幕下方的前置揚(yáng)聲器播放。嬰兒坐在照顧者的腿上，照顧者佩戴降噪耳機(jī)播放音樂(lè)以屏蔽音頻刺激。實(shí)驗(yàn)者通過(guò)攝像機(jī)觀(guān)察嬰兒，并通過(guò)按鍵記錄其注視屏幕的情況。

實(shí)驗(yàn)采用改進(jìn)的視覺(jué)習(xí)慣化范式，包括四個(gè)階段：預(yù)測(cè)試、習(xí)慣化、測(cè)試和后測(cè)試。習(xí)慣化階段持續(xù)呈現(xiàn)一種語(yǔ)音類(lèi)型的刺激列表，伴隨靜態(tài)紅黑棋盤(pán)格視覺(jué)刺激，直到嬰兒達(dá)到習(xí)慣化標(biāo)準(zhǔn)。測(cè)試階段包括四個(gè)試次：兩個(gè)“轉(zhuǎn)換"試次（呈現(xiàn)與習(xí)慣化不同的語(yǔ)音類(lèi)型）和兩個(gè)“相同"試次（匹配習(xí)慣化刺激）。其中，注視行為數(shù)據(jù)通過(guò)提取記錄的按鍵數(shù)據(jù)來(lái)分析嬰兒注視和遠(yuǎn)離屏幕的情況。

整個(gè)過(guò)程使用諾達(dá)思的嬰幼兒面部表情分析系統(tǒng)(Baby FaceReader)進(jìn)行記錄分析。軟件能夠檢測(cè)嬰兒面部標(biāo)志點(diǎn)并逐幀分析注視、頭部方向和面部肌肉運(yùn)動(dòng)。Baby FaceReader根據(jù)面部動(dòng)作編碼系統(tǒng)（FACS）生成面部肌肉動(dòng)作單元(Action Units, AU)數(shù)據(jù)，并組成特定表情的表達(dá)式；同時(shí)，系統(tǒng)會(huì)分析情緒效價(jià)和喚醒度。效價(jià)反映了整體的情緒基調(diào)，喚醒度表示強(qiáng)度。此外，研究者對(duì)由特定的消極情緒（AU3 +AU4）和積極情緒（AU12）進(jìn)行了分析。

語(yǔ)感能力引起情感變化

研究者首先分析了注視行為以評(píng)估感知調(diào)諧，使用線(xiàn)性混合效應(yīng)模型分別對(duì)母語(yǔ)和非母語(yǔ)實(shí)驗(yàn)中的每個(gè)年齡組進(jìn)行建模。結(jié)果表明，對(duì)于母語(yǔ)語(yǔ)音感知調(diào)諧，9個(gè)月和12個(gè)月的嬰兒均表現(xiàn)出顯著的區(qū)分能力。對(duì)于非母語(yǔ)語(yǔ)音感知調(diào)諧：9個(gè)月和12個(gè)月的嬰兒均無(wú)顯著區(qū)分能力。

接下來(lái)對(duì)面部表情進(jìn)行三組驗(yàn)證性分析，以效價(jià)、喚醒度、積極情緒或消極情緒作為因變量創(chuàng)建混合效應(yīng)模型。

習(xí)慣化階段的結(jié)果表明（圖1），效價(jià)隨著試次數(shù)量的增加顯著下降。母語(yǔ)刺激的效價(jià)低于非母語(yǔ)刺激。年齡與母語(yǔ)性存在交互作用，9個(gè)月的嬰兒在非母語(yǔ)刺激下的效價(jià)顯著高于12個(gè)月的；喚醒度隨著試次數(shù)量的增加顯著下降。非母語(yǔ)刺激的喚醒度高于母語(yǔ)刺激；積極情緒隨著試次數(shù)量的增加而顯著增加，9個(gè)月的嬰兒的積極情緒高于12個(gè)月的。母語(yǔ)刺激的積極情緒高于非母語(yǔ)刺激。測(cè)試階段的結(jié)果顯示，不同試次中面部表情沒(méi)有出現(xiàn)顯著差異，這表明這些條件可能不會(huì)引起情感反應(yīng)的足夠強(qiáng)烈的變化。

此外，結(jié)果表明面部情緒與母語(yǔ)語(yǔ)音區(qū)分能力有關(guān)，更好的區(qū)分能力與較低的負(fù)面情緒有關(guān)（圖2）。這種模式可能表明，成功處理熟悉的對(duì)比會(huì)減少挫敗感或消極反應(yīng)。對(duì)母語(yǔ)的偏好也被認(rèn)為反映了對(duì)信息的期望，目前的結(jié)果可能表明，在檢測(cè)相關(guān)信息方面做得更好的嬰兒表現(xiàn)出更好的感知調(diào)諧。

面部表情分析助力理解嬰兒語(yǔ)言發(fā)展

本研究通過(guò)增加面部表情分析到傳統(tǒng)的注視時(shí)間測(cè)量中，探索了嬰兒在視覺(jué)習(xí)慣化范式中的面部情感反應(yīng)，以更全面地理解其對(duì)母語(yǔ)和非母語(yǔ)語(yǔ)音的感知調(diào)諧。

研究結(jié)果表明，面部表情分析可以作為研究感知調(diào)諧的傳統(tǒng)注視時(shí)間測(cè)量的補(bǔ)充工具，特別是在捕捉習(xí)慣化階段的情感變化方面。然而，并非所有刺激都能引發(fā)可檢測(cè)的面部情感差異，這可能受到刺激的非社交和非情感特性的限制。未來(lái)的研究可以進(jìn)一步探索面部表情分析在不同實(shí)驗(yàn)設(shè)計(jì)和刺激類(lèi)型中的應(yīng)用，以更全面地理解嬰兒在語(yǔ)音感知過(guò)程中的情感和認(rèn)知反應(yīng)。此外，將面部情感數(shù)據(jù)與嬰兒的社會(huì)交流環(huán)境和語(yǔ)言結(jié)果測(cè)量相結(jié)合，可能有助于深化我們對(duì)嬰兒情感反應(yīng)和參與度如何影響語(yǔ)言學(xué)習(xí)的理解。

參考文獻(xiàn)

Tsuji S, Alonso F, Hagihara H, Kimura N, Polka L and Lov?evi? I (2025) Facial affect and arousal as a complement to gaze measures in infant speech sound perception studies.Front. Neural Circuits 19:1553918.

歡迎關(guān)注諾達(dá)思公眾號(hào)，了解更多精彩內(nèi)容！