人們每天都在接收大量的視聽(tīng)信息，當視聽(tīng)信息不一致時(shí)，會(huì )產(chǎn)生沖突。在加工階段上，沖突可能來(lái)自語(yǔ)義表征階段（刺激沖突），也可能來(lái)自反應選擇階段（反應沖突）。采用單通道視覺(jué)刺激，以往研究在語(yǔ)義沖突和反應沖突加工機制的一般性/特異性上存在爭議。而跨通道情景下，語(yǔ)義沖突和反應沖突加工機制具有一般性還是特異性仍不清楚。相比于單通道，跨通道研究在這一問(wèn)題上不僅更具有生態(tài)意義，并且避免了注意在單個(gè)客體和不同客體上加工機制不同而導致的混淆因素。中國科學(xué)院心理研究所劉勛研究組使用視聽(tīng)2-1映射Stroop腦電任務(wù)，對跨通道語(yǔ)義沖突和反應沖突加工機制的一般性/特異性進(jìn)行了探究。

圖1. 實(shí)驗設計

注：視覺(jué)刺激和聽(tīng)覺(jué)刺激有三種組合：（1）一致條件(congruent, CO)：視聽(tīng)刺激相同；（2）語(yǔ)義不一致條件（semantically incongruent, SI）：視聽(tīng)刺激語(yǔ)義不相同，但是反應相同；（3）語(yǔ)義不一致和反應不一致條件(semantically incongruent and response incongruent)

語(yǔ)義沖突為語(yǔ)義不一致條件減去一致條件(SI-CO)，反應沖突為語(yǔ)義不一致和反應不一致條件減去語(yǔ)義不一致條件(RI-SI)

在時(shí)間進(jìn)程上，ERP結果發(fā)現，前額N2的幅值只受語(yǔ)義沖突調制，而頂部N450的幅值只受反應沖突調制。N2可能反映了視聽(tīng)刺激在語(yǔ)義表征階段的沖突監測過(guò)程。N450可能反映了視聽(tīng)不同反應傾向加工中的沖突監測和解決過(guò)程。與視覺(jué)研究結果不同，當前研究沒(méi)有發(fā)現N450在語(yǔ)義沖突上的調制。這可能與任務(wù)無(wú)關(guān)刺激的通道有關(guān)。以往研究發(fā)現，N450成分在聽(tīng)覺(jué)Stroop任務(wù)中要早于視覺(jué)Stroop任務(wù)約150 ms。在此次研究中，聽(tīng)覺(jué)是干擾刺激，并且比視覺(jué)刺激早出現83 ms。因此，比單通道視覺(jué)干擾任務(wù)相比，沖突監測過(guò)程在聽(tīng)覺(jué)干擾任務(wù)中出現得更早，表現在比N450更早的成分上。在反應沖突加工中，由于反應沖突的加工不受刺激呈現通道影響，因此，反應沖突的N450的時(shí)間窗(370-430 ms)與前人視覺(jué)N450 (350-500 ms)的時(shí)間窗類(lèi)似。

在神經(jīng)振蕩上，研究者發(fā)現，額中theta能量的增強只受語(yǔ)義沖突調制。這一結果可能反映了大腦需要更多的認知控制資源來(lái)監測和解決語(yǔ)義沖突。根據事件編碼理論，先呈現的聽(tīng)覺(jué)刺激增強了事件文件(event file)中任務(wù)無(wú)關(guān)刺激特征的編碼，使得事件文件中刺激選擇的競爭更強，從而導致了額中theta能量在語(yǔ)義沖突中增強。

圖2. ERP分析結果

圖3. 額中theta能量結果

綜上，研究結果發(fā)現跨通道語(yǔ)義沖突和反應沖突的加工機制具有特異性，從跨通道多階段沖突加工的角度為認知控制的特異性理論提供了支持證據。

該研究受?chē)易匀豢茖W(xué)基金(NSFC)和德國研究基金(DFG)( NSFC62061136001, 31571161, and DFG TRR-169)和中國科學(xué)院心理研究所科學(xué)基金(BEAA21046)的資助。

相關(guān)成果已發(fā)表在Cerebral Cortex上。劉勛研究組已畢業(yè)博士生許紅慧為第一作者，首都師范大學(xué)李琦教授和心理所劉勛研究員為共同通訊作者。其他的合作者包括愛(ài)荷華大學(xué)楊國春博士、澳門(mén)大學(xué)伍海燕副教授和首都師大學(xué)肖晶教授。

論文信息：

Xu, H., Yang, G., Wu, H., Xiao, J., Li, Q., & Liu, X. (2024). Distinct mechanisms underlying cross-modal semantic conflict and response conflict processing. Cerebral Cortex, 34(2), bhad539.https://doi.org/10.1093/cercor/bhad539