[韵律在语言加工中的作用及其神经机制] 文学语言的韵律性

　　摘 要 综述了近年来使用即时加工方法进行的韵律理解和作用机制方面的一些研究，首先，介绍了韵律特征在句法加工中的作用，从重音、韵律边界和韵律单元三个研究角度分析了韵律在句子理解中所起的作用及作用的时间点；然后，探讨了韵律加工的脑机制问题，论文最后提出未来的研究应在更广阔的视野中对韵律的加工阶段以及韵律与其他心理过程之间的关系进行探讨。
　　关键词 即时加工方法；重音；韵律边界；韵律单元；句子理解；脑机制
　　分类号 B842
　　
　　韵律特征是言语交际的必要手段，为听者从句法结构和语义上更清楚地理解话语提供帮助，几乎韵律的每个方面都有利于口语信息的加工(李卫君，杨玉芳，2007)，近年来，韵律的作用得到了语音工程、语言学、认知心理学等领域的高度重视。随着研究手段的发展，韵律研究在语篇理解和韵律产生的脑机制两方面都取得了一些重要成果，这些研究主要是借助眼动、ERP、fMRI等即时加工研究方法，从信息加工的角度进行的。这些方法具有即时测量的特点，能够对阅读过程进行同步的、动态的监控。本文主要对应用即时加工方法的韵律研究进行简要的评述，
　　
　　1　韵律特征在句法加工中的作用
　　
　　1.1　重音在句子加工中的作用
　　重音是韵律的特征之一，它是指一个韵律结构中的某一音节、词或短语相对的突出，它是由一些声学特征(如音长、音高、音强)的变化来实现的。对于口语理解中重音的作用，许多研究者给与了关注。
　　Dahan等人(2002)运用眼动测量法，测量被试对代表不同竞争词的图片的注视时间来确定重音所起到的作用。实验一的指导语有两句，第一句话让被试把一件物品(如，candle／candy)移到指定位置，第二句话有4种情况：当第一句目标词为candle，重读第二旬目标词candle；当第一句目标为candle。重读第二句目标词candle将要改放的位置；当第一句目标词为candy，重读第二句中名词candle；当第一句目标为candy，重读第二句中名词candle将要改放的位置，对竞?词(candy)所代表的图片的注视时间表明被试倾向于把非重读的词作为上句相应出现过的内容，而把重读的词作为没出现过的内容。运用同样的范式实验二发现，被试愿意把重读的名词短语作为之前提到的非中心信息(目标)，这些结果说明当新的信息重读，已知信息不重读时，被试的理解会相对容易。
　　重读信息何时作用于句子理解?对于这一问题，李晓庆和杨玉芳(2005)的ERP研究得到了一系列有趣的发现。在双字词出现后120一130ms，重读即对N400的幅度产生影响；双字词出现后350~360ms，重读与信息状态间的交互作用开始出现，不论是新信息还是旧信息，重读比不重读的信息诱发更大的N400；但对于新信息，重读引起的N400的差异小于旧信息。结果表明，在口语理解中，听者能够很快把重读的意义与先前的语境相匹配，影响重读词汇与先前语境的语义整合，听者将在新旧的语义水平上解释重读的意义。
　　
　　1.2　韵律边界在句子加工中的作用
　　韵律边界和句法边界的一致性是否引导句法分析也是研究者重视的问题。一些研究者提出韵律线索影响丁被试最初的句法结构的建构过程，Salverda等使用眼动记录法验证了假设：荷兰语嵌套词汇的解歧要依靠韵律边界声学线索的存在(Salverda，Dahan，&McQueen，2003)。他们为选出的每对单音节词(如，ham)一目标词(如，hamster)，造三个句子：一句关于目标词(hamster)，两句关于单音节词(ham)。每个关键词前面的内容部分一致并且不能预示句子后面将出现什么词。紧随单音节词的单词与目标词的第二个音节有相同的辅音和元音(sterr)，两句不同之处是：一类紧随的单音节词第一音节重读，另一类不重读。之后研究者对已有的句子进行拼接：包括歧义字符串(ham)部分的三种句子各拼接目标词句的后半部分(从ster开始)。这样三种拼接句词汇相同，不同的是它们句首部分来源不同。被试的任务是让被试听拼接句子看图片，用鼠标在图片上点击句子中出现的物品。结果发现当目标词(如，hamster)的第一个音节被一个单音节词(如，ham)代替时，被试对表示这个单音节词的图片的有更多的注视。这表明音素一致的序列包含调整词汇解释的线索，研究者认为听者判断序列音为单音节词而非长单词是由于听者期待序列后有一个边界。镶嵌词汇的解歧线索是通过韵律边界实现的，可以判断与韵律边界一致的候选词汇为目标词汇。运用同样的范式，Salverda等考察了被试听过目标词在句子中间或句子末尾的句子后，对代表目标词(cap)、单音节竞争词(cat)、多音节竞争词(captain)和分心刺激词(beaker)的图片的眼注视情况。对两种竞争词的图片的注视比例随目标词在句子中的位置不同而变化：当单音节词出现在句末时，同是单音节竞争词的竞争水平增加(这种增加是相对于单音节词在句中时的状况)。这进一步表明，词汇的竞争是由韵律条件的声学变化来调整的(salverda，Dahan，Tanenhaus，Crosswhite，Masharov，&McDonough，2007)，在一项法语研究中，研究者让被试运用韵律边界信息分辨语法结构歧义的句子(如，[1c petit ehienmor，死掉的小狗vs。[1c peti，t ehien¨nora]，小狗咬)。结果发现强的韵律边界比弱的韵律边界更有助于被试解歧(s~verine，Ren6，，Wales，&Christophe，2008)。这些数据有力的支持了韵律信息可以直接影响句法分析的观点。
　　不同的韵律层级对理解的作用是否相同?为了解决这一问题，杨玉芳等人进行了一项研究，他们采用事件相关技术，通过在一组句子中相同位置设置不同类型韵律边界进行实验，结果发现，不仅语调短语可以诱发CPS，在韵律层级处于相对较低的音系短语也发现了此成分。语调短语在反应潜伏期上相对于音系短语要晚，波幅也较大。随后的实验中，研究者将两者的无声段在不影响其他声学参数的前提下切掉。结果发现二者仍然都可以诱发CPS，并且他们的潜伏期差异消失，波幅在新的条件下也变低了，这说明无声段虽然不是诱发CPS的决定性因素，但是会影响它的潜伏期和波幅(u&Yang，2009)。
　　
　　1.3　韵律单元在句子加工中的作用
　　一些研究者认为韵律特征在言语中是融为一体的，很难将他们区分开。而且，使用自然的对话情境可能比实验室中使用孤立的句子更能发现韵律线索的作用。Snedeker和7rueswell(2003)的研究使用较为自然的游戏合作任务，满足了这些条件。实验较多地限制了被试之间的身 体等其他交流，只由“说话者(speakers)”产生韵律线索，“听话者(1isteners)”利用韵律线索来判断句法歧义短语的适当意义。并记录“听话者(hsteners)”的眼动指标来达到实验目的。结果发现讲话者产生的韵律线索在歧义短语出现前就已经影响了听者对话语的解释，说明韵律线索不仅影响了口语的最初分析，而且被用来预期还没有说出的话。
　　Eckstein和Friederici的ERP实验通过操控关键词的位置(句中和句末)、语法一致性(语法一致和语法不一致)和韵律(韵律一致和韵律不一致)形成了8种实验条件来研究韵律信息和语法信息之间的关系。实验材料是通过拼接形成的句子。结果发现当被试听语法上正确，韵律不正确的句子时，会产生经典的N400，研究者认为这个负波是整合不一致韵律信息和语法信息的结果，当从句末尾词的韵律信息为从句中间成分时，也就是韵律信息与关键词位置不一致时，研究者观察到在P600之前会出现一个负分成，这个负成分的出现与否与句法正确性无关，只反映了纯韵律方面的句子加工。在语法和韵律信息都不一致情况下的P600要比语法或韵律单独不一致情况下的波幅大。这些表明，前面的那个负成分而不是P600反应了单纯的韵律效应：韵律和句法的交互作用发生在句子理解较晚的阶段。
　　研究者广泛认同韵律有4种功能：词汇功能(通过重音区别词汇)，情感表达功能，形态功能(肯定句、问句、命令句等)及区分结构功能，已有的研究大多关注韵律的与其他语言成分(如与语法的关系)有关韵律功能的神经基础，有学者认为这样研究是不准确的，研究者应该研究与其他语言成分无关的韵律功能，也就是韵律的形态功能(Ast~sano，Besson，&Alter，2004)。形态功能是指通过语调表达语言行为的功能，如分辨语句为肯定句、命令句、问句。Ast6sano等的研究采用ERP技术，通过剪切和拼接法语的肯定句和疑问句，形成韵律与语义一致与否的4类句子，来探讨语义与韵律的加工过程。结果发现，N400与语义不匹配有关，P800与韵律不匹配有关，这两种成分的波极、潜伏期和头皮分布都不同，表明这两个过程有不同的发生脑区。语义不一致下的韵律不一致句子要比语义一致下韵律不一致句子诱发的P800有更大的波幅，这也说明语义加工和韵律加工有交互作用。
　　综上所述我们可以发现，以往关于重读和韵律边界的大部分研究认同重读和韵律边界在阅读过程中的作用，认为它们在句法加工的早期发挥作用。这与文本阅读的研究结果不一致。如Ashby和CliRon(2005)运用眼动测量法发现，词汇的重音影响言语理解中的眼动，词汇重读作用于词汇通达的整合阶段，Stolterfoht等(2007)对德语中的非句法歧义句进行的研究发现，在450-650ms的时间段上有一个与韵律加工相联系的负波。即重读作用于阅读过程，而且这一作用体现在句法加工的晚期。这些矛盾的结果是来自于不同语言加工之间的差异?还是来自于不同通道信息加工的特性?同时应该看到，韵律和句法之间的关系使得韵律句法解歧的研究存在难度。尤其是其他语言的研究是否会出现相同的结果有待进一步的探讨。
　　
　　2　韵律加工神经机制的证据
　　
　　2.1　韵律加工的神经机制的假说
　　关于左右半球在韵律加工过程中作用的假说主要有以下4种。
　　(1)右半球假说(The right hemispherehypothesis)：韵律的所有信息(如语言的所有超音段信息)都在右半球加工，然后通过胼胝体与左半球的言语信息(如言语的段落信息)进行整合(Klouda，Robin，Graff-Radford，&Cooper，1988)。(2)皮层下组织加工假说(7he subcorticalprocessing hypothesis)：韵律的产生和知觉由皮层下组织(subcorfical structures)进行调节，而不是由哪一侧大脑半球负责(Cancelliere&Kertesz，1990)。(3)功能单侧化假说(丁he functionallateralization hypothesis)：该假说认为言语韵律的加工与语言加工器一致在左半球，右半球负责加工情感韵律，这与情感加工位置一致(Baum，1998)。(4)声学线索假说(了he acoustic cueshypothesis)：大脑半球对韵律加工的单侧化是基于声学线索的变化(Fitch，Miller，&7allal，1997)。
　　
　　2.2　韵律加工神经机制的证据
　　在过去的几个世纪里，研究者对左右半球在感知韵律信息过程中所起到的作用一直争论不休，不同的实验结果验证了不同的研究假说。虽然有些研究结果是相互冲突的，但还是取得了一定进展。
　　语言在婴儿和儿童期发展很快。许多脑电记录研究报告发现了婴儿在感知音或连续言语时的神经反应。Homae等使用高分辨率的红外光学成像技术对睡着的在3个月大婴儿进行声调感知研究。结果发现，在正常的或除掉语言信号中的音调变化的语言条件下，都会有双侧脑的激活。在对两种条件的直接对比下发现，正常语言比除掉语言信号中的音调变化的语言在右侧颞顶区有更大的激活，说明婴儿的音调加工发生在右半球。研究提示韵律加工在早期的语言发展中会起到促进词汇和句法结构知识的作用(Homae，Watanabe，Nakano，Asakawa，&7aga，2006)。为了揭示半周岁到一周岁之间的发展变化，Homae等又做了一个实验。结果发现，除掉语言信号中的音调变化的语言比正常语言在右侧颞叶、颞顶页和双侧前额叶区有更大的激活。不熟悉的除掉语言信号中的音调变化的语言在皮层上诱发了额外的激活的结果说明，10个月大的婴儿已经具有加工本国语言部分韵律结构的神经机制，研究者对比两个实验提出婴儿脑部的语言加工是一个从分析音调信息，到运用已有的韵律结构对比整合输入的语言的过程(Homae，Watanabe，Nakano，&7aga，2007)。
　　以往研究的结果大多认同右半球在短语和句子层次上感知韵律单元的作用，以及左半球在处理语言加工中的作用。但言语韵律功能对称性的精确机制仍然受到关注。任务决定假设关注语言刺激的功能特性，从这一假设视角看，韵律刺激的心理功能决定了脑区单侧化。携带较大语言负担的音调型式(如词汇音调)主要在左半球加工，而那些携带较少语言负担的音调型式(如语调)主要在右半球加工(Wong，2002)。线索决定假设直接关注声音信号特有的物理特征(Poeppel，2003)，研究者认为刺激的物理性质决定了反应的相应脑区。按照线索决定假设，不管韵律的心理功能如何，所有的韵律感知均发生在右半球。 　　支持任务决定假设的证据表明左半球在人们对本族语词汇声调感知中存在优势效应，研究者认为半球单?化对语言的具体因素更敏感，而对低层次的声音加工无关。例如，当泰国和中国被试对泰语的声调进行区别判断时，只有泰国被试的左前额区有更大的激活(Gandour，Wong，Lowe，Dzemidzic，Satthamnuwong，丁ong，&Li，2002)。Gandour等的功能核磁共振研究表明，母语为汉语的被试加工与汉语词汇音调相关的音调主要在左半球，而加工与语调相关的音调主要发生在右半球(Gandour，Dzemidzic，Wong，Lowe，Tong，Hsieh，Saahamnuwong，&Lurito，2003)。
　　由于神经成像实验的时间分辨率比较低，以上提到的结果可能反映了时间聚合的神经事件。在一个奇异球(oddball)实验范式下，Luo等表明听觉词汇音调的早期加工发生在右半球(L凹，Ni，Li，Li，Zhang，Zeng，&Chen，2006)，事实上，这些分歧的观点不需要相互排斥(Zatone&Gandour，2008)。语言和声学因素对发展一个语言感知的神经模型都是必须的，并且需要两个半球的交互作用。Gandour等采用快速反应区别范式的跨语言的fMRI研究检验，由三音节和单音节语言对中的语调和音调的选择性注意诱发的大脑活动。结果中文组比英文组在左侧顶叶区有更大的激活。只有中文组在顶叶、颞叶前部、后部(IⅡ，13，TⅡ，T3)和额极区(IⅡ，Ⅱ3)表现出向左的对称。中英文两组不管在韵律单元或是时间间隔单元，都有颞叶沟中部和额叶脑回中部向右的对称。半球单侧化效应使我们能够区别，中文组的高层次韵律信息表征和不考虑语言经历的低层次声音加工引起的脑活动。偏侧化受语言经历的影响，这形成了内部韵律对外部声音信号的表征。研究者认为言语韵律感知主要受右半球调节，但是当要求语言加工而不进行对复杂声音的声学分析时，会偏侧到任务加工的左侧脑区，半球单侧化效应会因为具体脑区在不同加工阶段的作用不同而不同(Gandour，Tong，Wong，Talavage，Dzemidzic，Xu，Li，&Lowe，2004)。也有研究者认为，语言加工可能是早期低层次的声学加工发展来的(Luo，Ni，u，Li，Zhang，Zeng，&Chen，2006)。
　　韵律信息强度变化也可以影响大脑神经网络的激活范围。Hesling等使用fMRI技术和包含不同程度韵律信息的刺激材料，来确定负责韵律整合的脑区。研究对比了当听到高低韵律表达语言刺激时的脑区活动；不同分听实验条件下的脑区活动；在NN(双耳正常语言材料)FF(双耳听的低通过滤语言材料)条件下，高低程度韵律信息的效应。结果发现，每个刺激会诱发一个皮层活动，平的语言刺激会削弱双侧上颞叶回的活动，高强度韵律信息更能引起右侧负责语言整合的广泛神经通路具体的激活(如BA44，BA21-22&A3940)。更精确地说，右侧的BA44参与韵律主要声学特征F0的调音过程。实验不仅表明双侧神经网络的参与，而且表明高强度的韵律信息比低强度的韵律信息诱发更广泛的参与言语感知的神经网络(Hesling，Clement，Bordessoules，&Allard，2005)。
　　总体来看，过去几十年的韵律认知机制研究取得了一些具有启示性的成果。未来关于韵律加工脑机制的研究，要充分考虑个体的理解能力、韵律产生的情境以及这些因素的交互过程对韵律加工的影响。
　　
　　3　评价和展望
　　
　　即时加工方法的应用，使对韵律的研究日渐深入，包括韵律对阅读理解的作用和神经机制在内的诸多方面都有了较大的发展。虽然采用新的脑成像技术可以更好地研究和验证韵律的认知加工过程，但由于韵律本身的复杂性，研究者们对韵律的研究还存在一定局限性。
　　首先，关于韵律和句法的交互作用发生在句子理解的哪个阶段的研究结论相互间存在着矛盾。这些矛盾的结果是来自于心理语言实验中对韵律的控制不同?不同语言加工之间的差异?还是来自于重读与韵律边界自身等韵律特征的不同加工特性?这些问题有待进一步研究，
　　其次，对韵律和其他心理过程之间的交互作用模式和中介变量的探讨，有助于我们更好地认识韵律。如阅读中韵律信息的强度变化怎样对句法加工产生影响?韵律信息是在哪一时间位置上作用于句法加工的?此外，如果增加了语境以后，听话者是否使用韵律引导句子的分析及如何使用还没有定论。
　　再次，汉语不同于大多数印欧语系，它在声学、词汇学和句法结构方面都有自己一些独特的特点，目前国内对韵律的心理学研究还处于初步发展阶段，认知神经科学为我们提供了一个良好的视角，使中国的研究者能对中文这种表意的文字系统进行更深入的研究。如何运用中文的实验材料，丰富我国的韵律心理研究，是一个极具创新性的课题。

相关热词搜索：韵律 神经 机制 韵律在语言加工中的作用及其神经机制 神经分类及作用机制 酒精对神经系统的作用机制