反馈负波及其理论解释|第五波理论

　　摘要：反馈负波(feedback related negativity，FRN)是由代表行为错误或失去金钱等负性反馈刺激诱发的一种脑电波成分，出现在刺激呈现后250～300ms左右，偶极子源定位发现这一成分产生于前扣带回附近。对于FRN的功能意义的解释主要有强化学习理论和情绪动机假说，前者认为FRN反映的是神经系统对反馈刺激的认知加工过程，而后者认为FRN反映的是对情绪动机意义的评价过程。两种理论框架下还有一些目前研究仍待解决的问题，可能是未来研究的方向。
　　关键词：反馈负波，强化学习理论，情绪动机假说，前扣带回，事件相关电位　分类号：B841
　　
　　人们总是在行为的过程中不断地利用外界反馈刺激的信息来监控自己的行为，及时发现自己的错误，然后进行动作调整。近年来，对反馈刺激引发的反应的研究成为认知神经科学研究的热点之一，借助于新的技术手段，可以更加深入地去了解结果反馈刺激引起的内部神经活动及其功能意义，这不仅具有心理学理论意义，同时对于人类工程学及相关学科也有现实的应用价值。事件相关电位(eventrelated potentials，ERP)的研究发现，反馈负波(feedback related negativity，FRN)是人脑加工反馈刺激最重要的相关脑电成分，它的源定位在ACC附近。与其他的事件相关成分相比，FRN有其自身的特点。已有的理论似乎又不能解释所有的结果反馈刺激诱发的脑电波负向偏转现象。本文在介绍了FRN现象的基础上述评目前相关的理论解释，目的是找到未来研究的方向。
　　
　　1　FRN现象
　　
　　FRN的研究是在错误相关负波研究的基础上发展而来的。研究者认为人脑存在一个错误觉察系统，及时发现错误，调整行为。在行为水平上，Rabbitt为人类这种错误觉察纠正系统提供了清楚的实验依据，但其中的脑机制还不清楚。上世纪90年代初，研究者们在快速反应任务中，如Flankers任务，记录被试的脑电波，发现在错误按键反应后100到150ms左右，脑电波会出现明显的负向偏转，于前中部的电极点上达到峰值。这一成分Falkenstein等人称之为(error negativity，Ne)，Gehring等称之为(error-related negativity，ERN)，这就是错误相关负波。
　　在这种快速反应时任务中，被试在按键之前就知道了正确的反应应该是什么，因此，只要被试按键后马上就能察觉到自己是否错误，然而，在有的实验任务中被试不能立刻知道自己是否做出正确的反应，只能依靠外界信息的反馈。Miltner等人在1997年研究了被试在时间估计任务中对结果反馈的事件相关脑电位，发现伴随着不正确结果的反馈，脑电波也产生了负向偏转。Milmer等人认为这一成分跟错误相关负波一样，可能反映的是错误觉察的过程。后来的研究者也称之为ERN或feedbackERN,简称为FRN。在本文中，为了区别起见，由错误按键反应诱发的相关负波，即response-lockedERN都称之为ERN，如图1；凡是由反馈刺激诱发的负波，即feedback-locked ERN都称之为FRN，如图2。
　　对FRN进行偶极子溯源分析发现，脑电波头皮分布定位在前扣带回(anterior cingulated cortex．ACC)，可能包括辅助运动皮质在内的区域。后面的研究也认为是在内侧前额叶部分(medial-frontalcortex，MFC)。
　　
　　2　FRN研究的实验范式
　　
　　在FRN的研究中主要用到的任务是时间估计任务和简单赌博任务。时间估计任务的实验过程是首先给被试一个声音的提示表示计时开始，然后让被试来估计一秒钟的时间，如果感觉到了一秒钟就按键停止计时，间隔1秒后呈现反馈刺激告诉被试前面对时间的估计是否正确。一般被试估计的时间在一个时间段内，都算正确，并且正确的标准会根据被试前面试次的表现进行实时的调整。实验证明，不同的感觉通道呈现的负性反馈刺激与正性反馈刺激相比都引起了更大的电位偏转。
　　
　　简单赌博任务一般是要求被试在电脑程序上进行类似赌博的游戏，每一次的输赢都会累加到被试最后的报酬中去。Gehring和Willoughby记录人们玩赌博游戏时的脑电活动，让被试在屏幕上呈现的一个表示5美分和另一个表示25美分的两个卡片中进行按键选择，随后被试选择的卡片被圈起来，以帮助被试确认自己的选择。一段时间后，反馈刺激出现，卡片变了颜色，红色表示输钱，绿色表示赢钱。简单赌博任务也有其他的变式，例如有的赌博任务是在屏幕中呈现四张扑克牌(不同花色的Ace)，被试的任务是进行按键选择，猜测哪张扑克牌接下来会保留在屏幕上，四个不同的按键分别对应四张牌。被试选中的那张牌会突出呈现出来，帮助被试确认自己的选择，紧接着呈现代表反馈刺激的那张牌，如果被试猜测正确则会赢钱，否则会输钱。被试不知道的是，输赢的结果都是由计算机决定的，输赢的概率差不多。
　　在这些不同的任务中都可以观察到FRN这种成分，但这两种任务范式都有各自的优缺点：在时间估计任务中，被试可以根据结果的反馈调整自己的反应，不断学习，因此更加符合现实生活的情境，但练习效应的存在和必须控制正负反馈比例的要求始终有矛盾。赌博任务的优点是把被试每一次的表现都和最后的酬劳联系起来，这样增强了被试完成实验任务的动机，缺点是，一般输赢都是由电脑程序来控制，反馈不能提供真实的信息，而有研究认为负性事件对于学习和行为的改变非常重要，正负反馈与行为正误保持一致才能符合以下将要阐述的强化学习理论的预期。
　　另外，在其他的一些实验任务中也可以观察到类似于FRN的脑电成分。Papo等人在一个假设检验的范式中，首先给大学生被试呈现三个阿拉伯数字，让被试在心中形成一个关于这三个数字的潜在的规则，随后呈现其他的几组数字，被试可以连续检验自己的假设是否在这些数字中存在，并可以通过反馈刺激得知假设是否正确，从而修正这个假设。检测反馈刺激的事件相关电位成分，发现在所有的电极点上，正负反馈都有差异，代表不正确反应的负性反馈刺激在类似P300成分前诱发了负向偏转，这种负向的偏转可能就是一种类似FRN成分。
　　
　　3　FRN的理论解释
　　
　　从Miltner等人首先在时间估计任务中发现FRN现象开始，对于FRN现象内部的神经机制的探讨越来越多，目前主要理论解释是强化学习理论。另外最近有研究者开始强调FRN反映的情绪动机意义，这种观点被称为情绪动机假说或情绪理论。强化学习理论主要的观点认为FRN是在神经系统对反馈刺激的认知加工过程中产生的，而后者认为FRN是对反馈刺激的情绪动机意义的评价过程中产生的。
　　3.1　强化学习理论
　　Miltner等人认为这种错误反馈诱发的负偏向可能反映的是一个错误觉察机制。这种机制不局限于特定任务和特定的错误，可以由对不同的错误处理而激活，如选择反应时任务中错误的选择、Go-NoGo任务中错误的动作、或在他们研究中错误的时间估计等。Holroyd等人发展了Milmer等的观点，他们认为错误相关负波是当负性强化学习的信号通过中脑多巴胺系统传输到ACC时产生的，并且这种信号被ACc用来调整当前的行为。具体的过程是：基底神经节参与评价当前的事物，如果错误的行为反应造成的当前事件比期望差，多巴胺神经细胞就会引起相位减弱的活动，多巴胺系统将这些信息传输到ACC，由于多巴胺能的减弱不能抑制ACC上神经元的活动，此时就产生了较大波幅的脑电负波，如果当前事件比期望的要好，中脑多巴胺神经细胞就会引起相位增加的活动，此时在ACC上就不能产生脑电负向偏转。基底神经节就把这样两种信息分别利用并调整对下一次结果的预期，因此系统就逐渐地学会对奖赏和惩罚的早期预警。同时，多巴胺信号都被用做强化学习的信号传输到前额叶运动皮层，寻求合适的行为的调整。
　　对于这几个不同的认知加工阶段，都有很多直接或间接的实验支持。本文从以下方面阐述了关于这个理论的实验支持。
　　第一，评价系统是按照二元分类的规律来将当前的事件分成“好”和“坏”两种结果。研究发现，FRN相关的评价系统对输赢的具体数量不敏感，而是将所有可能的结果分成好与不好两种情况。类似地，Holroyd等系统地研究中性反馈刺激诱发的ERP波形，中性反馈刺激表示的是不具有奖励或惩罚的意义，也不反馈被试是否反应正确或错误，发现中性反馈刺激同负性反馈刺激一样也诱发了脑电的负向偏转，这种结果与最近关于产生FRN的评价系统将反馈分成满意或不满意的两类的观点一致。
　　第二，FRN的波幅取决于期待与事实之间的差别。神经系统对当前事物的评价是依赖于背景的，对结果的评价是好是坏是基于当前情境中能得到的各种可能的结果而言的，因此系统会在不同的情境中形成不同的期亡望。例如赢1000块钱相当于赢500块是好的，但相当于赢2000块就是不好的结果。另外，Holroyd等人按照强化学习理论的推断，期望越强的条件下负性反馈刺激会引起更大的波幅，他们认为奖惩刺激的频率将会影响这一系统对负性刺激的认知。他们设置了两种实验条件，一种是惩罚概率小，另一种是惩罚概率大。结果发现，低惩罚概率的情境下惩罚这种负性反馈刺激引起的波幅明显比高惩罚概率下的要大，从而证实了实验的预期。
　　第三，人们在强化学习过程中对正负强化刺激信号具有偏好。在Frank等人的一项研究中，让30名帕金森病人与19名正常被试同时去完成“trial-and-error”任务，发现帕金森病人对正性结果更加敏感。后续研究发现，有的人倾向选择正性的结果，这类人FraIlk等称之为“positive learner”，他们在遇到两个能带来正性反馈结果的概率差不多的选择时，会产生更大的FRN，相反的，有的人尽量避免负性的结果，这类人被称之为“negative learner”，他们在面临都可能带来负性结果的选择时，会产生更大的FRN。这些研究证实了认知强化学习中存在动态的多巴胺系统的模型，同时也说明这种FRN可能反映了被试从错误反应中学习比从正确反应中学习多多少的程度和决策冲突的大小。
　　第四，系统利用内部或外部的信息进行学习的过程可以反映在ERN和FRN的波幅上。很少有研究把由错误觉察引起的ERN和负性反馈诱发的FRN两种成分放在一起进行对比，Holroyd等人在同一个实验中研究了两者的关系。他们设置了一个“Probabilistic Learning”的任务：六张卡片随机呈现多次，让被试在两个键中进行选择按键反应，按对了键就会赢钱。实际上六张卡片中有两张分别100％对应其中一个按键，还有两张卡片分别50％地对应其中的一个按键，另外，无论被试按哪个键，第五张卡片始终会输钱，第六张卡片始终会赢钱。实验的结果如Holroyd等人的预期一样，在实验的开始阶段，被试没有掌握任务的规则，所有的负性反馈刺激都诱发了FRN，但随着实验的进行，被试逐渐学会了规则。在卡片和按键100％对应的情况下，按键本身就决定了输赢，因此错误按键产生的ERN波幅越来越大，而负性反馈产生的FRN波幅变小：在卡片和按键50％对应的情况下，被试需等待反馈信息决定反馈的结果，负反馈会持续产生FRN。而在卡片始终赢或始终输的情况下，无论是反应还是反馈都不能产生负向偏转的脑电位。由此可见，强化学习理论中认为多巴鞍的活动产生了ERN和FRN，并且整个系统觉察错误、利用信息进行强化学习、调整行为是一个动态的过程，本实验中ERN和FRN的波幅的变化证实了这样一个动态系统的存在。但利用内部和外部的信息来进行行为的监控和调整是否共用相同的脑机制在其他的研究中还存在异议。
　　
　　3.2　情绪动机假说
　　强化学习理论对于结果FRN的认知功能的解释被许多实验所证实，并且已经建立了计算模型。但最近一些研究者认为FRN可能反映的是对错误的行为或者负性反馈引起的情绪动机意义的评价。并且对于FRN的发生源，前面研究都比较一致的认为在ACC及附近，而ACC不仅与认知过程有关，同时也与情绪功能的关系密切，它对于人们评价行为的好坏非常重要。
　　Gehring和Willoughby的实验中，要求被试完成一个简单赌博任务，被试在两个可选择的筹码“5”和“25”中做出选择，同时对输赢的结果给予反馈，发现输钱的负性反馈诱发了FRN，Gehring等称之为前额叶负波(medial frontal negative，MFN)。实验的结果说明了FRN反映的是对得失的敏感而对反应的正确错误不敏感，同时发现被试在输钱后更加倾向冒险，这些都与强化学习理论相矛盾，因此他们认为前扣带回的活动不是对每一次行为的评价而是对行为造成的结果引起的情绪动机意义的快速评价。Nieuwenhuis等人质疑了Gehring和Willoughby的这个研究，认为他们在实验程序中用颜色突出了结果的输和赢，因此FRN对金钱的得失敏感，而对行为是否对错不敏感。Nieuwenhuis等改进了实验程序，在不同的实验程序中分别用颜色突出了金钱得失因素和行为正误因素，跟实验假设相吻合，FRN对利益敏感还是对反应敏感取决于哪个部分被强调，但是他们认为改进的研究仍然不能回答FRN是否涉及情绪动机的加工过程的问题。
　　支持情绪动机假说的还有其他的一些研究。如果按照强化学习理论的观点，FRN反映的是系统监控当前执行的动作行为的一个学习的过程。那么FRN只会在被试有实际行动时才产生。而如果认为 FRN是ACC对当前事件的一个评价的过程，那么不管有没有实际的动作，都会产生FRN。Yeung等人利用一个不需要被试进行反应任务，结果发现在被试没有做出反应但表示失去金钱的反馈刺激也产生了FRN这种脑电波成分，类似的研究也得到了相同的结论。可见ACC不仅是对前面行为的学习的功能，还有对奖赏或惩罚的反馈结果的动机意义的处理功能。这时的FRN波幅相比需要被试进行按键选择的任务中要小，Yeung等认为这是由于被试的主观参与实验的程度有关系，说明动机因素可能影响了FRN的结果。
　　另外如果认为FRN就是ERN的一种，那么有很多的研究证明ERN跟情绪、人格、动机因素有关。据此，可以推断，FRN也会受到情绪，动机以及人格变量因素的影响。Masaki等的研究就提到情绪动机影响FRN。
　　
　　4　目前研究未解决的问题
　　
　　4.1　两种理论的争论
　　FRN反映的是认知加工过程本身还是对认知过程所产生的情绪评价是上述两种理论争论的焦点。但两者都有一个共同的观点认为FRN起源于ACC。早在2000年，Bush等综述了大量的涉及ACC的功能定位的实验报告，得出结论，认知任务和情绪任务分别激活了ACC不同的分区。ACC的喙部(rostralanterior cingulate codex，rACC)主要跟情绪活动有关，而ACC的尾部(caudal anterior cingulate codex，cACC)主要在认知任务中活动较强。但最近Davis等报告了一个采用单细胞记录技术的研究，认为ACC的这种认知与情绪的分区可能会更复杂，各部分的功能不是独立的。因此起源于ACC的FRN反映的仅仅是察觉错误的认知过程，还是对由于错误或者失去金钱的结果产生的情绪的加工很难从源定位和成像的角度找到直接的根据。Yeung的观点是认知理论和情绪理论应该是相互补充而不是互相矛盾的。甚至Nieuwenhuis等认为行为监控等认知过程和在此基础上产生的情绪意义评价可能复杂地交织在一起，很难分离开。如果事实如此，那么一种选择是认为FRN到底反映的是认知加工过程还是情绪加工过程的争论没有意义，另一种选择是对于这种争论还需要使用更加精密的技术，进行更为精确的研究。
　　
　　4.2　FRN是否与ERN反映的是相同的神经活动过程
　　近年来关于FRN的研究相对较多，而对ERN的研究相对较少，一些研究者笼统地将FRN也归为ERN其中的一类。但许多的研究并没有正面的回答这个问题：两者是否是同一回事?Miltner等认为时间估计任务中产生的FRN和ERN的是相似的，因为两者都是由错误的反应诱发的脑电成分。一些偶极子定位和磁共振的研究也发现两者都起源于内侧额叶，可定位于ACC及附近区域。但Yeung等人研究中没有错误反应但负性反馈刺激也能得到FRN，这显然与快速反应时任务中的ERN成分有很大的差别。同时，一项研究表明，FRN和ERN的源定位是不一致的，系统利用内部或外部的信息进行行为的监控和调整可能是不同的神经活动过程。由上可见，FRN与ERN是否反映的是相同的神经活动过程还值得探讨。
　　
　　4.3　FRN是否反映的是冲突检测的过程
　　Holroyd等人的观点是ERN和FRN一样都反映的是错误的觉察过程。而一些研究提出了关于ERN的另外的一种理论解释：冲突检测理论，这一理论是由Carter和VanVeen等人提出的，他们认为ERN反映的不是失匹配而是反应表征之间的冲突。按照这种理论的推断，当错误反应与正确反应高相似时ACC活动增强，为了验证此理论，Gehring和Fencsik研究了反应相似性和冲突对ERN的效应，利用包含手和脚的运动的任务，结果ERN在错误反应与正确反应高相似冲突较强时波幅较大，这结果支持了冲突检测理论。
　　据可查阅的文献，很少有研究认为FRN也涉及到冲突检测过程，除了Jia等人最近报告的一个研究，实验过程是首先在屏幕中间呈现一个颜色块(红或绿)，然后让被试按键猜测接下来出现的颜色块是否跟这个颜色块的颜色一致，接着呈现反馈的颜色块(红或绿)，如果被试猜测正确，则被试会赢钱，如果猜错则会被罚钱。随后要求被试再次按键确认自己是否猜对。跟大多数研究结果一致的地方是，当被试猜测错误，失去金钱时观察到了FRN，但有趣的是无论被试输或赢，当前后两个颜色块的颜色不一致时也观察到了FRN，在这里知觉冲突的主效应明显。这个结果显然是目前的理论难以解释的，还需要新的研究来证实FRN是否跟冲突检测有关联。
　　
　　4.4　FRN是否能反映社会情绪加工过程
　　前面的研究发现，让被试观察他人在快速反应时任务中犯错时，也能得到负向偏转的脑电位。在这个基础上，Yu和Zhou在一个赌博任务中同时记录了被试接受自己行为结果的反馈和他人行为结果的反馈的脑电。在两种情况下都获得了反馈相关负波或称之为反馈相关类似的负波，说明相同的神经机制卷入了评价自己和他人行为的结果。同时Fukushima和Hiraki让被试和实验助手一起完成一个竞争性的赌博游戏，两个人轮流进行赌博，自己赢则对方输，自己输则对方赢。结果发现，女性被试在感受他人失去金钱时也会被诱发前额叶负波，尽管自己能够受益，而男性被试却不会将别人输钱当作负性反馈。Fukushima和Hiraki认为这种前额叶负波对社会情绪加工过程敏感，人们在复杂的社会情境中快速处理外界信息的神经活动出现了个体差异。
　　社会认知神经机制已成为认知神经科学的热点问题，前面这些研究已开始将FRN这种脑电位跟社会认知联系了起来，但是否可以利用ERP的技术手段去研究在更复杂的社会情境中的社会认知过程，还有待更进一步的证实。
　　
　　5　结束语
　　
　　从Milmer等人1997年的研究开始，关于结果反馈刺激的ERP研究已经有10年左右。目前这方面的研究取得了很大的进展，对于人脑加工负性反馈刺激最相关的FRN成分有了初步的认识。但是对于FRN的反映的神经活动过程不能形成统一的理论解释，另外还有一些具体的问题当前的研究也不能很好地回答，对于未来的研究本文提出如下几点建议：
　　第一，要开展对复杂反馈刺激的研究。通过对前面的研究发现，不同任务中反馈刺激一般包含两个维度的信息：行为正误和金钱得失。行为正误这个维度指的是告诉被试是否做出了正确的反应，而金钱得失维度指的是反馈刺激仅仅提示被试是否赢钱，这两个维度的信息在两个研究中都加以了区分。许多的研究都是单独呈现或单独强调其中一个维度的信息，而人脑对于同时强调了这样两个维度信息的复杂的反馈刺激的加工过程还需要新的研究来探讨。
　　第二，要考虑人格因素的作用。前已述及，FRN反映的神经活动过程是否涉及情绪动机因素还存在争论，前人的研究大多采用被试内的设计，而很少考虑到被试之间的人格差异，因此将来的研究可以考虑采用不同的人格类型的被试来进行实验。
　　第三，要注意反馈刺激的材料。不同的研究者对于FRN都有不同的理解，造成这个问题的原因可能是在前人的研究中采用了很多不同的实验任务，而且对于反馈刺激的材料类型也没有统一的规范。有的研究就表明反馈信息的复杂性会影响FRN的波幅，模棱两可的反馈刺激会引起更大的负波。可见在将来的研究中，我们应注意反馈刺激的材料属性和呈现方式等。
　　第四，要结合新的技术。想真正弄清楚FRN所反映的神经活动过程，对FRN这一成分进行精确的源定位是非常重要的，ERP技术虽然具有较高的时间分辨率，但空间分辨率相对不足，采用ERP的技术与高空间分辨率的磁共振，单细胞记录等脑成像技术相结合的方法必将也是未来反馈刺激研究的趋势。

相关热词搜索：波及 反馈 解释 反馈负波及其理论解释 负协同效应名词解释 本量利分析的名词解释