Can you summarize the following document?
        
  操作性條件反射的第一位研究者是愛德華·桑代克(1874-1949),桑代克觀察他的貓試圖逃出他所設計的迷箱(puzzle box)的行為。第一次貓花了很長時間才從箱子裡逃出。有了經驗之後,無效的行為出現頻率逐漸減少,而成功的行為出現頻率則逐漸增加,此外貓成功逃出迷箱所用的時間也越來越少。在桑代克的效果律中解釋,成功的行為產生滿足的結果,而這種結果經由經驗被“印入”(stamped in),使得成功行為的出現增加。失敗的行為則產生厭惡結果,因而被剔除(stamped out),造成失敗行為的出現頻率減少。簡單的說,某些結果能夠增強行為,而某些結果能夠減弱行為。透過繪製逃脫與試驗的曲線,他也畫出了知名動物學習曲線。  通過卓有成效的研究,桑代克總結了“試誤說”的三大定律:

  伯爾赫斯·弗雷德裡克·斯金納(1904-1990)被稱為操作性條件反射之父,他的作品在相關主題中被頻繁引用。他1938年的著作《有機體的行為:一種實驗分析》(The Behavior of Organisms: An Experimental Analysis),開啟了他對操作性條件反射及其在人類和動物行為中應用的終身研究。斯金納跟隨恩斯特·馬赫的觀點,拒絕了桑代克提到的不可觀察的心理狀態,如滿足,並在可觀察行為及其同樣可觀察的後果的基礎上進行分析。  斯金納認為,經典條件反射過於簡單化,無法用來描述像人類行為一樣複雜的東西。他認為,操作性條件反射能更好地描述人類行為,因為它檢驗了有意的行為的原因和影響。  為了實施他的實證研究法,斯金納發明了操作性條件反射室(operant conditioning chamber),或“斯金納箱”,將鴿子和大鼠等受試者在隔離在內,並令其接受精密控制的刺激。與桑代克的謎箱不同,這種設計允許受試者做出一兩個簡單、可重複的反應,這種反應的比率成為斯金納的主要行為測量。另一項發明,累積記錄器,能產生圖形記錄,從中可以估計出其反應比率。這些記錄是斯金納和他的同事用來探討各種強化程式反應比率的主要資料。強化時間表可以定義為“根據某些明確規則向生物體提供強化的任何程式”。反過來,時間表的影響成為了斯金納發展他對操作性條件反射的基本發現。 他還利用了許多不太正式的人類和動物行為觀察。  斯金納的許多著作都致力於將操作性條件反射應用於人類行為。1948年,他出版了《》,這是一個圍繞他的條件反射原則組織的一個和平、快樂、高效生產的社群的想象。1957年, 斯金納出版了《》,將操作性條件反射的原則擴充套件到語言,這種人類行為的形式在以前一直是由語言學家等人以完全不同的方式分析的。斯金納定義了新的功能關係,如“mands”和“tacts”來捕捉語言的一些實質,但他沒有引入任何新的原則,而是將言語行為視為和其他行為一樣的,由其結果控制的行為,其中結果包括聽眾的反應。

  

  斯金納(1904-1990)以桑代克的理論作為基礎,建立了關於增強、懲罰與消弱的詳細的操作制約理論,併發明瞭,一個實驗箱來高度控制目標動物的學習行為。增強(reinforcement)和懲罰(punishment)兩種刺激是操作制約的核心思想,另外消弱(extinction)指的是沒有產生作用的刺激。增強、懲罰或是消弱不但能夠使用在實驗室中,也能夠用來形容包括人類以外其他動物的自然環境。

  斯金納所建構的操作制約理論,與諾貝爾獎得主康拉德·勞倫茲所提出的固定行為型態(fixed action patterns,FAPs)或本能行為有所對比。這些斯金納所說的行為,存在外在的操作制約變數,在進行行為的廣泛深入分析時是需要仔細思考的。  在狗的訓練中,利用覓食的慾望來對工作犬和偵查犬等進行訓練。這種來自於狩獵本能的固定行為型態的刺激,是產生非常困難但一致的行為的鑰匙刺激,且在大多數的例子裡,並不包括操作、古典或其他制約。在固定行為型態的演化塑造過程中,這些型態在長久的時間由於生存機制而維持穩定,也就是操作制約。  根據操作制約的規律,任何一個在一段時間內一致回饋的行為,將會在間歇性的對反應增強,並導致更穩定的反應速率,且對消弱有較大的抵抗力的行為更快的被消除。因此,以一隻偵查犬來說,任何對尋找指令作出的正確的行為,必須總是被以玩具或球的回饋來對反應作初始的獲取。之後則是衰減的過程,增強會被"減小",也就是並非每次的反應都被增強,使狗進入間歇性增強的行程,使牠對沒有增強的情況有更強的抵抗力。  然而,有些訓練者現在只利用狩獵慾望來訓練寵物狗,並發現效果狗對訓練的反應比只根據斯金納的操作制約更好。顯示本能在遊戲時的支配。

  消弱發生時,在不間斷的執行動作之後,會導致欲消除行為確實的減少,但在短期內物件可能會產生消弱突然爆發(extinction burst),這種情形經常發生在消弱剛開始的時候。消弱突然爆發會使行為的出現頻率在短時間內暫時性的增加,之後欲消除的行為會開始減少。  舉例而言,某實驗中利用食物增強一隻鴿子敲啄按鈕的行為,每當牠敲啄按鈕,將會出現一些能吃的種子作為增強物,因此鴿子飢餓時,便會敲琢按鈕以獲得食物。然而當某一次敲啄按鈕之後食物不再出現,這隻鴿子將會再試著敲啄一次按鈕,若是食物仍未出現,牠將會一次、一次又一次的敲啄...。當這種瘋狂的行為依然無效的時候,鴿子就會減少敲啄的頻率。這種消弱突然爆發(extinction burst)行為擁有演化上的優勢,因為在自然界中,動物的行為並非絕對的附帶增強刺激,一次失敗之後,牠們有可能在多試一次之後確實得到增強。因此這些動物比起其他輕易放棄的動物更有生存優勢。  消弱-誘導變異(Extinction-induced variability)扮演類似的角色。當消弱開始,改變的並非只有行為的頻率增加,行為的改變也會反映在反應形(response topography、反應的型式)上。物件會一步一步的稍微改變他們的表現,這些改變可以包括特殊的動作、力道的大小、和行為作用時間的小小改變等等。成功的行為變化將會被保留,失敗的行為變化則會漸漸減少。在常態分佈中,水平線方向表示某行為可能的變異,垂直線方向表示某狀態下的行為出現頻率。當一個行為出現在分佈圖的中央(出現頻率最高)時,表示在此動物的經驗中,這種行為變異最能有效的產生增強刺激。

  迴避訓練屬於一種負向增強的安排。物件經由所厭惡的刺激而終結或阻止某些反應。

  Solomon和 Wynne使用Shuttle Box來實驗。Shuttle Box是一個實驗箱子分成兩個房間,其中一間地面會通電,目標要學會離開 (shuttling) 原本房間來避免電擊

  這個理論來自於對辨別迴避學習的解釋,並假設有兩種過程發生。辨別迴避學習 (discriminated avoidance learning) - 新的刺激(如光線或聲音)出現之後,發生某個令人厭惡的刺激如驚嚇或電擊,兩者類似古典制約中的制約刺激(CS)和非制約刺激(US)。當動物表現操作反應時,各個帶有CS的US被移除。在第一次試驗(稱作逃脫試驗)中,動物會經常經驗到CS和US,表現出操作行為以終結令人厭惡的US。同時動物將學習到在CS發生的時候表現某些行為能夠使US的出現被阻止。例如Miller一個黑白雙房間實驗箱中,老鼠學懂要按制及推輪子來開啟白房間的門來逃脫至黑房間,這種學習被稱為辨別迴避學習。  一個有關訓練動物的操作制約訓練觀點是使用塑型(shaping),增強近似成功的行為,就像連鎖一樣。

  兩種重要的時間間隔決定迴避學習的速率,

  因為持續不能離開該環境,而目標降低學習其他方法的能力。影響因素有:  避免習得性無助,可以透過:

  羅斯提·理查生(Rusty Richardson)和馬龍·德倫(Mahlon deLong)首先找出關於制約刺激反應的神經元。他們發現將乙醯膽鹼釋放到大腦皮質的基底核神經元,能夠在制約刺激或是制約刺激消失的回饋之後被短暫活化。這些神經元在正向和負向增強時被活化,並且在一些皮質區域產生突觸可塑性。  證據並顯示多巴胺(dopamine)也同時被活化。多巴胺通道只有正向回饋,非造成厭惡的增強,且在額葉皮質區域有較高的濃度。有所不同的膽鹼(cholinergic)投射(projections)則在後葉,如視覺皮質區,也有作用濃度。
操作制約()是一種由刺激引起的行為改變的過程與方法,又稱為工具性條件反射(instrumental conditioning)或工具學習。操作制約與古典制約(classic conditioning)有所不同,操作制約的行為是個體「自願」進行的行為,當行為得到獎勵或懲罰時出現刺激,反過來控制這種行為;而古典制約則是使個體產生非自願反應的作用。