# Uczenie się

## Warunkowanie sprawcze

Poprzednia część tego rozdziału koncentrowała się na rodzaju uczenia się asocjacyjnego znanego jako warunkowanie klasyczne. W warunkowaniu klasycznym jakiś bodziec w otoczeniu automatycznie wyzwala reakcję, a eksperymentatorzy trenują jednostkę, aby reagowała w taki sam sposób na inny bodziec. Teraz przechodzimy do drugiego rodzaju uczenia się asocjacyjnego, a jest nim warunkowanie sprawcze (ang. ). W warunkowaniu sprawczym zwierzęta i ludzie uczą się kojarzyć zachowanie z jego konsekwencją (). Konsekwencja przyjemna sprawia, że dane zachowanie będzie częściej powtarzane w przyszłości. Na przykład delfin Duszek z  w Baltimore wykonuje salto w powietrzu, gdy jego trener dmucha w gwizdek. Dla delfina konsekwencją wykonania salta jest posiłek: ryba.
Psycholog Burrhus Frederic Skinner (1904-1990) zauważył, że warunkowanie klasyczne ogranicza się do zachowań wywoływanych odruchowo i nie uwzględnia nowych zachowań, takich jak jazda na rowerze. Zaproponował teorię opisującą, jak takie zachowania powstają. Skinner uważał, że zachowanie jest motywowane konsekwencjami, jakie nas za nie dosięgają: wzmocnieniami i karami. Zaproponowana przez niego koncepcja, że uczenie się jest wynikiem konsekwencji, opiera się na prawie efektu, które po raz pierwszy zaproponował Edward Thorndike (1874–1949). Prawo efektu (ang. ) mówi, że zachowania, po których następują konsekwencje satysfakcjonujące dla osobnika, częściej się powtarzają, a zachowania, po których następują konsekwencje nieprzyjemne, powtarzają się rzadziej (Thorndike, 1911). Innymi słowy: jeśli człowiek lub zwierzę podejmuje działanie, które przynosi pożądany przezeń rezultat, to istnieje większe prawdopodobieństwo, że zrobi to ponownie. Jeśli organizm zrobi coś, co nie przyniesie korzystnego dla niego rezultatu, to istnieje mniejsze prawdopodobieństwo, że zrobi to ponownie. Przykładem działania prawa efektu jest zatrudnienie. Jednym z powodów (i często głównym), dla którego przychodzimy do pracy, jest to, że dostajemy za to wynagrodzenie. Jeśli pracodawca przestanie nam płacić, prawdopodobnie przestaniemy się pojawiać w pracy, nawet jeśli ją bardzo lubimy.
Na podstawie prawa efektu Thorndike’a Skinner zaczął przeprowadzać eksperymenty naukowe na zwierzętach (głównie szczurach i gołębiach), aby ustalić, w jaki sposób jednostki uczą się poprzez warunkowanie sprawcze (Skinner, 1938). Umieszczał zwierzęta w urządzeniu w formie skrzynki, znanej obecnie jako klatka Skinnera lub skrzynka problemowa (). Klatka Skinnera zawiera dźwignię (dla szczurów) lub tarczę (dla gołębi), które zwierzę może naciskać lub dziobać w celu otrzymania nagrody: pokarmu pojawiającego się w dozowniku. Głośniki i lampki mogą być wiązane z niektórymi zachowaniami. Nagrywarka zlicza liczbę reakcji zwierzęcia.
Dyskutując o warunkowaniu sprawczym, używamy kilku codziennych słów — pozytywny, negatywny, wzmocnienie i karanie — w szczególny sposób. W warunkowaniu sprawczym określenia pozytywne i negatywne nie są równoznaczne z dobrem i złem, ale oznaczają, że warunkowanie pozytywne polega na dodaniu czegoś w celu zwiększenia lub zmniejszenia repertuaru zachowań, a warunkowanie negatywne – na zabraniu czegoś w celu zwiększenia lub zmniejszenia repertuaru zachowań. Wzmacnianie (ang. ) oznacza, że wzmagasz jakieś zachowanie, a karanie oznacza, że starasz się je osłabić. Zarówno wzmocnienie, jak i karanie może być pozytywne lub negatywne. Wszystkie wzmocnienia (pozytywne lub negatywne) zwiększają prawdopodobieństwo reakcji behawioralnej. Wszystkie kary (pozytywne lub negatywne) zmniejszają prawdopodobieństwo reakcji behawioralnej. Teraz spójrzmy na kombinację tych czterech terminów: wzmacnianie pozytywne, wzmacnianie negatywne, karanie pozytywne i karanie negatywne ().

### Wzmacnianie

Najbardziej skutecznym sposobem nauczenia osoby lub zwierzęcia nowego zachowania jest wzmacnianie pozytywne. Pozytywne wzmacnianie (ang. ) oznacza podanie pożądanego bodźca, aby zwiększyć prawdopodobieństwo danego zachowania.
Na przykład ojciec pięcioletniego Janka dał mu jako nagrodę nowy zestaw do rysowania, gdy syn posprzatął swój pokój. Zatrzymajmy się na chwilę. Niektórzy mogliby powiedzieć: „Dlaczego mam nagradzać moje dziecko za zrobienie tego, co należy do jego obowiązków?”. Zauważ jednak, że jesteśmy stale i konsekwentnie nagradzani. Nasze wynagrodzenia są nagrodami, podobnie jak wysokie oceny i przyjęcie nas do preferowanej szkoły. Pochwała za dobrze wykonane zadanie i zdanie egzaminu na prawo jazdy również są nagrodami. Pozytywne wzmacnianie jako narzędzie uczenia jest niezwykle skuteczne. W niektórych szkołach stwierdzono, że jednym z najskuteczniejszych sposobów podwyższenia ocen z czytania uczniów mających osiągnięcia poniżej średniej jest płacenie im za czytanie. I tak uczniowie drugiej klasy w Dallas otrzymywali 2 dolary za każdym razem, gdy przeczytali książkę i zdali krótki quiz na jej temat. W wyniku tych nagród znacznie wzrosły ich umiejętności czytania (Fryer, 2010). Co sądzisz o takim programie? Skinner, gdyby żył, prawdopodobnie uznałby to za świetny pomysł, ponieważ był zdecydowanym zwolennikiem stosowania zasad warunkowania sprawczego do nauczania i wychowania w szkole. Poza klatką, Skinner wynalazł także maszynę uczącą (Skinner, 1961) — wczesny prekursor nauczania wspomaganego komputerowo — która została zaprojektowana, aby nagradzać małe kroki w nauce. Jego maszyna ucząca sprawdzała wiedzę uczniów podczas pracy nad różnymi przedmiotami szkolnymi. Jeśli uczniowie odpowiedzieli poprawnie na pytania, otrzymywali natychmiastowe wzmocnienie pozytywne i mogli kontynuować; jeśli odpowiedzieli niepoprawnie, nie otrzymywali żadnego wzmocnienia. Chodziło o to, aby uczniowie spędzili na studiowaniu materiału dodatkowo trochę czasu, aby zwiększyć szansę na otrzymanie wzmocnienia następnym razem (Skinner, 1961).
Gdy chodzi o wzmacnianie negatywne (ang. ), to usuwa się niepożądany bodziec, aby zwiększyć częstość danego zachowania. Na przykład producenci samochodów stosują zasady wzmacniania negatywnego w systemach pasów bezpieczeństwa, które wydają dźwięk „piii, piii, piii”, dopóki ich nie zapniesz. Irytujący dźwięk ustaje, gdy przejawiasz pożądane zachowanie. Zwiększa to prawdopodobieństwo, że zapniesz pas także w przyszłości. Wzmacnianie negatywne jest również często stosowane w treningu koni. Jeźdźcy wywierają nacisk — ciągnąc wodze lub ściskając nogi — a następnie usuwają nacisk, gdy koń przejawia pożądane zachowanie, takie jak skręcanie lub przyspieszanie. Nacisk jest bodźcem nieprzyjemnym, który koń chce usunąć.

### Karanie

Wiele osób myli negatywne wzmacnianie z karą w warunkowaniu sprawczym, ale są to dwa bardzo różne mechanizmy. Pamiętaj, że wzmacnianie, nawet gdy jest negatywne, zawsze zwiększa prawdopodobieństwo zachowania; z kolei karanie (ang. ) zawsze zmniejsza prawdopodobieństwo danego zachowania. W przypadku karania pozytywnego (ang. ) podajesz bodziec niepożądany, aby zmniejszyć częstość zachowania. Przykładem kary pozytywnej jest zwrócenie uwagi uczniowi, aby przestał pisać SMS-y na zajęciach. W takim przypadku bodziec (zwrócenie uwagi) ma na celu ograniczenie niepożądanego zachowania (esemesowanie podczas lekcji). Kiedy zachodzi karanie negatywne (ang. ), usuwany jest bodziec przyjemny, aby zmniejszyć powtarzalność zachowania. Na przykład, gdy dziecko źle się zachowuje, rodzic może wyłączyć telewizor podczas emisji ulubionego programu dziecka. W takim przypadku bodziec przyjemny (oglądanie programu) jest usuwany w celu zmniejszenia prawdopodobieństwa zachowania.
Kara, szczególnie gdy jest natychmiastowa, to jeden ze sposobów zmniejszenia częstości zachowań niepożądanych. Wyobraź sobie na przykład, że twój ośmioletni syn Tomek uderzył swojego młodszego brata. Każesz Tomkowi napisać 100 razy „Nie uderzę mojego brata” (kara pozytywna). Jest możliwe, że nie powtórzy już takiego zachowania. Dzisiaj takie metody są powszechne, w przeszłości jednak dzieci często podlegały karom fizycznym, takim jak klapsy. Ważne jest, aby zdawać sobie sprawę, że stosowanie kar fizycznych wobec dzieci ma dwie podstawowe wady. Po pierwsze, taka kara może uczyć strachu. Tomek może stać się bojaźliwy z tego powodu, ujawniając lęk przed innymi bodźcami, ale może też bać się osoby, która wymierzyła karę – ciebie, jego rodzica. Podobnie dzieci karane przez nauczyciela mogą obawiać się go i próbować unikać szkoły (Gershoff et al., 2010). W Polsce, która jest sygnatariuszem Konwencji o prawach dziecka, stosowanie kar fizycznych jest zakazane. Takie zapisy znajdujemy w kodeksie rodzinnym i opiekuńczym. Jednak, co zastanawiające, ustawodawca nie zawarł sankcji za ich stosowanie. Po drugie, wadą kar fizycznych jest prawdopodobieństwo wywołania w dziecku zachowań agresywnych i skłonności do aspołecznych zachowań oraz przestępstw (Gershoff, 2002). Gdy dzieci widzą, że ich rodzice uciekają się do klapsów, kiedy złoszczą się i czują się sfrustrowani, mogą zachowywać się tak samo, gdy to one złoszczą się i czują się sfrustrowane. Na przykład rozzłościło cię złe zachowanie Marysi i dajesz jej klapsa, ale w następstwie tego zdarzenia Marysia może zacząć bić swoich przyjaciół, gdy nie będą dzielić się z nią zabawkami (w takiej sytuacji może także zadziałać mechanizm uczenia się przez obserwację).
Ponieważ jednak karanie pozytywne może być w niektórych sytuacjach skuteczne, zwłaszcza gdy ma na celu natychmiastową eliminację zachowań zagrażających zdrowiu lub życiu, Skinner zasugerował, aby bardzo rozważnie podchodzić do decyzji o karaniu, ważąc jego potencjalne negatywne skutki. Dzisiejsi psychologowie i eksperci od wychowania wolą wzmacnianie niż karanie — zalecają uchwycenie momentu, gdy dziecko robi coś dobrego, a następnie nagrodzenie go za to (wzmocnienie tego zachowania). Zwróćmy jednak uwagę, że karanie jest obecne w życiu społecznym na różnych poziomach. Kary mogą wymierzać różne instytucje, sądy, służby (mandat za przekroczenie prędkości to kara), pracodawcy itd.

### Kształtowanie

W swoich eksperymentach nad warunkowaniem sprawczym Skinner często stosował podejście zwane kształtowaniem (ang. ). Zamiast nagradzać tylko zachowanie docelowe, w kształtowaniu nagradzamy kolejne przybliżenia zachowania docelowego. Do czego potrzebne jest kształtowanie? Pamiętaj, że aby wzmacnianie zadziałało, jednostka musi najpierw przejawiać pożądane zachowanie. Kształtowanie jest potrzebne, ponieważ jest bardzo mało prawdopodobne, żeby człowiek lub zwierzę przejawiali spontanicznie bardziej złożone zachowania. W kształtowaniu zachowania dzieli się je na wiele małych, osiągalnych kroków. Konkretne kroki zastosowane w tym procesie są następujące:
1. 
          Wzmocnij każdą reakcję, która przypomina pożądane zachowanie.
        
2. 
          Następnie wzmocnij reakcję, która bardziej przypomina pożądane zachowanie. Jednocześnie nie wzmacniaj już wcześniej wzmocnionego zachowania.
        
3. 
          Następnie zacznij wzmacniać zachowanie, które jeszcze bardziej przypomina to pożądane.
        
4. 
          Kontynuuj wzmacnianie zachowań coraz bliższych zachowania pożądanego.
        
5. 
          W końcu wzmacniaj tylko pożądane zachowanie.
        
Kształtowanie jest często stosowane w nauczaniu złożonych zachowań lub łańcucha zachowań. Skinner używał kształtowania, aby nauczyć gołębie nie tylko stosunkowo prostych zachowań, takich jak dziobanie tarczy w skrzynce problemowej, lecz także wielu nietypowych zachowań, takich jak obracanie się w kółko, chodzenie „po ósemce”, a nawet gra w ping-ponga; technika ta jest obecnie powszechnie stosowana przez trenerów zwierząt. Ważną częścią kształtowania jest różnicowanie bodźców. Przypomnij sobie psy Pawłowa — badacz wyszkolił je, aby reagowały na dźwięk dzwonka, a nie na podobne dźwięki lub odgłosy. Różnicowanie jest również ważne w warunkowaniu sprawczym i w kształtowaniu zachowania.
Łatwo zobaczyć, jak skuteczne jest kształtowanie w uczeniu zachowań zwierząt, ale w jaki sposób kształtowanie działa u ludzi? Rozważmy sytuację rodziców, których celem jest, aby ich dziecko nauczyło się sprzątać swój pokój. Używają kształtowania, aby pomóc mu opanować kolejne kroki wiodące do tego celu. Zamiast skupiać się na całym zadaniu sprzątania, ustanawiają jego etapy i wzmacniają każdy krok. Najpierw dziecko sprząta jedną zabawkę. Potem sprząta pięć zabawek. Następnie decyduje, czy wziąć dziesięć zabawek, czy odłożyć na miejsce książki i ubrania. Po czym układa wszystko oprócz dwóch zabawek. Wreszcie sprząta cały pokój.

### Wzmocnienia pierwotne i wtórne

Do usprawnienia nauki mogą być wykorzystywane nagrody takie jak naklejki, pochwały, pieniądze, zabawki i inne. Wróćmy jeszcze raz do szczurów Skinnera. Jak szczury nauczyły się naciskać dźwignię w skrzynce Skinnera? Za każde naciśnięcie dźwigni nagradzano je jedzeniem. Dla zwierząt jedzenie jest oczywistym wzmocnieniem.
Co może być dobrym wzmocnieniem dla ludzi? Obiecujesz synowi Marcinowi zabawkę, jeśli posprząta swój pokój. A co w przypadku Joachima, który gra w piłkę? Jeśli dasz mu cukierka za każdym razem, gdy zdobędzie gola, wprowadzisz wzmocnienie pierwotne (ang. ). Wzmocnienie pierwotne to wzmocnienie o wrodzonych właściwościach wzmacniających; tego rodzaju wzmocnienia nie są wyuczone. Wzmocnieniami pierwotnymi są między innymi woda, jedzenie, sen, schronienie, seks i dotyk, a także przyjemność, gdyż organizmy nie tracą popędu do tych rzeczy. Dla większości ludzi wejście do jeziora w upalny dzień jest wzmocnieniem, bo woda chłodzi ciało (zaspokaja potrzebę fizyczną) i kontakt z nią jest przyjemny. Zabawka i cukierek w powyższych przykładach stanowią wzmocnienia pierwotne, gdyż same z siebie dostarczają przyjemności.
Wzmocnienie wtórne (ang. ) nie ma żadnej nieodłącznej wartości i nabywa właściwości wzmacniające tylko w połączeniu ze wzmocnieniem pierwotnym. Pochwała związana z emocjami jest jednym z przykładów wzmocnienia wtórnego, np. kiedy wołasz „Świetny strzał!” za każdym razem, gdy Joachim strzela gola. Kolejnym przykładem są pieniądze — są coś warte tylko wtedy, gdy można użyć ich do zakupu innych rzeczy albo do zaspokojenia naszych podstawowych potrzeb (jedzenie, woda, schronienie — lub innych, będących wzmocnieniami pierwotnymi), albo dostarczają innych wzmocnień wtórnych. Gdybyś znalazł się na bezludnej wyspie pośrodku Oceanu Spokojnego i miał stos pieniędzy, nie byłyby one do niczego przydatne, bo nie można byłoby ich na nic wydać.
Naklejki na tablicy motywacyjnej jako nagroda za dobre zachowanie są także wzmocnieniami wtórnymi. Zamiast naklejek czasami stosuje się żetony, które można wymienić na nagrody i wyróżnienia. Na użyciu tego rodzaju wzmocnień są zbudowane całe systemy kierowania zachowaniem, zwane ekonomią żetonową. Stwierdzono, że ekonomia żetonowa jest bardzo skuteczna w modyfikowaniu zachowań w różnych środowiskach, takich jak szkoły, więzienia i szpitale psychiatryczne. Na przykład badanie przeprowadzone przez Cangi i Dale (2013) wykazało, że korzystanie z ekonomii żetonowej zwiększyło częstotliwość odpowiednich zachowań społecznych i zmniejszyło częstotliwość niewłaściwych w grupie dzieci w wieku szkolnym z autyzmem. Dzieci z autyzmem mają tendencję do zachowań destrukcyjnych, takich jak szczypanie i bicie. Kiedy dzieci biorące udział w badaniu wykazywały odpowiednie zachowanie (powstrzymywały się od bicia i szczypania), otrzymywały żeton „spokojnych rąk”. Kiedy uderzyły lub uszczypnęły kogoś, traciły żeton. Dzieci mogły następnie wymieniać określoną liczbę żetonów na minuty zabawy.

### Rozkłady wzmocnień

Najlepsze efekty w uczeniu osiąga się, stosując wzmacnianie pozytywne. Na przykład Skinner za pomocą tej techniki nauczył szczury naciskać dźwignię w skrzynce problemowej. Na początku eksperymentu głodny szczur mógł przypadkowo uderzyć dźwignię w klatce, po czym do skrzynki wpadły kulki jedzenia. Jak myślisz, co zrobił głodny szczur po zjedzeniu tej porcji karmy? Znów nacisnął dźwignię i dostał kolejną porcję jedzenia. Za każdym razem naciśnięcie dźwigni skutkowało pojawianiem się karmy. Wzmacnianie ciągłe (ang. ) zachodzi wtedy, kiedy jednostka otrzymuje wzmocnienie za każdym razem, gdy wykazuje dane zachowanie. Ten rozkład wzmocnień jest najszybszym sposobem nauczenia określonego zachowania, a szczególnie skuteczny okazuje się w przypadku wprowadzania całkowicie nowego zachowania. Spójrzmy na psa, który nauczył się siadać na rozkaz. Za każdym razem, gdy siada, dajesz mu smakołyk. Ważne jest tutaj wyczucie czasu: odniesiesz największe sukcesy, jeśli podasz wzmocnienie natychmiast po tym, jak pies usiądzie, aby mógł powiązać docelowe zachowanie (siadanie) z konsekwencją (otrzymanie smakołyku).
Na zakończenie ćwiczenia określonego zachowania badacze i trenerzy często wybierają inny rodzaj rozkładu wzmocnień — wzmacnianie sporadyczne (ang. ) — które zwane także bywa wzmacnianiem przerywanym. Jest to sytuacja, gdy osoby lub zwierzęcia nie wzmacnia się za każdym razem, kiedy zachowuje się w sposób oczekiwany. Istnieje kilka różnych rodzajów rozkładów wzmocnień (), które są opisane jako stałe lub zmienne oraz według proporcji lub odstępów czasowych. Pojęcie stałe odnosi się do liczby reakcji pomiędzy wzmocnieniami lub ilości czasu między wzmocnieniami mających charakter ustalony i niezmienny. Pojęcie zmienne odnosi się do liczby reakcji lub ilości czasu między wzmocnieniami niemającymi charakteru stałego, czyli właśnie zmiennych. Interwał oznacza, że rozkład opiera się na czasie między wzmocnieniami, a według proporcji oznacza, że rozkład opiera się na liczbie reakcji pomiędzy wzmocnieniami.
Teraz zestawimy ze sobą te cztery terminy. Rozkład wzmocnień o stałych odstępach czasowych (ang. ) zachodzi wtedy, kiedy zachowanie jest nagradzane po określonym czasie. Janina poddaje się poważnej operacji w szpitalu. Spodziewa się, że podczas rekonwalescencji będzie odczuwać ból i potrzebować leków na receptę w celu jego złagodzenia. Kobieta dostaje kroplówkę dożylną ze środkiem przeciwbólowym, którą sama uruchamia. Jej lekarz ustala limit: jedna dawka na godzinę. Janina naciska guzik, gdy ból staje się trudny do wytrzymania, i dostaje dawkę leku. Ponieważ nagroda (złagodzenie bólu) występuje tylko w określonym odstępie czasowym, nie miałoby sensu zachowanie, które nie będzie nagrodzone.
Rozkład wzmocnień o zmiennych odstępach czasowych (ang. ) zachodzi wtedy, kiedy osoba lub zwierzę otrzymuje wzmocnienia w różnych odstępach czasu, które są nieprzewidywalne. Powiedzmy, że Mikołaj jest kierownikiem restauracji typu fast food. Do jego restauracji co jakiś czas przychodzi ktoś z działu kontroli jakości. Jeśli restauracja jest czysta, a obsługa pracuje szybko, wszyscy na tej zmianie otrzymują premię. Mikołaj nigdy nie wie, kiedy pojawi się kontroler jakości, dlatego zawsze stara się utrzymywać restaurację w czystości i dzięki motywowaniu pracowników zapewnia klientom szybką i uprzejmą obsługę. Jego wydajność w zakresie szybkiej obsługi i utrzymywania czystej restauracji jest stała, ponieważ chce, aby jego załoga otrzymywała premie.
Rozkład wzmocnień według stałych proporcji (ang. ) zachodzi wtedy, kiedy istnieje pewna liczba reakcji, które muszą wystąpić, zanim zachowanie zostanie nagrodzone. Karolina sprzedaje okulary w sklepie optycznym i dostaje prowizję od każdej sprzedanej pary. Stara się sprzedawać każdemu klientowi więcej niż jedną parę okularów, np. okulary zapasowe, bo w ten sposób zwiększa swój przychód. To, czy klient naprawdę potrzebuje dodatkowych okularów, jest dla niej kwestią drugorzędną, gdyż zależy jej wyłącznie na prowizji. Zauważmy, że premia Karoliny nie zależy też bezpośrednio od jakości sprzedawanego towaru, na który Karolina nie ma wpływu. Wybór rozkładu wzmocnień zależy od celu, do którego dążymy. Lepszy efekt w jakości działania uzyskuje się przy rozkładach o zmiennych odstępach czasowych. Przykładem mogą być karty lojalnościowe, np. darmowa każda co któraś kawa. Im bliżej przewidywanej nagrody, tym większa motywacja do działania. Sprzedawczyni nie ma oczywiście wpływu na jakość okularów, ale ma wpływ na jakość obsługi, która może przyczynić się do tego, że klient kupi więcej lub chętniej wróci do sklepu.
Rozkład wzmocnień według zmiennych proporcji (ang. ) zachodzi wtedy, kiedy liczba reakcji potrzebnych do nagrody jest różna. Jest to najpotężniejszy rozkład wzmacniania sporadycznego. Przykładem rozkładu wzmocnień o zmiennych proporcjach jest hazard. Wyobraź sobie, że Sara — mądra i oszczędna kobieta — po raz pierwszy odwiedza kasyno. Nie jest hazardzistką, ale z ciekawości wrzuca monetę do jednorękiego bandyty, a potem jeszcze raz i znowu, ale nic się nie dzieje. Po jeszcze kilku straconych monetach jej zainteresowanie zanika i Sara zamierza opuścić lokal. Ale wtem zapalają się lampki automatu do gry, rozdzwaniają się dzwonki i Sara wygrywa 50 monet. Tak już lepiej! Sara powraca do gry z nowym zainteresowaniem, a kilka minut później przegrywa całą swoją wygraną, a nawet jest na minusie. To rozsądny czas, aby zrezygnować. A jednak Sara wciąż wkłada pieniądze do automatu, ponieważ nigdy nie wiadomo, kiedy nadejdzie kolejne wzmocnienie. Nieustannie wierzy, że po następnej monecie może wygrać dużą kwotę. Ponieważ rozkład wzmocnień w większości rodzajów hazardu zachodzi według zmiennych proporcji, ludzie nieustannie próbują i mają nadzieję, że następnym razem wygrają duże pieniądze. Jest to jeden z powodów, dla których hazard jest tak uzależniający i tak odporny na wygaszanie.
W warunkowaniu sprawczym wygaszanie wzmocnionego zachowania następuje w pewnym momencie po zaprzestaniu jego wzmacniania, a prędkość, z jaką to się dzieje, zależy od rozkładu wzmocnień. W rozkładzie według zmiennych proporcji punkt wygaszania przychodzi bardzo powoli, jak to opisano powyżej. W pozostałych rozkładach wzmocnień wygaszanie może jednak nastąpić szybko. Na przykład jeśli Janina naciśnie przycisk podania leku przeciwbólowego przed wyznaczonym czasem, to nie otrzyma leku. Ma rozkład wzmocnień o stałych odstępach czasowych (dawka co godzinę), więc wygaszanie następuje szybko, jeśli wzmocnienie nie nastąpi w oczekiwanym czasie. Spośród rozkładów wzmocnień ten według zmiennych proporcji jest najbardziej wydajny i najodporniejszy na wygaszanie. Natomiast ten o stałych odstępach czasowych jest najmniej produktywny i najłatwiejszy do wygaszenia ().

### Poznanie i uczenie się utajone

Skrajni behawioryści, tacy jak Skinner i Watson, koncentrowali się wyłącznie na badaniu zachowania, a nie na poznaniu (np. myśleniu czy oczekiwaniach). Skinner był silnie przywiązany do przekonania, że poznanie nie ma znaczenia, dlatego określano go jako radykalnego behawiorystę. Uważał on, że umysł jest „czarną skrzynką”, pozostaje niepoznawalny, a tym samym niemożliwe jest jego badanie. Natomiast inny behawiorysta, Edward C. Tolman (1886–1959) miał na ten temat odmienne zdanie. W eksperymentach na szczurach wykazał, że organizmy mogą się uczyć, nawet jeśli nie otrzymują natychmiastowego wzmocnienia (Tolman i Honzik, 1930; Tolman, Ritchie et al. Kalish, 1946). Odkrycie to sugerowało poznawczy aspekt uczenia się i było sprzeczne z panującym wówczas przekonaniem, że skuteczne uczenie się wymaga natychmiastowego wzmocnienia.
Tolman umieszczał głodne szczury w labiryncie i nie nagradzał ich za znalezienie drogi wyjścia. Stworzył także grupę kontrolną, która była nagradzana jedzeniem na końcu labiryntu. Niewzmocnione szczury poznawały labirynt, w wyniku czego wytworzyły mapę poznawczą (in. mapę wyobrażeniową) (ang. ): mentalny obraz układu labiryntu, wyobrażenie, które powstało w ich umyśle (). Po 10 sesjach w labiryncie bez wzmocnień na końcu labiryntu zostało umieszczone jedzenie. Gdy tylko szczury dowiedziały się o jedzeniu, potrafiły do niego znaleźć drogę tak szybko jak zwierzęta z grupy kontrolnej. To zjawisko jest znane jako uczenie się utajone (ang. ): uczenie się, które zachodzi, ale nie jest możliwe do zaobserwowania w zachowaniu, dopóki nie ma powodu, aby je wykazać.
Uczenie się utajone zachodzi również u ludzi. Dzieci mogą uczyć się, obserwując działania swoich rodziców, ale demonstrują to dopiero później, gdy zajdzie taka potrzeba. Załóżmy na przykład, że tata Romka codziennie odwozi go do szkoły. W ten sposób Romek uczy się drogi z domu do szkoły. Nigdy nie pojechał tam samodzielnie, więc nie miał okazji wykazać, że się tego nauczył. Gdy pewnego ranka tata Romka nie może zawieźć chłopca do szkoły, dziecko samodzielnie pokonuje rowerem tę samą trasę, którą tata wiózłby go samochodem. To obrazuje uczenie się utajone. Romek nauczył się drogi do szkoły, ale nie musiał wykazywać się tą wiedzą wcześniej.

### Podsumowanie

Warunkowanie sprawcze zostało opisane w pracach B.F. Skinnera i jest rodzajem uczenia się, w którym motywacja do określonego zachowania następuje po wystąpieniu tego zachowania. Zwierzę lub człowiek ponosi konsekwencję po określonym zachowaniu się. Konsekwencją jest albo wzmocnienie, albo ukaranie. Każde wzmocnienie (pozytywne lub negatywne) zwiększa prawdopodobieństwo reakcji behawioralnej. Każda kara (pozytywna lub negatywna) zmniejsza prawdopodobieństwo reakcji behawioralnej. Kilka rodzajów rozkładów wzmocnień służy do nagradzania zachowania w zależności od stałych lub zmiennych odstępów czasowych oraz według stałych lub zmiennych proporcji.

### Review Questions


### Istotne kwestie do przemyślenia


### Pytania do zastosowania osobistego
