27 May 2018

TV GONIČ: WESTWORLD


Neke stvari su mi bolno išle na živce, pa sam im stvarno stao na put (na Before/After). I sad me baš zanima šta vi mislite.


7 comments:

  1. "Pa šta ako su obesni ljudi otišli, silovali i pobili porodicu robota?! Pa zar nisu za to i platili? Da se iživljavaju nad plastikom i metalom?! Zar im nije to omogućeno? I dozvoljeno. I odakle sada taj upit da probuđena inteligencija kod robota takva činodejstva treba da nam učini ne-humanim?! WTF?! Kako je OK da ih ubijamo u mašti, na filmu, u virtuelnoj realnosti, ali nije kad su od plastike i metala?"

    Komentar previđa jednu ključnu činjenicu, a to je da nije reč o buđenju inteligencije, već SAMOSVESTI (self-awareness) kod robota. Roboti su od početka bili inteligentni, u onoj meri u kojoj su im ljudski gospodari (= programeri) omogućili. Bili su sposobni da savršeno SIMULIRAJU krike i patnju ali tek sa razvojem samosvesti (sredinom prve sezone) postaju sposobni da tu patnju i zaista dožive i prožive baš kao i ljudi.

    Supstrat u kome se samosvest javlja -- hrpa plastika i metala ili vreće mesa -- je nebitan ukoliko omogućava stvaran doživljaj patnje.

    Stvar je utoliko gora što, kako je nekoliko puta apostrofirano u seriji, roboti mogu savršeno da reprodukuju sećanja (ne razlikujući ih od sadašnosti), i na taj način iznova verno preživljavanju svu pretrpljenu patnju i bol, čak i iz perioda pre razvoja samosvesti.

    Naravno, neko će pravdati ljude jer su zaista mislili da se samo iživljavaju nad gomilom plastike i metala, ali onda se suočavamo sa onom starom latinskom, da neznanje ne oslobađa odgovornosti...

    ReplyDelete
  2. marko, hvala na komentaru.

    da, slažem se sa tobom da sam mogao/trebalo da budem precizniji.

    međutim, ne slažem se sa nekim stvarima, a za neke mi treba tvoje pojašnjenje da li sam u pravu:

    da li je glič koji je doveo do pojave samosvesti isto softverski projekat čoveka? to ga ne umanjuje, ali pretpostavlja da je i on "kreiran"? meni to baš nije najjasnije u seriji, jer deluje da su samo određeni roboti imali tu mogućnost razvoja, a da je potom virus proširen igranjem sa njihovim softverom.

    drugo, ti kažeš da sastav supstrata u kome se samosvest javlja nije bitan dok god ona omogućava stvaran doživljaj patnje (i verovatno želiš da kažeš "kompletnog ljudskog ponašanja"). ja se ne slažem, jer jedina stvar koja razlikuje te procese jeste što kod robota deluje da se sve može resetovati (čak i kad se softver opire totalnom resetu- prosto staviće im novi "mozak"), što je ključna i jedina razlika u odnosu na ljudsku vrstu. drugim rečima, naša predstava o holokaustu bi bila znatno drugačija da je nakon istog barem pola od tih ljudi moglo da se re-inkarnira/obnovi/vrati na staro, pa makar i sa sećanjem na proživljene muke.

    dakle, ja u toj mogućnosti obnove tela (i duha), vidim definitvnu razliku koja ostavlja prostor da roboti zauvek budu samo igračke u ljudskim rukama.

    na kraju, sticanje samosvesti kod robota, dramski gledano, budi vrlo žanrovska ponašanja (želju za osvetom, bekstvo u bolji svet), dok se samo promišljanje samosvesti tako kako si ga ti predstavio potpuno zapostavlja kao doživljaj koji može da ih spoji sa ljudima. ono malo ljudi što se spojilo s robotima mahom žanrovski funkcioniše kao neka vrsta služinčadi funkcionalne za rešavanje tekućih problema.

    neznanje ne osloboađa odgovornosti. ali dobar deo zločina desio se pre perioda samosvesti, a sa njenim sticanjem odmah je počela i konfrontacija, tako da realno ljudima nije ni pružena prilika da se ponašaju drugačije. bilo bi interesantno da jedno od onih konspirativnih druženja dolores i bernarda pokazuje da ovaj (ili arnold or whomever) želi da spreči samospoznaju, ali so far sve sugeriše da su je oni kreirali i podsticali. mada, deluje da je bernard robot izgradio robota dolores, pa je to robot-robot konspiracija, što još više opravdava ljudsko delovanje.

    na kraju, ako WW postaviš kao metaforu za činjenje u neznanju, stvar samo donekle ima smisla. ako je tretiramo bukvalno, po meni nema nikakvog, jer reciklirabilnost materije otvara puteve novim moralnim kodeksima, i oni stari koji su važili za ljude ne mogu jednostavno da se primene. jer za ljude je smrt značila smrt. za robote ne.

    ReplyDelete
  3. "marko, hvala na komentaru."

    Hvala i tebi na odgovoru, drago mi je da razmenimo po koju na ovu interesantnu temu! Malo sam pregrupisao tvoje tematski slicne komentare kako bi se moji odgovorili bolje uklopili.

    "da li je glič koji je doveo do pojave samosvesti isto softverski projekat čoveka? to ga ne umanjuje, ali pretpostavlja da je i on "kreiran"? meni to baš nije najjasnije u seriji, jer deluje da su samo određeni roboti imali tu mogućnost razvoja, a da je potom virus proširen igranjem sa njihovim softverom."

    "bilo bi interesantno da jedno od onih konspirativnih druženja dolores i bernarda pokazuje da ovaj (ili arnold or whomever) želi da spreči samospoznaju, ali so far sve sugeriše da su je oni kreirali i podsticali. mada, deluje da je bernard robot izgradio robota dolores, pa je to robot-robot konspiracija, što još više opravdava ljudsko delovanje."

    Ovo je pre svega rezultat Arnoldovih manipulacija, dovršen od strane Forda. Ima jedna scena u kojoj Ford objašnjava (čini mi se Bernardu) Arnoldovu ideju, zasnovanu na teoriji bikameralnog uma (bicameral mind). Prema ovo teoriji, ljudi su u proslosti bili u nekakvom stanju podeljenog uma, gde je jedan deo uma nalagao drugom šta da čini. Ljudi su uputstva iz ove prve "komore" uma doživljavali kao neki glas božanskog porekla koji im zapoveda. Kada su shvatili da je to zapravo njihov unutrašnji glas došlo je do objedinjavanja uma i pojave pune samosvesnosti. Pretpostavka je da je do ovoga došlo usled spoljašnjih faktora koji su podsticali introspekciju, kao sto su stresova raznih vrsta (pre svega egzistencijalni), potreba za objašnjavanje nepoznatog, itd.

    Ovo je efektno dočarano u finalu prve sezone u sceni dijaloga između Bernarda i Dolores, gde ova u jednom trenutku na mestu Bernarda ugleda sebe, a potom vidi da je potpuno sama u sobi, i shvati da je taj glas bio zapravo njen unutrašnji glas i u tom trenutku dostiže samosvesnost. Do tada je taj unutrašnji glas racionalizovala obmanjujući samu sebe da pripada Bernardu. Ovo sugeriše da su se bar neke, (ne nužno sve) njihove zajedniče scene odigrale samo u njenoj glavi. (U poslednjoj epizodi ima hint koji nagovestava jos nesto u njihovom odnosu, ali bolje da ne spojlujem ako nisi vec pogledao.)

    Arnold je pošao od pretpostavke da je robotima neophodo omogućiti sećanje; posle svakog ubistva, robotima je memorija sistemski bila brisana, ali Arnold je ipak našao način da bar neke delove sećanje sakrije i spase od brisanja -- otud oni momenti kada roboti najednom imaju flashbackove iz proslih zivota, sto je imalo za svrhu da pocnu da dovode u pitanje realnost sveta u kome im je dato da glume "domacine". Kao drugi korak, uredio im je um po uzuru na bikameralnu teoriju -- neki od robota su prilikom onih redovnih provera izvestavali da čuju neki glas, koji su poistovećivali sa Arnoldom. Fordov doprinos je u tome što je shvatio da je potreban spoljni stres, da ih gurne preko ivice i podstakne na instrospekciju, tako da je dozvolio (možda i podsticao) iživljavanje nad robotim. (Za ovo poslednje nisam baš 100% siguran ali mislim da je nešto na tom tragu). Ako sam u pravu, ovo daje novu dimenziju moralnom pitanju odnosa prema robotima, jer se ispostavlja da je ta patnja zapravo neka njihova golgota koju su morali da prodju na putu do osvescenja i oslobodjenja...

    Uzgred, teorija bikameralnog uma, razvijena tokom '70 jeste fascinanta ali krajnje kontraverzna i zestoko osporavana, pre svega jer je njen autor propagirao ideju da su ljudi razvili samosvesnost pre oko svega tri hiljade godina, i to pokusao da potkrepi analizom antickih tekstova, kao sto su Ilijada i Odiseja. Npr tvrdio je da je ovu prvu napisao nesvestan um, jer nedostaju introspektivna zapazanja, dok ista obiluju u potonjoj, iz cega zakljucuje da je do objedinjenja uma doslo upravo u periodu izmedju pisanja Ilijade i Odiseje. Danas je ova teorija na rubu izmedju nauke i ezoterije, ali Westworld je sasvim fino upotrebio za svoju svrhu.

    ReplyDelete
  4. (2 deo)

    "drugo, ti kažeš da sastav supstrata u kome se samosvest javlja nije bitan dok god ona omogućava stvaran doživljaj patnje (i verovatno želiš da kažeš "kompletnog ljudskog ponašanja"). ja se ne slažem, jer jedina stvar koja razlikuje te procese jeste što kod robota deluje da se sve može resetovati (čak i kad se softver opire totalnom resetu- prosto staviće im novi "mozak"), što je ključna i jedina razlika u odnosu na ljudsku vrstu. drugim rečima, naša predstava o holokaustu bi bila znatno drugačija da je nakon istog barem pola od tih ljudi moglo da se re-inkarnira/obnovi/vrati na staro, pa makar i sa sećanjem na proživljene muke."

    "na kraju, ako WW postaviš kao metaforu za činjenje u neznanju, stvar samo donekle ima smisla. ako je tretiramo bukvalno, po meni nema nikakvog, jer reciklirabilnost materije otvara puteve novim moralnim kodeksima, i oni stari koji su važili za ljude ne mogu jednostavno da se primene. jer za ljude je smrt značila smrt. za robote ne."

    OK, slazem se. Ovde sam mislio na izivljavanja nad robotima uopsteno, pa sam apostrofirao dozivljaj patnje. Ako govorimo konkretno o ubistvu robota, onda taj greh svakako jeste utoliko manji sto imaju mogucnost digitalnog vaskrsnuca. Ipak, ostajem pri stavu da ni ovo ne opravdava izivljavanje zbog pomenutog realnog dozivljaja patnje.

    Misaoni eksperiment #1: Sta ako bi roboti bili isprogramirani da, uprkos realnom dozivljaju patnje, zaista iskreno zele da bude maltretirani i ubijeni? Da li je ovaj scenario sa moralne strane gori ili bolji?

    Ovo pitanje je Daglas Adams veoma duhovito dotakao u Autostoperskom vodicu kroz Galaksiju: Artur Dent i ekipa stizu u Restoran na kraju Vaseljene gde im biva dovedeno inteligentno prase, napravljeno genetski inzinjeringom, sa kojim procaskaju pre nego sto biva zaklano i servirano. Prase ne samo sto zeli da bude pojedeno, vec je i u stanju da to jasno i glasno kaze!

    ReplyDelete
    Replies
    1. nesporno si mi dosta stvari pojasnio (naročito ovo oko bikameralnog uma, za šta nisam ni znao). i hvala ti.

      ali, evo gde se možda najviše sporimo (iako mi se čini da u diskusiji nismo mnogo na terenu same serije, koliko na terenu njenih socioloških i filozofskih implikacija). sa toliko radikalnim intervencijama u domenu veštačke inteligencije nesporno su otvorena mnoga pitanja (neka i ti pominješ), a da je pri tome njihov tretman ostao vrlo konzervativan ili klišeiziran. recimo, da li o realnom doživljaju patnje sada možemo da govorimo kao o jedinstvenom, neizbrisivom iskustvu ili iskustvu koje je kao i bilo koje drugo-izbrisivo. ja bih (da li bi ti?) voleo da osetiš neke stvari, samo da bi ih osetio, ako bi posle znao da ih se nećeš sećati?

      stvar bih proširio i na tvoje osporavanje mog "metala i plastike" time da ćemo jednog dana svi biti od sintetizovanog mesa i samo će nas sećanja/stari operativni sistem/(ti kaži šta) činiti ljudima. za to vreme, po mom mišljenju nikako ne mogu da važe ista (moralna) pravila. a naročito ne pominjanje holokausta i stvari koji su tvorili moral ljudi. meni pre izgleda da će tek taj svet biti pravi divlji zapad, jer, naoko, deluje da će sve moći i da će najjači diktirati nova pravila. pretpostavljam da će delovi (hardveri) koji omogućavaju nova iskustva biti na ceni, baš koliko i proizvođači sve-sofisticiranijih softvera. dakle, nešto što i sada postoji u WW, ali se serija time ne bavi. oni nas ne puštaju u novu eru, već nas neprekidno i sentimentalno vraćaju u nekakav pre-hrišćanski zanos i prave nekakve aluzije i metafore na boga, koje su već sada beskorisne.

      na kraju, svom podužem spisku žalbi na WW, moram da dodam i jednu neobjavljenu- a to je da nolan nigde ne objašnjava ili ne daje hint zašto su roboti/veštačka inteligencija dobri za nas (sem za kapitalizam) tj zašto bi razvijanje bilo kakve simpatije prema tome trebalo da bude nova civilizacijska tekovina za ljude tj nešto progresivno. mislim, matrix je neminovan. zašto mu hrliti u susret?

      Delete
  5. (3. deo)

    "dakle, ja u toj mogućnosti obnove tela (i duha), vidim definitvnu razliku koja ostavlja prostor da roboti zauvek budu samo igračke u ljudskim rukama."

    Da ali (verovatno?) ne zadugo! U poslednjih par epizoda videli smo da se radi na kopiranju ljudskog uma u robotsko telo, za sad sa polovicnim rezultatima ali da se pretpostaviti da ce i to uskoro uspeti; ako ne zaista u seriji, onda hajde u nasem malom misaonom eksperimentu #2. Da li ce tada, kada i ljudima bude dato da izbegnu smrt kopiranjem u drugo telo, biti neke sustinske razlike? Novo telo moze biti metal i plastika ali i pravo klonirano od krvi i mesa. Da li ce onda i ubistvo coveka bit tek jedan malo veci nestasluk? Hmmm, pa verovatno, tj. bar za onaj dobrostojeci deo populacije koji ce moci da priusti rezervno telo. Uzgred, upravo ovo je okosnica serija Altered Carbon, koju uprkos intrigantnoj postavci ne mogu da preporucim, digao sam ruke posle nekoliko epizoda; mozda joj se vratim da vidim da li su ipak imali nesto interesantno da kazu.

    "na kraju, sticanje samosvesti kod robota, dramski gledano, budi vrlo žanrovska ponašanja (želju za osvetom, bekstvo u bolji svet), dok se samo promišljanje samosvesti tako kako si ga ti predstavio potpuno zapostavlja kao doživljaj koji može da ih spoji sa ljudima. ono malo ljudi što se spojilo s robotima mahom žanrovski funkcioniše kao neka vrsta služinčadi funkcionalne za rešavanje tekućih problema."

    Da, do sada ni jedan od likova nije bas razbijao glavu oko ovoga (dobro, mozda im se moze oprostiti jer su uglavnom bili zauzeti pokusavajuci da sacuvaju istu na ramenima). Doduse, mislim da vecina (svi?) ljudi i dalje veruju da je u pitanju samo bag, a ne osvescivanje, a roboti vecinom nisu bas sigurni sta se desava. U svakom slucaju, nadam se da ce Nolan i ekipa dati svojim likovima (i nama) malo vise na ovu temu u nastavku, jer je meni licno ovo potencijalno najinteresantniji aspekt.

    "neznanje ne osloboađa odgovornosti. ali dobar deo zločina desio se pre perioda samosvesti, a sa njenim sticanjem odmah je počela i konfrontacija, tako da realno ljudima nije ni pružena prilika da se ponašaju drugačije."

    Arnold je uocio zacetak ili potencijal pojave svesti, ali Delos kompanija nije htela ni da cuje za to, jer bi posao verovatno stradao pod tezinom moralnih pitanja o kojima upravo diskutujemo. Tako da slazem se da se ljudi ne mogu optuziti za holokaust, vec za mozda, pa hajde recimo nekakvo "kapitalisticko slepilo".

    ReplyDelete
  6. Izvini na malom zastoju u komunikaciji -- na putu sam, pa cu stoga morati i da budem kratak.

    Definitivno se slazem da su najinteresantniji aspekti (filozofsko-moralno-socioloske implikacije koje pominjemo) u drugom planu i nadam se da ce izbiti u prednji u nekom trenutku (bar u trecoj sezoni).

    "na kraju, svom podužem spisku žalbi na WW, moram da dodam i jednu neobjavljenu- a to je da nolan nigde ne objašnjava ili ne daje hint zašto su roboti/veštačka inteligencija dobri za nas (sem za kapitalizam) tj zašto bi razvijanje bilo kakve simpatije prema tome trebalo da bude nova civilizacijska tekovina za ljude tj nešto progresivno. mislim, matrix je neminovan. zašto mu hrliti u susret?"

    Ne znam sta Nolan namerava da nam servira do kraja ali mislim da je suvise rano za ocenu o tome 'sta je pesnik hteo da kaze', pogotovo s obzirom da se u poslednjih par epizoda nazire novi pravac; za sada ja ovo dozivljavam prosto kao pricu o neminovnom tehnoloskom napretku i njegovim posledicama.

    ReplyDelete