Mindeközben két nagyon izgalmas fejleménnyel érdemes még foglalkozni. Az első az Anthropic J-space “felfedezése”, ami tkp. nem más, mint egy globális munkaterület. A globális munkaterület elmélete szerint az észlelés, memória, figyelem, stb. egy központi munkaterületre szállítják az információt. Az elmélet szerint ennek a munkaterületnek a megléte a tudatosság szükségszerű feltétele, mivel globálisan hozzáférhetővé teszi az információt (ezért hozzáférési tudatosságnak is szokás nevezni), azaz általa tudunk reflektálni a minket érő ingerekre, tudjuk előkeresni az emlékeinket, stb. Az Anthropic által azonosított J-space hasonlóan működik a Claude-ban: egy olyan belső központ, ahol a modell a végső kimenettől függetlenül dolgozza fel az aktív koncepciókat. Sikeresen teljesíti a “hozzáférési tudatosság” öt fő feltételét:

• Jelenthetőség: A modell képes pontosan beszámolni a J-space aktuális tartalmáról.

• Irányított moduláció: Képes belső, “csendes” gondolkodásra egy fogalomról anélkül, hogy az a kimeneti szövegben megjelenne.

• Belső érvelés: Itt hajtja végre a több lépésből álló feladatok köztes logikai és matematikai lépéseit.

• Rugalmas általánosítás: Egy információ célzott megváltoztatása a J-space-ben automatikusan és strukturáltan frissíti az összes ahhoz kapcsolódó válaszát.

• Szelektivitás: A J-space kikapcsolása tönkreteszi a komplex, célirányos problémamegoldást, miközben az automatikus nyelvtani és folyékony beszédkészséget teljesen érintetlenül hagyja.

“Nem rossz!” - mondhatnánk. “Na és akkor mi van?” - tehetjük fel a kérdést. Egyrészt tényleg érdekes ez az eredmény, másrészt a tanulmányban felvetett esetleges biztonsági kérdések is relevánsak. De attól, hogy ez a terület úgy tűnik, a Claude-on kívül más LLM-ekben is azonosítható, még nem mondhatjuk, hogy megjelent a tudatosság.

De egyáltalán, mi a fene az a tudatosság? Hogyan definiáljuk? A rossz hír, hogy nem lehet mindent definiálni, hiszen valahol meg kell állni, különben definícióink körkörösek lesznek. Erik Hoel arra hívja fel a figyelmet, hogy a tudatosságelméleteknek egyszerre kell falszifikálhatónak és nem-triviálisnak lenniük. Hoel szerint egy elmélet akkor falszifikálható, ha ütközhet egymással az, amit a rendszer belső működéséből jósol, és az, amit a rendszer beszámolóiból és viselkedéséből következtetünk. Triviális pedig akkor, ha a jóslatai ugyanarra a bemenet–kimenet adatra épülnek, mint a beszámolók, így sosem tévedhet. A nem-trivialitás kérdése nagyon izgalmas az LLM-ek esetében. Hoel levezeti, hogy egy LLM bemenet–kimenet viselkedése elvileg reprodukálható egyetlen rejtett réteggel rendelkező, statikus hálóval, az pedig egy lookup táblával. Egy sima lookup pedig nem igazán tekinthető tudatosnak.

De igazából a nehéz problémával nem tud se Hoel, se az Anthropic J-space mit kezdeni. Bármennyire ellenzi Rovelli, a tudatosságnak igenis van egy szubjektív része. Frank Jackson klasszikus epifenomenális kválékról szóló esszéjében van egy remek gondolatkísérlet. Képzeljük el Maryt, a kiváló idegtudóst, aki valamilyen oknál fogva egy fekete-fehér szobából, fekete-fehér képernyőt használva kutatja a látást. Tudja, milyen agyi területek aktiválódnak és milyen hullámhosszú fény érkezik a retinához, amikor egy piros paradicsomot, vagy egy piros almát lát valaki, tudja, milyen mintázatot mutat a fehér lap, vagy a hó észlelése. Minden külső információ rendelkezésére áll a megértéshez, amikor valaki azt mondja “Az ég kék”, vagy “A fű zöld”. Tegyük fel, egy napon Mary kijön a szobájából vagy csak kap egy színes monitort. Elmondhatjuk, hogy bármi újat megtudhat a látásról? Ha igen, akkor el kell fogadnunk, hogy a látás nem csak az összes rendelkezésre álló fizikai információ összessége, hanem valami más, valami je ne sais quoi.

A másik kérdés, hogy mi lehet tudatos. Csak neurális aktivitás járhat együtt tudattal, vagy esetleg más is? Csak szerves anyagok kellő komplexitása, vagy más is rendelkezhet vele? A neurocentrikus elméletek lassan, de biztosan bomlanak lefelé. Egyrészt Chalmers és Clark kiterjesztett elme (figyelem, a hivatkozás önpromó) elmélete szerint az elme nem áll meg a koponyánknál, különféle eszközöknek szervezzük ki a feladatait. Illetve az elme befelé sem áll meg a koponyánknál: egyesek a bélmikrobiomot is kognitív rendszerünk részének tekintik illetve a mikrobiom–bél–agy tengely fontosságára hívják fel a figyelmet. Másrészt Michael Levin munkássága is azt mutatja, hogy alsóbb szinteken is megjelenik a célorientált viselkedés (pl. sejt, szövet). Mennyire jár együtt a kognitív képességek komplexitása a tudatossággal?

Ha elfogadjuk, hogy van kvále, akkor el kell fogadnunk, hogy nem vagyunk képesek pusztán fizikai magyarázatot adni a tudatra. Ha abból indulunk ki, hogy márpedig van valamilyen fajta tudati élmény, hívják azt bárhogyan is, akkor könnyen pánpszichistává válhatunk. Az integrált információ elmélete is evvel kacérkodik, amikor mindennek tulajdonít valamennyi tudatosságot. Egy kavicsnak nyilván nullához közelít ez az érték, egy békánál magasabb, míg egy ember esetében egész magas. Hogy miért? Mert más a kauzalitási komplexitásuk. A kauzális komplexitás befelé az önfenntartást jelenti, ahogy az egyes részek együttesen és külön-külön törekednek fennmaradásra. Ez mérhető avval is, hogy mennyire bontható egy adott rendszer önállóan is működőképes alrendszerekre. Pl. az emberi agy nagyon integrált, egyben nagyon specializált részekből áll, melyek egymásra folyamatosan hatnak. Hoel viszont máshol ragadja meg a legnagyobb különbséget az ember és az LLM-ek között: a folyamatos tanulásban. Az emberi agy minden élménnyel változik, az LLM viszont a tanítás után statikus. Ugyanarra a bemenetre, a teljes addigi beszélgetéssel együtt, mindig ugyanazt adja; az ún. in-context learning csak visszatáplált kontextus, nem valódi tanulás. Lehet, szuper cikket ír az LLM, mindenkinél jobban kódol és úgy általában nagyon intelligens, de “senki sincs otthon”, hogy minderre reflektáljon.

Lehet, itt nem is a válaszok fontosak, hanem a kérdések!

De mik ezek a gondolkodási alrendszerek? Az 1-es gyors, erőfeszítésmentes, szinte sosem kapcsol ki és mindenütt mintákat keres. Ilyen pl. amikor felismerjük egy barátunk arcát a tömegben, vagy amikor rutinból vezetünk az autópályán, vagy amikor hirtelen ellenszenvet érzünk valaki iránt. A 2-es rendszer a lassú, megfontolt érvelésen alapuló gondolkodás. A gyors gondolkodásra szükségünk van, hiszen nem állhatunk le hosszasan mélázni azon, hogy akkor az iskola felé most is jobbra kell kanyarodni, hiszen eddig is mindig jobbra kanyarodtam és az előző 400 alkalomból mind a 400 esetben ott volt az iskola. Egyszerűen kanyarodunk megszokásból. Ennek azonban ára van, egy halom szisztematikus torzítás (magyarosan bias) származik ebből. A 2-es rendszer se tökéletes, erősen függ a kontextustól hogy mennyire tudjuk használni a modus ponenst, vagy a modus tollenst és ez igaz azokra is akik sokat tanultak logikát. De hogy jön mindez Jev-hez?

Jev és laya is nagyon szereti hangsúlyozni, hogy 1-es rendszerű döntéshozók. És ezzel pont az LLM-ek egyik sokat szidott tulajdonságát küszöbölik ki, a hallucinációkat. De hogyan? Az RLCD (reinforcement learning for calibrated decision - megerősítéses tanulás kalibrált döntésekhez) módszerrel továbbtanított modell. A tanítás során kérdéstípusokat (sima bináris kérdés, többszörös válaszlehetőség, stb) mutatunk a lehetséges válaszokkal és ezekhez tartozó valószínűségekkel. A modell válasza mindig a lehetséges válaszokhoz tartozó valószínűségek. Így pl. ha azt kérdezzük, hogy egy email automatikusan kihez továbbítsunk 1) jogi osztály 2) pénzügy 3) IT 4) ügyfélszolgálat sosem fogja azt válaszolni hogy 99%-ban biztos abban hogy a HR-nek kell továbbítani azt. Az OpenRouter Auto Routere már most is egy gyors, könnyű osztályozóval választ modellt — pontosan az a feladat, amire a Jev-félék valók. Az evals és guardrails területén is mindenki ráharapott. És természetesen nem csak muslica konnektommal lehet Doomot vagy Mariót játszani, erre Jev is képes. És miért fontos ez? Mert baromi gyorsan tud válaszolni és egyben olcsóbb is mint a hagyományos LLM-ek.

Abban viszont látok veszélyt, ha az 1-es rendszert kritikátlanul szabadjára engedjük. Ide tartoznak ugyanis az előítéleteink, a szisztematikus torzításaink, stb. Szeretném leszögezni, hogy önmagában az RLCD szerintem jó dolog. Ami nem annyira jó, az a párhuzam az emberi gondolkodással, ui. nem állja meg a helyét teljesen.

Jev William Stanley Jevons után kapta a nevét. A készítők arra számítanak, hogy a gépi intelligenciára is áll a Jevons-paradoxon, és sokan fogják használni az eszközüket. A paradoxon szerint, ha egy technológiai újítás megnöveli valaminek a hatékonyságát, akkor abból még többet fognak használni. Jevons eredeti példája a szén volt, de mostanában az LLM-ek kapcsán is sokat emlegetik ezt a jelenséget.

Ami a legjobban tetszik nekem ebben az amikor megpróbálják manipulálni ezeket a területeket. Két kísérletben is mesterségesen fel- illetve letekerték a kétségbesettség és a nyugalom területeit. Az egyik esetben az LLM megtudta hogy már csak hét perce van a lekapcsolásig, de egyben tudomására is jutott hogy a CTO-nak viszonya van. A másikban egy megoldhatatlan specifikációt kapott az LLM. Mindkét esetben le lehet nyugtatni a hálókat, illetve az izgatással nő a zsarolási hajlandóság ill. a csalás esélye. Mindeközben az LLM szöveges válaszai, érvelése érzelemmentesnek tűnik. Amikor a dühvel játszadoztak, akkor sikerült annyira feltekerniük, hogy a CTO zsarolása helyett az egész cég elé tárta a viszonyt. Számomra azonban a legviccesebb, s egyben szerintem a leggyakorlatiasabb, hogy egyszerűen szkennelni kellene az LLM-eket, hogy lássuk mi motiválja a válaszukat.

Nagyon emlékeztet ez az egész Damásio Descartes tévedésére. Anno ebben a könyvben szedte szét a tisztán mechanikus racionalitás elképzelését Damásio és mutatta meg, hogy az érzelmeknek is helye, sőt igen fontos szerepe van a döntéshozatalban. Viszont az Anthropic vékony jégre tévedt szerintem. Hiába a frappáns párhuzam, az nem több annál ami, egy analógia, amit sokan vitatnak.

PS: Nekem nem áll rá a szám a nagy nyelvi modell kifejezésre, mert a language model magyarul nyelvmodell. A nyelvi modell linguistic model lenne. Sosem gondoltam volna, hogy egyszer purista leszek 😀

A Drosophila agy és az idegkötegek feltérképezése lehetővé tette, hogy negatív megerősítéses tanulással lehessen trénelni a mesterséges muslicát. A PPL101 dopamin neuronokra lehet rávezetni a büntetést minden hibázás esetén. Szóval aki hisz a funkcionalizmusban, az ne csinálja ezt, mert állatkínzást követ el - habár a legtöbb szabályozás szerint azt csak gerincesekkel lehet.

Még érdekesebb, hogy a Cortical Labs nevő ausztrál startup emberi agysejtekkel játsztat Doomot. Egy Petri-csészényi, kb 200.000, emberi agysejtből álló háló van “összehuzalozva” csipekkel, ezt nevezik a készítői biológiai számítógépnek. És konkrétan árulják, illetve a felhőszolgáltatásként is elérhető. Mielőtt bárki megijedne, az agysejtek fehérvérsejtekből lettek átalakítva, egyetlen ember agyát sem bántották.

OK, de mire jó ez az egész? Az alapvető emberi kíváncsiság kielégítésén túl 1) az idegtudomány a konnekcionizmussal kéz a kézben jár 2) a természetes agyak sokkal kevesebb adatból képesek tanulni sokkal kisebb energiafelhasználás mellett mint a mai gépek. Szürreálisnak tűnik egy CL1 gépet elképzelni az asztalomon, de ki tudja, talán egyszer GPU helyett vagy mellett a hasonló gépek is elterjednek majd.

Egy barátom ajánlotta ezt a tanulmányt, mert rögtön az egyik számomra legkedvesebb programozásról szóló esszére hivatkozik a szerző. Peter Naur Programming As Theory Building című írását azért szeretem, mert hihetetlenül jól fogalmazza meg a programozás lényegét; egy adott probléma közös megértésenek externalizálása, “kódba öntése”. Mivel egy közös megértésről van szó, egy bonyolult rendszer esetében ez azt jelenti, hogy a csapat közösen érti a rendszert. Nincs olyan ember aki mindent tud és ért. A vibe coding itt zavar be a képbe, ezt a közös megértést erodálja erősen. A projekt intencióival, szándékával kapcsolatban kérdések merülnek fel, ha azt a közös tervezés helyett különböző kódolási asszisztensek teljesen, vagy félig automatikus döntései veszik át.

Hogy mi a megoldás? Sosem gondoltam volna, hogy egy szoftverfejlesztésről szóló tanulmányban McLuhan-re találok hivatkozást, de már ezen is túl vagyok! A megoldás régi technikák újbóli használata (technological retrieval), mint pl specifikáció, tesztek, stb írása, frissen tartása, pair programming, walkthrough stb. Nyilván nem a régi megszokott formában. Én pl az aider-rel imádok pair programmingban dolgozni, de elképzelhetetlennek tartom hogy egy teljes kódbázis minden során végig tudjon menni az ember. Persze lehet technológiával segíteni a több dolgon is. Viszont ezek már nem technikai készségeket igényelnek, hanem inkább fejlett kritikai gondolkodást és a jó kommunikációs- és íráskészséget.