Mátrix forradalmak: Mintagenerálás, önálló aktivitás, általánosítás, csoportosítás …
Idáig azt tanultuk az asszociatív mátrixokról (vagy a nekik megfelelő két rétegű, két bemenetű idegsejt hálózatokról), hogy képesek két rájuk érkező mintázatot társítani, ezáltal az egyikkel előhívható a másik. A hálózatoknak nem kell keresgélniük, a megfelelő kérdésre a megfelelő választ adják, azaz tartalom címzett memóriák (content addressable memory). Amit még tanultunk, hogy a mintázat párokban kevés aktív elemnek kell lennie, különben a mátrix néhány tanulás után telítődik és hibás válaszokat ad.
De egy asszociációs mátrix / kétrétegű neuronhálózat még mást is tud.
Próbáljunk meg például beadni az Y3 mintázatot úgy, hogy abból egy elem hiányzik (0 van a helyén). Meglepő módon az előhívott minta ilyenkor is helyes, azaz hálózatunk a hiányos mintákra is képes helyes eredményt előhívni.
Ha történetesen egy mintát önmagával társítunk (ezt hívják auto-asszociációnak) akkor ugye ennek eredményeképpen az képes lesz a hiányos mintát helyesen előhívni, kiegészíteni.
A hálózatok ezen tulajdonságának fontos szerepe van az idegrendszerben, amikor a környezet hiányos információiból kell majd kitalálni mi van ott. Nem mindegy ugye, hogy este a sötétben barátunk, egy fatörzs vagy egy gödör van előttünk.
De ha merészek vagyunk, olyat is csinálhatunk, hogy a hálózat oszlopokban elhelyezkedő sejtjeinek kimenetét visszaküldjük a sorokba.
Ilyenkor két egymást követő mintázat elemei egymáshoz fognak társítódni (asszociálódni), hiszen a kimeneten megjelenő első bemenetet, a következő bemenettel fogja társítani. Ha beadunk egy X1, X2, X3, X4 mintasorozatot, akkor a hálózat megtanulja az elsőből a másodikat, a másodikból a harmadikat előállítani és így tovább. Ha az X4-t megint az X1 követi a tanítás során, akkor a sorozat bármely tagját beadva a hálózat végtelen ciklusban fogja generálni a minta-láncot (X1 X2 X3 X4 X1 X2 X3 X4 X1 ….). Egy ilyen visszacsatolt hálózat képes lesz egyszeri bemenetet követően mintázatokat generálni a végtelenségig. Mire lehetne ez jó kérdezi valaki? Hát például egy ismétlődő mozgás, teszem azt egy hal úszása, rovar mászása vagy emlős járása esetében az izommozgások előállítására. Vagy amikor számolni tanulunk: egy – kettő – három - .. kilenc – tíz – tizen-egy – tizen-kettő … Na ugye!
Itt csapjunk a homlokunkra és vegyük észre, hogy valami nagyon fontos dolog történt! Az idegsejthálózatok (és általában minden rendszer) viselkedésének egy új elemét tapasztalhatjuk meg. Az előre csatolt hálózatok csak arra és akkor reagálnak amikor bemenet érkezik rájuk. Mint egy lusta alkalmazott, csak akkor csinál valamit, amikor a főnök rugdossa, és akkor is csak egy lépést. Ha a hálózatba visszacsatolás (rekurzió, feed-back) van beépítve, akkor, ha már korábban tanult valamit egyszer kell csak meglökni, és sokáig (vagy örökké) elketyeg (mint Az Ember Tragédiájában a világegyetem), visszamondja, amit korábban tanult. 
Olyan, mint egy okos, kezdeményező alkalmazott, aki mindig megtalálja hol lehet valamit csinálni. Egy visszacsatolt hálózat bizonyos szempontból függetlenné válik a környezetétől, saját „gondolatai” és belső állapotai lesznek. 
Mint majd látjuk, a magasabb rendű agyműködés egyik legfontosabb eleme a visszacsatolás. Az agyi hálózatokban persze bonyolultabb a dolog, itt több irányból érkezhetnek bemenetek, amelyek kölcsönhatnak és így a külvilágból érkező információk és a belső állapot különböző mértékben határozhatja meg a kimenetet. Egy ilyen rendszer képes arra, hogy amikor dönt, akkor a korábban tanultakat, belső állapotát és a külvilág ingereit összevesse, és megfelelő válaszokat adjon. No persze a fenti egyszerű hálózatocskák ettől még messze vannak, de fontos lépést mutatnak fel ezirányba.
Vannak még további trükkök is, amikre már a csupán csak előrecsatolt hálózatok is képesek. Mivel eddig is kicsit túl sok volt az ábra ezeket már nem fejtem ki olyan részletességgel, de az ezzel foglalkozó szakembereknek (és nekem itt, most) el lehet hinni. Fentebb láttuk, hogy a helyes előhíváshoz előre- (mátrix memória) és vissza-csatolt (döntés az örvényféregnél) gátlásokra van szükség. Ezekkel a gátlásokkal szabályozható, hogy a kimenetet adó sejtek közül mennyi legyen aktív. Ha a hálózatunknak megengedjük, hogy a helyes kimeneti mintázat előállításához szükséges gátlás erőssége állítható legyen akkor hálózatunk képes lesz arra, hogy:
a) Szétválogasson: a bemenő mintákhoz egymástól minél jobban eltérő kimenő mintázatokat társítson. A matematikusok erre azt mondják, hogy ortogonalizál, azaz olyan kimenő mintákat állít elő, amelyeknek aktív elemei a lehető legkevésbé egyeznek. Például, amikor egy zacskóban levő csavarokat külön dobozokba teszünk, aszerint, hogy fához vagy fémhez valók, rövidek vagy hosszúak, hatlapfejűek vagy kereszthornyosak.
b) Osztályozzon: ha a gátlást kicsit lecsavarjuk, akkor eltérő bemeneti mintázatok is ugyanolyan kimeneti mintázatokat aktiválhatnak. Ezt a jelenséget klasszifikációnak, osztályozásnak hívják és a kiegészítés egy speciális esete. Például az alma, körte és narancs mintázat minden esetben hasonló kimenetet vált ki, hívhatjuk gyümölcs mintázatnak. A paradicsom, répa, zeller pedig egy másikat, ezt hívhatjuk zöldség mintázatnak.
De olyat is lehet csinálni, hogy már a tanítás során bekapcsol a gátlás, és csak azokon a sejteken erősödnek meg a kapcsolatok, akik a legaktívabbak voltak. Ezt hívják versengő (kompetitív) tanulásnak, hiszen a sejtek versengenek ki tanulhasson. Ennek eredményeként a mintázatok még jobban szétválaszthatók egymástól és mivel egy minta-pár esetében csak kevés szinapszis változik az így tanított hálózatok sok mintát képesek raktározni és kimenetük ritkás lesz.
Az eltérő feladatokra hangolt egy-vagy több bemenetű előre vagy visszacsatolt hálózatokat azután megfelelően egymásba kötve bonyolult feladatokat is meg lehet oldani. A mellékelt ábra Edmund Rolls, elismert tanulás és memória kutató munkájából származó vázlat alapján készült neuronhálózat modell összefoglalása. Azt mutatja, hogy elképzelései szerint, milyen feldolgozási lépcsőkön keresztül jut el az információ az egyes érzeteket feldolgozó agyterületektől a hippokampuszba, ahol kialakul az itt és most, a pillanat élménye. A hippokampusz felelős azért, hogy fontos élményeinkből memórianyomok alakuljanak ki, majd ezek elraktározódását irányítja az egyes érzékcsatornákat feldolgozó agyterületen. A rajzon az egyes hálózatocskáknak csak egyszerűsített egy vagy néhány sejtet ábrázoló sémája látható, de a vlóságban egy-egy hippokampális területen sejtek százezrei-milliói találhatók. Ennek megfelelően az elraktározott memóriaelemek száma is nagyon nagy.
Az ábra alján a hippokampusz 3 egymás után kapcsolt területe látható. Az első területen, DG-vel jelölve, egy ortogonalizáló (szétválogató), előrecsatolt hálózat helyezkedik el, mely az egymáshoz hasonló bemenetek közötti különbséget hangsúlyozza, és ritka kimenő kódot állít elő. Ez a jel kerül aztán a CA3-al jelölt területre, mely egy visszacsatolt, auto-asszociatív hálózat, mely ráadásul több helyről is kap bemeneteket, melyek itt keverednek össze egyetlen reprezentációba. Ez a terület mintakiegészítést és mintasorozatok előállítását végezheti. Innen a CA1 területre kerül a jel, mely megint egy előrecsatolt hálózat, és kapcsolati struktúrája alapján valószínűleg osztályoz.
Hasonlóan eltérő tulajdonságú hálózatocskák rétegződnek egymásra a mesterséges intelligencia jelenlegi csúcsát jelentő Nagy Nyelvi modellekben (LLM), mint például a ChatGPT-ben is. Itt is ortogonalizálásra, kódritkításra, auto asszociációra alkalmas rétegek váltakoznak. Mint azt korábban írtam, a ChatGPT-ben 600 réteg kapcsolódik több milliárd „szinapszis”, táblázat elem útján.
Szerző: Gulyás Attila