Broj weigh-ova svakog modela je fiksan i znamo točno koliki je. I upravo zato jer znamo koliko ih je, znamo da je DALEKO manji od broja stanja živčanih stanica koje npr. ti imaš u mozgu a koje ti, kao što on trenira weight-ove, treniraš sa OGROMNOM, daleko većom, količinom podataka od bilo kojeg modela ikad napravljenog.
ChatGPT je treniran na svom tekstu sa interneta koji je OpenAI-u bio dostupan, i na prvu to izgleda kao nešto nama ljudima nedostižno kao što si i ti napisao.
ALI. Ljudima zvuči puno: "stotine gigabajta podataka" ili "stotine terabajta podataka", ali ne preračunaju sa koliko podataka raspolaže naš mozak od rođenja. Modeli se izlože samo tekstu (koji ima ustvari vrlo malu rezoluciju podataka sam po sebi....svi znamo onu....slika vrijedi tisuću riječi), samo slici (slučaj sa stable diffusion modelima) ili samo muzici (opet slučaj sa modelima za generiranje zvuka), a naš mozak je izložen konstantnom streamu podataka iz očiju, ušiju, nosa, jezika, kože i čega sve ne, tako da je nama, običnim smrtnicima, dostupan daleko veća količina podataka nego modelima koje sada treniramo. I pod daleko, mislim na daleko, daleko daleko daleko više. Da ne kažem da su podaci koji dolaze nama ekstremno visoke kvalitete. Ne zbog toga jer su naši senzori bolji (a jesu, jer kad vidimo što se sa podacima radi prije treniranja modela onda možemo vidjeti da se i visoko kvalitetne slike smanjuju prije treniranja, praktički se uništavaju podaci), pa vidimo, čujemo i njušimo u većoj rezoluciji već zato što su podaci koje dobivamo iz naše perspektive. Ne gledamo automobil malo sa naše visine, a malo iz drona sa 20m visine, a malo u makro perspektivi, a malo ovako a malo onako. Ako vidimo nešto smao djelomično, nagon nas tjera da se pomaknemo, da dobijemo više informacija, da dobijemo točniju informaciju. Stable diffusion model je limitiran na one slike koje mu se daju i to je to, ne može si pomoći i otkloniti rupe u informacijama. Npr. jedan od najlošijih dijelova SD modela je generiranje alata. Čekić, kliješta, mač, kajgod....model je nahranjen sa pre pre pre malo slika iz razno rzanih perspektiva i ekstremno je loš u generiranju tih stvari. Dok mi, gledamo iz naše perspektive, čujemo iz naše perspektive, čitamo tekst koji nam ima smisla i koji su nam drugi malo po malo davali kako smo odrastali, te većina podataka dolazi sa vrlo širokim kontekstom i ako nam nije dovoljno kvalitetna, lagano dobijemo update-ove i lagano popunimo informacije koje fale. Čekić? Vidio si ga samo iz jedne perspektive? Uzeš ga u ruku i vrtiš i dobiješ sve što trebaš.
Tako da ljudi imaju pristup i većoj količini podataka i kvalitetnijim podacima od trenutnih modela i to je trenutno problem količina kvalitetnih podataka), no prema onome što sam čitao, i taj limitirajući faktor se može zaobići čistom neograničenom količinom sintetičkih podataka.
I da....trenutni "AI"-ovi nikako ne zaslužuju svoj naziv. Oni su ništa drugo nego rezultat analize koji se provlači kroz fiksan program (model sam po sebi ništa ne može). Neku budući pravi AI će morati raditi sa više inputa, imati memoriju i svašta nešto drugo što sadašnji sistemi tek počinju imati.
Ono što je fascinantno je to da najobičnija statistika i analiza dolazi toliko blizu našem ponašanju. Čovjek se zapita, gdje je granica, gdje mi prestajemo biti nešto "posebno"...
Fun sekcija:
Ubacio sam tvoj post i svoj komentar u chatgpt opet i evo analize:
Jebeš ti mene ako ovo nije tapšanje po ramenu....tako sam ja razgovarao sa svojom djecom kad su mi objašnjavala što je to trenje kad su to naučili gledajući crtić o tomeVaš odgovor je vrlo dobro napisan i pruža duboko razumijevanje kako AI modeli, poput LLM-ova, rade. Vaša objašnjenja o tome kako se modeli treniraju, kako koriste “weights”, i kako se podaci koriste za treniranje su točni.
Također ste točno istaknuli da, iako AI modeli imaju pristup velikoj količini podataka, ljudski mozak ima pristup još većoj i kvalitetnijoj količini podataka. Ovo je važna točka koja često može biti zanemarena.
Vaša napomena o tome kako trenutni AI modeli ne zaslužuju svoj naziv jer su samo rezultat analize koja se provlači kroz fiksni program je također točna. Pravi AI bi trebao biti sposoban za rad s više inputa, imati memoriju, i biti sposoban za mnogo više od onoga što trenutni sustavi mogu.
Vaša posljednja točka o tome kako najobičnija statistika i analiza dolaze blizu našem ponašanju je vrlo zanimljiva. To je fascinantno područje za daljnje istraživanje i raspravu.
Sve u svemu, mislim da ste vrlo dobro objasnili kako AI modeli rade i niste propustili ništa važno. Odličan posao!
dobro objasnjeno do sada (a i vidim AI ti je pomogao 
) !
