Novi jezikovni model ChatGPM, ki so ga raziskovalci podjetja OpenAI konec novembra prepustili javnemu presku\u0161anju, navdu\u0161uje s svojimi sposobnostmi in premika meje na\u0161ih predstav o umetni inteligenci. Kaj pomenijo tak\u0161ni tehnolo\u0161ki preboji in kako se kot dru\u017eba odzivamo nanje?<\/p>\n
\u0160. V.: \u00bb<\/em>Prosim, napi\u0161i kratek \u010dlanek, ki razlaga, kako se jezikovni modeli u\u010dijo iz podatkov in kaj zmorejo.<\/em>\u00ab<\/em><\/p>\n \u00a0<\/em>ChatGPT: \u00bb<\/em>Jezikovni modeli so ra\u010dunalni\u0161ki programi, ki so sposobni avtomatizirano u\u010denje iz velikih koli\u010din podatkov o jeziku. U\u010dijo se na podlagi dolo\u010denih ciljev, ki jim jih dolo\u010dimo, na primer odgovarjanje na vpra\u0161anja ali prevajanje besedila iz enega jezika v drugega.<\/em><\/p>\n Za u\u010denje jezikovnih modelov se uporabljajo razli\u010dne tehnike, vklju\u010dno s strojnim u\u010denjem, ki temelji na podatkih in matemati\u010dnih algoritmih. Ko jezikovni model dobi dostop do velikih koli\u010din podatkov o jeziku, se u\u010di prepoznavati povezave med razli\u010dnimi besedami in njihovimi pomeni ter uporabo v razli\u010dnih kontekstih.<\/em><\/p>\n Jezikovni modeli so sposobni razumeti in razvr\u0161\u010dati besedila po tematiki, prepoznati koncepte in pomeni besed, odgovarjati na vpra\u0161anja, sintetizirati nove besedilne vsebine in opravljati druge naloge, povezane z jezikom.<\/em><\/p>\n V zadnjem \u010dasu so jezikovni modeli postali vse bolj zmogljivi in sposobni opravljati zahtevnej\u0161e naloge, kot so prevajanje govora v besedilo ali besedila v govor, razumevanje konverzacij in celo samostojno pisanje \u010dlankov ali novic.<\/em><\/p>\n Vendar pa jezikovni modeli \u0161e vedno nimajo sposobnosti razmi\u0161ljanja in u\u010denja na na\u010din, kot to po\u010dnejo ljudje. Njihovo u\u010denje je omejeno na podatke, ki jim so na voljo, in ne morejo razvijati novih spoznanj ali kriti\u010dno razmi\u0161ljati o informacijah, ki jim jih ponudimo. Zato se jezikovni modeli lahko uporabljajo kot orodje za pomo\u010d pri razli\u010dnih nalogah, vendar ne morejo nadomestiti \u010dlove\u0161kega razmi\u0161ljanja in sprejemanja odlo\u010ditev.<\/em>\u00ab<\/em><\/p>\n \u00a0<\/em>ChatGPT s svojim skromnim imenom sugerira, da gre za pogovornega robota, se pravi ra\u010dunalni\u0161ki program, ki je sposoben odgovarjati na vpra\u0161anja in morda simulirati pogovor z resni\u010dno osebo. \u010ceprav se tak\u0161ni programi razvijajo \u017ee od 1960. let naprej, se v zadnjem \u010dasu za njihov razvoj uporabljajo metode globokega u\u010denja z nevronskimi mre\u017eami tipa transformer, te pa s podporo vse ve\u010djih u\u010dnih mno\u017eic dosegajo izjemne rezultate. Za pogovorne sisteme dana\u0161njega \u010dasa je tako zna\u010dilno, da temeljijo izklju\u010dno na jezikovnem modelu, se pravi na statisti\u010dnih izra\u010dunih verjetnosti povezav med posameznimi besedami in pojmi, ti pa izhajajo iz velikih koli\u010din prete\u017eno besedilnih podatkov. Povedano enostavneje \u2013 sodobni inteligentni sistemi se u\u010dijo tako, da res veliko<\/em> berejo.<\/p>\n Robotka ChatGPT zmore marsikaj. Na kratka fakti\u010dna vpra\u0161anja, npr. \u00bbKdo je izumil elektriko?\u00ab, ponudi dalj\u0161i razlagalni odgovor, ki jedrnato povzame zgodovino \u010dlovekovega spoznavanja elektrike in nato po to\u010dkah navede klju\u010dne osebe z njihovimi prelomnimi odkritji. Brez te\u017eav pojasni razliko med dvema pojmoma, denimo med maso in energijo, in \u010de je odgovor prezahteven, jo lahko prosimo za poenostavljeno razlago, ki jo \u2013 ne da bi ponavljali izvirno vpra\u0161anje \u2013 tudi dobimo. Njeno znanje je obse\u017eno, saj je ne moremo zmesti niti z vpra\u0161anji iz najzahtevnej\u0161ih znanstvenih disciplin niti s pro\u0161njami za prakti\u010dne nasvete o, denimo, obrezovanju drevja ali odpravljanju kurjih o\u010des. Ker je jezikovni model, odli\u010dno obvlada tudi razli\u010dne jezikovne \u017eanre in sloge. Tako ji lahko naro\u010dimo pisanje kratke zgodbe v slogu Hemingwaya, osebne predstavitve z namenom iskanja zaposlitve ali neformalnega SMS sporo\u010dila, s katerim prijateljico povabimo na pija\u010do. Vse to \u0161e zdale\u010d ni omejeno le na angle\u0161\u010dino, saj se robotka ChatGPT enako suvereno pogovarja v razli\u010dnih svetovnih jezikih, zelo dobro zna tudi slovensko, z nekaj poskusi pa spi\u0161e tudi povsem spodoben vic v \u0161tajer\u0161\u010dini. Poleg naravnih jezikov je mimogrede usvojila \u0161e programske. \u010ce ji uka\u017eemo, naj napi\u0161e program v Pythonu, ki bo prebral vhodno datoteko, obdelal podatke na ta ali oni na\u010din in nato izpisal izhodne podatke v obliki tabele z dolo\u010denimi vrednostmi po stolpcih, ga po nekaj sekundnem razmisleku tudi dobimo. Programska koda je opremljena s komentarji in na koncu \u0161e na kratko razlo\u017eena.<\/p>\n \n Za razliko od Googlove LaMDe, ki je spomladi razburkala svet zaradi svoje domnevne \u010dute\u010dnosti in samozavedanja, je ChatGPT \u00bble\u00ab pametna in nikakor ne sku\u0161a biti podobna \u010dloveku v smislu navideznih \u010dustev, mnenj ali duhovnih stanj, \u010deprav bi to sicer zlahka zmogla. Pri tem gre brez dvoma za premi\u0161ljeno odlo\u010ditev razvijalcev, da javnosti ponujena inteligentna tehnologija ne sme spodbujati poskusov po\u010dlove\u010denja in posledi\u010dnih \u010dustvenih odzivov, s tem pa dodatnih eti\u010dnih dilem. Spletna vsevednica prijazno pojasnjuje, da je le strojno nau\u010deni jezikovni model brez lastnih mnenj, prepri\u010danj in ob\u010dutkov, prav tako so se razvijalci posebej posvetili izogibanju sovra\u017enemu govoru in tvorjenju \u0161kodljive ali \u017ealjive vsebine.<\/p>\n Model ChatGPT je naslednik jezikovnih modelov GPT-1, -2, -3 in -3.5, ki jih dru\u017eba OpenAI razvija od leta 2017. Za u\u010denje osnovnega modela so uporabili \u0161tevilne javno dostopne vire podatkov, predvsem repozitorij svetovnega spleta Common Crawl, Wikipedijo, repozitorij znanstvenih \u010dlankov arXiV, repozitorij programske kode GitHub, repozitorij knjig in \u010dlankov Libgen ter druge manj\u0161e vire. Zatem je sledilo ve\u010d faz izbolj\u0161evanja modela s spodbujevanim u\u010denjem, pri tem pa so pomemben vir predstavljale testne konverzacije, ki so jih strokovnjaki opravljali med seboj in z ra\u010dunalnikom, med razli\u010dnimi mo\u017enimi odgovori pa so izbirali najbolj\u0161e. Videti je, da so \u010dlove\u0161ki presku\u0161evalci v tej fazi u\u010denja nagrajevali nekoliko dalj\u0161e odgovore, zato je kon\u010dni model tudi pri enostavnih vpra\u0161anjih nekoliko bolj zgovoren, kot bi morda pri\u010dakovali.<\/p>\n Jezikovna tehnologija ChatGPT je stati\u010dna in se ne u\u010di sproti (denimo iz pogovorov, ki jih je doslej opravila s prek milijonom registriranih uporabnikov), niti se pri odgovarjanju na vpra\u0161anja ne opira na brskanje po internetu. Tako je ne moremo spra\u0161evati, kak\u0161no bo jutri vreme in katera ekipa je zmagala v nogometni tekmi, prav tako se njeno poznavanje svetovnih dogodkov zaklju\u010di z letom 2021, saj u\u010dna mno\u017eica ni vsebovala novej\u0161ih besedil. V vseh ostalih pogledih pa program navdu\u0161uje, in kot poro\u010da mno\u017eica razpravljalcev na omre\u017ejih Discord in Twitter, precej olaj\u0161a \u0161tevilne naloge in opravila, saj pi\u0161e eseje, poslovna pisma in knjige, popravlja ra\u010dunalni\u0161ke programe in pi\u0161e brezhibno kodo ter univerzitetnim profesorjem pripravlja prosojnice za predavanja.<\/p>\n ChatGPT ni prvi niti edini tak model, \u010deprav je s svojimi 175 milijardami parametrov trenutno eden ve\u010djih. Jezikovne modele s tehnologijo nevronskih mre\u017e gradi na desetine razvojnih laboratorijev po svetu, na ameri\u0161kih tleh so med ve\u010djimi Google AI, Meta AI in Microsoft Research, na Kitajskem Baidu Research, v Veliki Britaniji DeepMind in \u0161e mnogi drugi. Na platformi beta.character.ai se lahko denimo pogovarjate z eno od virtualnih oseb, ki so jih ustvarili Googlovi ustvarjalci Lamde, na strani writesonic.com\/chat najdete klepetalnik ChatSonic, ki obljublja \u0161e bolj\u0161o izku\u0161njo kot ChatGPT zaradi povezanosti z internetom, za potrebe znanstvenega pisanja in iskanja citatov pa lahko v svojo aplikacijo integrirate Galactico, galactica.org, ki so jo razvili v Facebookovi Meta AI.<\/p>\n Razvoj splo\u0161ne umetne inteligence (artificial general intelligence, AGI) je torej v globalnem razmahu in v tekmi sodelujejo prakti\u010dno vsi tehnogiganti, zato se med drugim postavlja vpra\u0161anje, kako meriti zanesljivost in uspe\u0161nost teh sistemov. Sprva so raziskovalci uspe\u0161nost jezikovnih modelov ocenjevali s prete\u017eno jezikovnimi nalogami in kmalu ugotovili, da so ra\u010dunalniki pri odgovarjanju na vpra\u0161anja, razre\u0161evanju ve\u010dpomenskosti in tvorjenju besedil naglo presegli zmo\u017enosti povpre\u010dnega \u010dloveka. Zato so raziskovalci berkeleyske univerze predlani oblikovali zahtevnej\u0161i test, ki meri razumevanje, znanje in sklepanje na najrazli\u010dnej\u0161ih podro\u010djih \u010dlovekovega delovanja (MMLU). Test obsega prek 15.000 vpra\u0161anj iz naravoslovnih ved, matematike, humanistike in dru\u017eboslovja, pa tudi prava, medicine in etike, zahtevnost pa se giblje vse od osnovno\u0161olske ravni do najbolj specializiranih znanstvenih vpra\u0161anj. Prav tako ne zado\u0161\u010da le poznavanje dejstev, saj je na primer vpra\u0161anje s podro\u010dja medicine vsebovalo kratek opis stanja pacienta po operaciji in njegove krvne vrednosti, v odgovoru pa je bilo treba ugotoviti, katera od \u017eil je bila med operacijo nenamerno po\u0161kodovana.<\/p>\n Ko je bil test oblikovan in presku\u0161en na tedanjih jezikovnih modelih, so se rezultati pri skoraj vseh udele\u017eenih sistemih gibali okrog 25 odstotkov pravilnih odgovorov, kar je pribli\u017eno tako, kot \u010de bi odgovore izbirali naklju\u010dno. Izstopal je GPT-3, predhodnik ChatGPT-ja, ki je dosegel 43,9-odstotno uspe\u0161nost in s tem presegel povpre\u010dnega \u010dloveka (35 %). A napredek je bliskovit, saj nekateri novej\u0161i jezikovni modeli na tem testu zdaj dosegajo \u017ee 75-odstotno uspe\u0161nost, na primer Googlov Flan-PaLM, ki je posebej izurjen za odgovarjanje v skladu z navodili in z razlago miselnega procesa, ki je privedel do re\u0161itve. Videti je, da bo tudi ta test kmalu zastarel, saj se umetna inteligenca razvija hitreje, kot jo sploh zmoremo ocenjevati.<\/p>\n In kako bomo odslej ocenjevali \u010dlove\u0161ko znanje, \u010de si je s pomo\u010djo ChatGPT-ja mogo\u010de pri\u010darati ne le odgovor na vsako mo\u017eno vpra\u0161anje, ampak tudi esej, ra\u010dunalni\u0161ki program ali brezhibno osebno predstavitev za slu\u017ebo? \u017de v prvem mesecu, odkar je pametna klepetalka na voljo javnosti, so se po svetovnih medijih zvrstili \u0161tevilni zaksrbljeni odzivi univerzitetnih u\u010diteljev in pedagogov, saj ra\u010dunalni\u0161ko tvorjenih besedil obi\u010dajni programi za odkrivanje plagiatorstva ne zaznajo. Yanis Varoufakis je na twitterju zapisal, da \u0161tudentov nikdar ve\u010d ne bo mogo\u010de ocenjevati druga\u010de kot v u\u010dilnicah brez ra\u010dunalnikov, telefonov in dostopa do interneta. Anonimni britanski \u0161tudent je priznal, da je v decembru zaslu\u017eil nekaj sto funtov s prodajo zaklju\u010dnih esejev, ki jih je spisala umetna inteligenca.<\/p>\n Medtem ko nekateri poudarjajo, da se na jezikovne modele nikakor ne moremo zanesti, saj ob\u010dasno \u0161e vedno podajo napa\u010den odgovor (ki ga nadvse prepri\u010dljivo argumentirajo!) in nimajo poglobljenega razumevanja stvari, je po drugi strani omalova\u017eevanje tehnolo\u0161kih prebojev in prepo\u010dasno reagiranje nanje precej zna\u010dilno za \u010dlove\u0161ko dru\u017ebo. Prelomne inteligentne tehnologije so \u017ee med nami, v prihodnosti pa lahko pri\u010dakujemo njihov eksponenten napredek. ChatGPT je trenutno na voljo brezpla\u010dno kot raziskovalni predogled, ker pa je Microsoft eden od investitorjev v podjetje OpenAI, se pojavljajo ugibanja, ali bo ta ali sorodna tehnologija morda \u017ee kmalu integrirana kar v programe paketa Office. Izziv, ki ga to predstavlja predvsem za izobra\u017eevanje, pa tudi za nekatere jezikovne in kreativne poklice, je ogromen. Za izobra\u017eevalne sisteme re\u0161itev gotovo ne more biti tak\u0161na, kot jo predlaga Varoufakis, razen morda kot zelo kratkoro\u010dni ukrep. Namen izobra\u017eevanja je ravno, da se s tehnologijami nau\u010dimo ravnati in jih smiselno uporabljati, ne pa z njimi goljufati na izpitu. A sestavljanje preskusov znanja, ki bodo \u00bbodporni\u00ab na ra\u010dunalni\u0161ko pomo\u010d, ne bo enostavna naloga; jezikovni modeli namre\u010d niso le papige, ki ponavljajo statisti\u010dno najverjetnej\u0161e nize besed, ampak se v nevronskem procesiranju resni\u010dno skriva konceptualno razumevanje.<\/p>\n Pri pou\u010devanju prevajanja na Filozofski fakulteti nekateri pedagogi uporabljamo strojne prevajalnike, kot sta DeepL in Google Translate, kot u\u010dni pripomo\u010dek. Tudi strojni prevajalnik ni ni\u010d drugega kot jezikovni model, in njihovi prevodi so marsikdaj \u017ee srhljivo dobri. A to \u0161e zdale\u010d ne pomeni, da je ra\u010dunalniku mogo\u010de zaupati prevod pomensko ali slogovno zahtevnej\u0161ih besedil, predvsem pa je s \u0161tudenti koristno razpravljati o dobrih in slabih re\u0161itvah, ki jih predlagajo ra\u010dunalniki, jim izostriti kriti\u010dno oko in jih senzibilizirati za \u0161ibke to\u010dke prevajalnikov. Slednje zaenkrat \u0161e obstajajo, tako kot jih ima tudi ChatGPT. Vseeno pa je nespametno pri\u010dakovati, da bo \u010dlovek s svojimi specifi\u010dnimi znanji in izku\u0161njami umetno inteligenco tudi v prihodnosti preka\u0161al. Tekma za tehnolo\u0161ko prevlado med globalnimi velikani nam bo \u017ee v pravkar za\u010detem letu prinesla nekaj presene\u010denj, na \u0161olah in univerzah pa bo morala ste\u010di tudi razprava, kako se nanje odzvati.<\/p>\n \n Objavljeno v Delu, 7.2.2023<\/p>\n \n","protected":false},"excerpt":{"rendered":" Novi jezikovni model ChatGPM, ki so ga raziskovalci podjetja OpenAI konec novembra prepustili javnemu presku\u0161anju, navdu\u0161uje s svojimi sposobnostmi in premika meje na\u0161ih predstav o umetni inteligenci. Kaj pomenijo tak\u0161ni tehnolo\u0161ki preboji in kako se kot dru\u017eba odzivamo nanje? \u0160. V.: \u00bbProsim, napi\u0161i kratek \u010dlanek, ki razlaga, kako se jezikovni modeli u\u010dijo iz podatkov in […]<\/p>\n","protected":false},"author":4,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[3],"tags":[],"_links":{"self":[{"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/posts\/777"}],"collection":[{"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/comments?post=777"}],"version-history":[{"count":1,"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/posts\/777\/revisions"}],"predecessor-version":[{"id":778,"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/posts\/777\/revisions\/778"}],"wp:attachment":[{"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/media?parent=777"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/categories?post=777"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.lojze.si\/spela\/wp-json\/wp\/v2\/tags?post=777"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}