Izveštaj potvrđuje tvrdnje korisnika da su modeli GPT-3 i GPT-4, tokom upotrebe, postajali, blago rečeno, "gluplji"
Najnovije istraživanje sprovedeno na Univerzitetima Stanford i Berkeley, koje još nije prošlo recenziju, ukazuje na to da su veliki jezički modeli, poznati kao GPT koji su srž popularnog AI četbota ChatGPT, sve manje tačni. Ovi rezultati podržavaju anegdote korisnika o vidljivom opadanju performansi najnovijih verzija softvera od trenutka njihovog izdanja.
Prema navodima istraživača, GPT-4 verzija iz marta 2023. godine pokazala je visoku tačnost u identifikaciji prostih brojeva (97,6%), dok je isti model iz juna 2023. bio znatno slabiji u izvršenju istog zadatka (tačnost 2,4%).
Izveštaj potvrđuje tvrdnje korisnika da su modeli GPT-3 i GPT-4, tokom upotrebe, postajali, blago rečeno, "gluplji".
Piter Velinder, potpredsednik proizvoda kompanije OpenAI, pokušao je da odbaci glasine da su ove promene bile namerno izazvane. Na svom Twitter nalogu je izjavio da "nismo [OpenAI] smanjili inteligenciju GPT-4. Naprotiv, svaka nova verzija je pametnija od prethodne."
PITAJ BESPLATNI KAMATICA SAVETNIK KOJI JE KREDIT NAJBOLJI ZA TEBE
Dodao je da bi promene u korisničkom iskustvu mogle biti posledica kontinuirane upotrebe, sugerisanjem da "kada intenzivnije koristite [ChatGPT], počinjete da uočavate probleme koje ranije niste primećivali".
Istraživanje Stanforda i Berkeleya daje snažne argumente protiv ove hipoteze. Iako istraživači nisu pružili konkretne razloge za ove "padove" tačnosti i sposobnosti, ističu da ova dokazana tendencija pogoršanja vremenom dovodi u pitanje OpenAI-jeve tvrdnje o poboljšanju modela.
"Zaključujemo da performanse i ponašanje oba modela, GPT-3.5 i GPT-4, značajno variraju u periodu između ova dva izdanja, te da se njihova tačnost na određenim zadacima značajno pogoršala tokom vremena", navodi se u radu.
Ostavi komentar