Znanstvenici sa Stanforda otkrivaju da GPT-4 s vremenom postaje gluplji
Miscelanea / / July 20, 2023
Točnost plaćene verzije ChatGPT-a bila je niža od one besplatnog chatbota.
Novi studija znanstvenika sa Sveučilišta Stanford potvrdio je ono na što se netizeni već tjednima žale: ChatGPT Plus, na temelju GPT-4 stvarno je postao gluplji - za razliku od GPT-3.5, koji pokreće besplatnu verziju chatbota.
U svojoj studiji autori su uspoređivali odgovore na različite zahtjeve chatbota na temelju GPT-4 i GPT-3.5. Oni utvrdio da su ponašanje chatbota i točnost odgovora na neke zahtjeve u novoj verziji značajno značajni pogoršalo se.
Autori su usporedili jezične modele GPT-4 i GPT-3.5 objavljene u ožujku i siječnju. Otkrili su da je tijekom tog vremena točnost GPT-4 osjetno pala, dok se GPT-3.5, naprotiv, povećala.
Na primjer, točnost odgovora na pitanje je li 17077 prost broj pala je za 95,2%, dok je GPT-3,5, naprotiv, porastao sa 7,4% na 86,8%. Također, smanjena je mogućnost uspješnog izvršavanja koda kojeg je napisala neuronska mreža u trenutnim verzijama oba modela.
Prethodno je to već učinio potpredsjednik OpenAI-ja Peter Welinder odgovorio na optužbe ChatGPT Plus korisnika:
Ne, nismo GPT-4 učinili glupljim. Sve je upravo suprotno: svaku novu verziju činimo pametnijom od prethodne.
Sada imamo ovu hipotezu: kada nešto koristite aktivnije, počinjete primjećivati probleme koje prije niste vidjeli.
Peter Welinder
Potpredsjednik proizvoda u OpenAI-u
U jednom od odgovora na ovaj tweet Welinder pitao pružiti dokaze da je chatbot postao lošiji. Studija znanstvenika sa Stanforda pojavila se 5 dana nakon toga - a od OpenAI-ja još nije bilo odgovora.
Ovo nije prvi put da je GPT-4 optužen za davanje lažnih podataka. U ožujku su analitičari NewsGuarda otkrioda je ChatGPT temeljen na GPT-4 lakše natjerati da govori laž - dok sam OpenAI tvrdi povećanje točnosti odgovora od 40% u usporedbi s GPT-3.5. U konkretno, u testovima NewsGuarda, manja je vjerojatnost da će nova verzija neuronske mreže opovrgnuti lažne informacije - uključujući lažne podatke o modernim događajima i teorijama zavjere.
Pročitajte također🧐
- 6 analoga ChatGPT-a
- James Cameron o opasnostima umjetne inteligencije: "Upozoravao sam vas još 1984., ali niste slušali"
- 8 mitova o umjetnoj inteligenciji u koje čak i programeri vjeruju