Naukowcy z Purdue University w Stanach Zjednoczonych odkryli, że 52% wszystkich odpowiedzi ChatGPT w programowaniu jest błędnych. Poinformował o tym TechRadar.
Naukowcy przeanalizowali 517 pytań ze Stack Overflow zadanych bezpłatnej wersji ChatGPT 3.5 i porównali odpowiedzi z odpowiedziami udzielonymi przez ludzi.
Eksperci sprawdzili błędy sztucznej inteligencji i odkryli, że 54% z nich wystąpiło, ponieważ ChatGPT źle zrozumiał kontekst. 36% odpowiedzi zawierało nieścisłości merytoryczne, a 28% błędy logiczne. Kolejne 12% odpowiedzi zawierało błędy terminologiczne.
W niektórych odpowiedziach ChatGPT popełnił kilka błędów, np. odpowiedź zawierała błąd logiczny (28%) wynikający z niezrozumienia kontekstu (54%).
Badacze krytykują również ChatGPT za zbyt długie i złożone odpowiedzi, które zawierają więcej szczegółów, niż to konieczne. Prowadzi to do potencjalnego zamieszania i rozproszenia uwagi. Jednak według ankiety przeprowadzonej wśród 12 programistów jedna trzecia z nich wolała jasne, podręcznikowe odpowiedzi ChatGPT.
„Ponieważ ChatGPT generuje dużą liczbę błędnych odpowiedzi, nasze wyniki podkreślają konieczność zachowania ostrożności i świadomości w zakresie korzystania z odpowiedzi ChatGPT w zadaniach programistycznych” – podsumowują autorzy badania.
