תכונת ה-AI Overview של גוגל יכולה לייצר מספר משמעותי של תשובות שגויות למרות הדיוק הגבוה הכולל שלה. עיתונאים מהניו יורק טיימס הגיעו למסקנה הזו לאחר בדיקה משותפת עם הסטארט-אפ Oumi.
מופעל על ידי Gemini AI, הכלי מפגין דיוק של כ-90%. יתר על כן, אפילו שיעור שגיאות קטן יחסית, בהתחשב בגודל תעבורת החיפוש, יכול לתרגם לעשרות מיליוני תשובות שגויות מדי יום.
כדי להעריך את האיכות של "מצב AI", נעשה שימוש ב-Benchmark SimpleQA מבית OpenAI, הכולל יותר מ-4,000 שאלות עם תשובות ניתנות לאימות וכן כלי הניתוח של Oumi עצמו. על פי בדיקות, בשימוש בדגם Gemini 2.5, הדיוק הגיע לכ-85%, כאשר לאחר המעבר לדגם Gemini 3, מספר זה עלה ל-91%.
מחקרים מראים מקרים של צבירת מידע לא מדויקת ממקורות. בדוגמה אחת, המערכת קבעה באופן שגוי את תאריך ההסבה של ביתו של בוב מארלי למוזיאון, למרות נתונים מדויקים במקורות ראשוניים, המצביעים על בעיות בפרשנות ובבחירת אירועים.
גוגל מערערת על תוצאות המחקר. דובר החברה, נד אדריאנס, אמר כי מדד SimpleQA המשמש עשוי להכיל שגיאות ואינו משקף מצבי משתמש בחיים האמיתיים. מדד רלוונטי יותר, הוא אומר, הוא מבחן SimpleQA המאומת, שיש לו מערך שאלות קטן יותר אך נבדק בקפידה. בנוסף, החברה מאמינה שמתודולוגיית המחקר אינה לוקחת בחשבון את הפרטים של שאילתות החיפוש בפועל.
