האיגוד האמריקני לפיתוח מדע (AAAS) החליט לבדוק אם TATGPT יכול לכתוב הערות מדעיות קצרות בסגנון SCIPAK או לא לחברים מיוחדים כל כך לעיתונאים, שהוכנו לעתים קרובות על ידי מגזין המדע והשירותים Eurekalent.
הניסוי נמשך שנה: מדצמבר 2023 ועד דצמבר 2024, העיתונאים השיקו מדי שבוע עיתונאים או שניים מחקרים מדעיים קשים.
המשימה היא מאוד פשוט משחררת אותם כדי להפוך אותה לנוחה לעמיתים: מונחים מינימליים, מבנה ברור והקשר ברור. לכן, Chatgpt טיפלה ב -64 יצירות.
תוֹצָאָה? באופן כללי, המודל למד כיצד להעתיק את צורות חותמות SCIPAK, אך לא השיג תוכן. על פי מחבר המחקר, העיתונאית AAAS ABIGAIL AIZENSTADT, המסמכים של TATGPT הם פשוטים מדי ולעתים קרובות לא נכונים. הייתי צריך לבדוק את הכל, אז לקח יותר זמן לכתוב פתק מההתחלה.
המספרים גם אומרים לעצמם. כשנשאלים את העורכים, לוח שנה כזה עלול ללכת לאיבוד בין הבריפים האמיתיים של סקיפאק, הדרגה הממוצעת היא רק 2.26 נקודות במספר 5. ורק עבודה אחת בכל השנה מקבלת את הציון הגבוה ביותר מעיתונאים.
בדרך כלל, Chatgpt מבולבל מערכות יחסים ויחסים סיבתיים, ושוכח להזכיר מגבלות חשובות למחקר (למשל, מכשירי העברה רכים פועלים לאט מאוד) ולעיתים מפזרים יותר מדי כדי לשבח את פריצות הדרך של האיסלאם והחידוש.
מחברי הניסוי סיכמו: עד כה, Chatgpt לא נענה בסטנדרטים של SCIPAK. אבל הם לא הכניסו את הצלב לחלוטין לרעיון. AAAS שים לב שאתה יכול לחזור לבדיקות אם הדגם מתעדכן ברצינות. ובאוגוסט, הזכרנו, רק GPT-5 ממנו, למרבה הצער, מצאו חור.
