GPT-3 می تواند در حد یک دانش آموز استدلال کند

زبان هوش مصنوعی GPT-3

در فوریه ۲۰۱۸، مایکروسافت با مدل زبانی تورینگ-نی‌ال‌جی (Turing-NLG) قدرتمند خود برای صنعت فناوری اطلاعات تحولی را ایجاد کرد. این مدل زبانی با دارا بودن ۱۷ میلیارد پارامتر، به سادگی می‌تواند وظایف پردازش زبان طبیعی را انجام داده، به سؤالات پاسخ داده، متون بزرگ را خلاصه کرده و بسیاری از کارهای دیگر را انجام بدهد. این مدل زبانی به طور بی‌نظیری قدرتمند است و هیچ مدل زبانی مبتنی بر هوش مصنوعی تا به حال این اندازه از قدرت‌ها را نشان نداده بود.

چند ماه بعد، OpenAI با معرفی مدل زبانی GPT-3 که ده برابر قدرتمندتر از تورینگ-نی‌ال‌جی است و دارای ۱۷۵ میلیارد پارامتر می‌باشد، دوباره به حوزه فناوری تعجب برانگیخت. مدل GPT-3 توسط OpenAI به تنهایی قادر به خلاصه‌نویسی یا استدلال ساده نیست، بلکه ظرفیت آن به اندازه‌ای بزرگ است که هنگام انتشار نسخه بتای آن، مجله WIRED اعلام کرد که “ترس و هیجان سراسر دره سیلیکون را فراگرفته است.”

تمام رهبران صنعت فناوری اکنون تمرکز خود را بر روی GPT-3 متمرکز کرده‌اند و بحث‌ها و تبلیغات بیشماری برای آن ایجاد شده است. با این حال، هنوز شک و تردیدهایی نیز وجود دارد.

گزارش‌های روانشناسی نشان می‌دهند که مدل زبان هوش مصنوعی GPT-3 به اندازه یک دانشجوی دانشگاه به استدلال می‌پردازد. اما آیا این فناوری تقلیدی از استدلال انسانی است یا از یک فرآیند شناختی بنیادی جدید استفاده می‌کند؟
مدل زبان هوش مصنوعی GPT-3 عملکردی مشابه با دانشجویان دانشگاه در حل برخی از مسائل منطقی مانند مسائلی که در آزمون‌های استاندارد ظاهر می‌شوند، داشت. محققانی که آزمایش را انجام دادند می‌نویسند که نتایج سوال راجع به اینکه آیا این فناوری در حال تقلید استدلال انسانی است یا از نوعی فرآیند شناختی جدید استفاده می‌کند را مطرح می‌کند. برای پاسخ به این سوال، دسترسی به نرم‌افزاری که پایه‌های GPT-3 و سایر نرم‌افزارهای هوش مصنوعی را تشکیل می‌دهد، لازم است.

افراد به سادگی و بدون آموزش یا تمرین و با مقایسه مسائل جدید با مسائل آشنا، آن‌ها را حل می‌کنند و راه حل را به مسئله جدید توسیع می‌دهند. این فرآیند که به نام استدلال مشابهتی شناخته می‌شود، به عنوان یک توانایی منحصر به فرد انسانی در نظر گرفته می‌شود.

اما اکنون احتمالاً باید جایی برای یک نوآوری جدید بازگذاریم

تحقیقات روانشناسان دانشگاه کالیفرنیا – لس آنجلس نشان می‌دهد که برخورداری از توانایی استدلال مشابهتی، مدل زبان هوش مصنوعی GPT-3 به طرز شگفت‌آوری مشابه با دانشجویان دانشگاه عمل می‌کند وقتی خواسته می‌شود مسائل استدلالی نوعی را که معمولاً در آزمون‌های هوش و آزمون‌های استاندارد مانند آزمون SAT ظاهر می‌شوند، حل کند. این مطالعه در نشریه “رفتار انسانی طبیعت” منتشر شده است.

اما نویسندگان مقاله می‌نویسند که این مطالعه سوالی را مطرح می‌کند: آیا GPT-3 در حال تقلید استدلال انسانی به عنوان نتیجه‌ای از مجموعه داده‌های زبانی گسترده خود است یا از یک نوع جدید بنیادی از فرآیند شناختی استفاده می‌کند؟

بدون دسترسی به فرآیند داخلی GPT-3 که توسط شرکت OpenAI، شرکتی که آن را ایجاد کرده است، نگهداری می‌شود، دانشمندان دانشگاه کالیفرنیا – لس آنجلس نمی‌توانند به اطمینان نهایی بگویند که قابلیت‌های استدلالی آن چگونه کار می‌کند. همچنین نوشته‌اند که اگرچه GPT-3 در برخی از وظایف استدلال بهتر از انتظارات عمل می‌کند، اما هنوز در برخی از وظایف به طرز بی‌نظیری شکست می‌خورد.

“مهم است که تاکید کنیم که این سیستم محدودیت‌های جدی دارد”، به گفت تیلور وب، یک پژوهشگر پسادکتری روانشناسی دانشگاه کالیفرنیا – لس آنجلس و نویسنده اول مقاله. “استدلال مشابهتی را می‌تواند انجام دهد، اما نمی‌تواند کارهایی که برای انسان‌ها بسیار ساده است، مانند استفاده از ابزارها برای حل یک وظیفه‌ی فیزیکی، انجام دهد. وقتی که ما به این نوع مسائل می‌پرداختیم – برخی از آن‌ها که کودکان به سرعت می‌توانند حل کنند – پیشنهادهایی که ارائه می‌کرد، بی‌معنی بودند.”

وب و همکارانش قابلیت حل مجموعه‌ای از مسائلی را که از آزمون معروف ماتریس‌های پیشروی ریون الهام گرفته‌اند، توسط GPT-3 آزمایش کردند که از آزمون نمونه‌های آینده شکل‌ها در یک ترتیب پیچیده از اشکال می‌پرسد. برای تمکین GPT-3 به “دیدن” شکل‌ها، وب تصاویر را به یک فرمت متنی تبدیل کرد که GPT-3 قادر به پردازش آن بود؛ این روش همچنین تضمین می‌کرد که هوش مصنوعی هرگز قبلاً با این سوالات مواجه نشده است.

پژوهشگران 40 دانشجوی کارشناسی رشته روانشناسی دانشگاه کالیفرنیا – لس آنجلس را برای حل مسائلی مشابه مورد آزمایش قرار دادند.

“در حیرت‌انگیزی، GPT-3 نه تنها به خوبی با انسان‌ها عمل کرد، بلکه اشتباهات مشابهی هم داشت”، نقل قول از هنگجینگ لو، استاد روانشناسی دانشگاه کالیفرنیا – لس آنجلس و نویسنده اصلی مقاله.

GPT-3 به راحتی 80٪ از مسائل را به درستی حل کرد – که بسیار بالاتر از امتیاز متوسط انسان‌ها که زیر 60٪ بود است، ولی همچنان در محدوده‌ی بالاترین امتیازهای انسانی بود.

پژوهشگران همچنین GPT-3 را به حل یک مجموعه سوالات مجازی آزمون SAT ترغیب کردند که احتمالاً تاکنون در اینترنت منتشر نشده‌اند – به این معنا که احتمالاً این سوالات جزو داده‌های آموزشی GPT-3 نبوده‌اند. این سوالات از کاربران خواسته می‌شد که جفت کلماتی را انتخاب کنند که همان نوع رابطه را به اشتراک می‌گذارند. (به عنوان مثال، در مسئله “‘عشق’ به ‘نفرت’ و ب سوال اینکه به تناسب’ثروتمند’ با کدام کلمه تضاد دارد است؟”، پاسخ “فقیر” است.)

آن‌ها نتایج GPT-3 را با نتایج منتشر شده امتحان SAT داوطلبان کالج مقایسه کردند و متوجه شدند که هوش مصنوعی عملکرد بهتری نسبت به امتیاز متوسط انسان‌ها داشته است.

پژوهشگران سپس از GPT-3 و داوطلبان دانشجویی خواستند تا استدلال‌هایی بر اساس داستان‌های کوتاه را حل کنند – آن‌ها را به خواندن یک موضوع دعوت کردند تا سپس داستان دیگری را شناسایی کنند که همان معنا را انتقال می‌دهد. این فناوری در این مسائل کمتر از دانشجوها عمل کرد، اگرچه GPT-4، آخرین نسخه از فناوری OpenAI، بهتر از GPT-3 عمل کرد.

پژوهشگران دانشگاه کالیفرنیا – لس آنجلس مدل کامپیوتری خود را به عنوان الهام گرفته از شناخت انسان توسعه داده‌اند و توانایی‌های آن را با AI تجاری مقایسه کرده‌اند.

هنگجینگ لو، استاد روانشناسی دانشگاه کالیفرنیا – لس آنجلس و هم‌نویسنده مقاله، گفت: “هوش مصنوعی در حال بهتر شدن بود، اما مدل AI روانشناختی ما تا دسامبر گذشته هنوز بهترین عملکرد را در حل مسائل مشابه به تست‌های هوش و آزمون‌های استاندارد مثل SAT داشت، تا زمانی که تیلور آخرین به‌روزرسانی GPT-3 را دریافت کرد و آن بهتر بود”.

پژوهشگران گفتند که GPT-3 تاکنون قادر به حل مسائلی که نیازمند درک فضای فیزیکی هستند نبوده است. به عنوان مثال، اگر به توصیفی از مجموعه‌ای از ابزارها مانند یک لوله کارتنی، قیچی و چسب دسترسی داشته‌ باشد که از آن‌ها برای انتقال گلوبول‌های شکلاتی از یک کاسه به کاسه دیگر استفاده کند، GPT-3 پیشنهادهای عجیب و غریبی داده است.

“مدل‌های یادگیری زبان فقط سعی دارند پیش‌بینی کلمات را انجام دهند، بنابراین ما متعجبیم که آن‌ها می‌توانند استدلال کنند”، گفت هنگجینگ لو. “طی دو سال گذشته، این فناوری پیشرفت قابل توجهی از نسخه‌های قبلی خود داشته است”.

پژوهشگران دانشگاه کالیفرنیا – لس آنجلس امیدوارند که بررسی کنند که آیا مدل‌های یادگیری زبان در حال واقعی “فکر” کردن مثل انسان‌ها هستند یا چیزی کاملاً متفاوت هستند که فقط شبیه فکر انسان‌ها است.

کیت هولی‌اک گفت: “GPT-3 ممکن است نوعی از فکر کردن مثل انسان‌ها باشد”. اما از طرف دیگر، مردم با جذب تمام اینترنت یاد نگرفتند، بنابراین روش آموزش کاملاً متفاوت است. ما دوست داریم بدانیم آیا واقعاً به همان روشی که انسان‌ها انجام می‌دهند، فکر می‌کند یا اینکه یک چیز کاملاً جدید است – یک هوش مصنوعی واقعی – که این به خودی خود خیره‌کننده خواهد بود.

برای پیدا کردن پاسخ، آن‌ها باید فرآیندهای شناختی پنهان مدل‌های AI را تعیین کنند، که نیاز به دسترسی به نرم‌افزار و داده‌های استفاده شده در آموزش نرم‌افزار را دارد – و سپس آزمون‌ها را اجرا کنند که اطمینان حاصل کنند که این نرم‌افزار تاکنون این آزمون‌ها را نداشته است. آن‌ها می‌گویند، مرحله بعدی در تصمیم‌گیری در مورد آنچه AI باید شود است.

تیلور وب، یک پژوهشگر پسادکتری روانشناسی در دانشگاه کالیفرنیا – لس آنجلس و نویسنده اصلی مقاله، گفت: “برای پژوهشگران AI و شناختی، داشتن پشتیبانی GPT-3 بسیار مفید خواهد بود. ما فقط ورودی‌ها را ارائه می‌دهیم و خروجی‌ها را دریافت می‌کنیم و این برای ما منبع تصمیم‌گیری خوبی نیست”.

منبع: دانشگاه کالیفرنیا – لس آنجلس