۵۲ درصد از پاسخ‌های ChatGPT به سؤال‌های برنامه‌نویسی اشتباهند

تیمی از محققان دانشگاه پردو تحقیقاتی را در کنفرانس تعامل کامپیوتر و انسان ارائه کردند که نشان می‌دهد ۵۲ درصد از پاسخ‌های برنامه‌نویسی تولید‌شده توسط ChatGPT نادرست هستند.

بسیاری از برنامه‌نویسان در سال‌های اخیر به استفاده از هوش مصنوعی برای نوشتن و تکمیل کد‌های خود روی آورده‌اند و این موضوع ضربه‌ی بزرگی به سایت‌هایی مانند Stack Overflow وارد کرده است. Stack Overflow مجبور به اخراج ۳۰ درصد از کارکنان خود در سال گذشته شد.

محققان دانشگاه پردو بیش از ۵۱۷ سوال را در Stack Overflow بررسی و تلاش ChatGPT برای پاسخ به آن‌ها را تجزیه و تحلیل کردند. نتایج نشان داد که ۵۲ درصد از پاسخ‌ها حاوی اطلاعات نادرست و ۷۷ درصد از پاسخ‌ها بیش از حد طولانی بودند. علاوه‌بر این، ۷۸ درصد از پاسخ‌ها ناسازگاری‌هایی با پاسخ‌های انسانی داشتند.

محققان دانشگاه پردو با نظرسنجی از ۱۲ برنامه‌نویس دریافتند که ۳۵ درصد آن‌ها پاسخ‌های ChatGPT را ترجیح می‌دهند و ۳۹ درصد اشتباهات تولید شده توسط این هوش مصنوعی را تشخیص نمی‌دهند. برنامه‌نویسان علت این اتفاق را پاسخ‌های مؤدبانه، منظم، جامع و مرحله ‌به ‌مرحله‌ی ChatGPT عنوان کردند.