هوش مصنوعی، یک معلم حقوق خطاکار شد!

به گزارش شبکه اطلاع رسانی راه دانا؛ ایده این بود که ابزارهای هوش مصنوعی مولد مانند چت جی‌پی‌تی بتوانند خود را با هر سبک آموزشی که معلم تعیین کند، تطبیق دهند. این هوش مصنوعی می‌تواند گام‌به‌گام دانشجویان را در حل مسائل راهنمایی کند، بدون اینکه مستقیما پاسخ را بدهد و بازخورد فوری و دقیق، متناسب با نقاط ضعف هر دانشجو ارائه دهد.

به نقل از اس‌اف، با وجود اشتیاق زیاد، تحقیقات محدودی در مورد عملکرد واقعی هوش مصنوعی در محیط‌های آموزشی، به‌ویژه در دوره‌های دانشگاهی ساختارمند وجود دارد.

در سال ۲۰۲۲، چت‌باتی آموزشی به نام اسمارت تست (SmartTest) طراحی شد که بخشی از پروژه‌ای بزرگ‌تر برای دموکراتیزه‌کردن دسترسی به ابزارهای هوش مصنوعی در آموزش بود.

بر خلاف چت‌بات‌های عمومی، اسمارت تست به‌طور خاص برای معلمان ساخته شده تا بتوانند سؤالات، پاسخ‌های نمونه و الگوهای گفت‌وگو را در آن وارد کنند. این باعث می‌شود چت‌بات سؤالات مرتبط را مطرح کند، بازخورد دقیق و منسجم ارائه دهد و خطاهای رایج را کاهش دهد. همچنین، اسمارت تست طوری برنامه‌ریزی شده بود که از روش سقراطی استفاده کند تا دانشجویان را به تفکر وا دارد، نه اینکه صرفا به آن‌ها پاسخ دهد.

اسمارت تست در پنج مرحله آزمایشی در یک دوره درس حقوق کیفری در دانشگاه ولونگونگ (University of Wollongong) در سال ۲۰۲۳ مورد بررسی قرار گرفت. در سه مرحله اول، از سناریوهای فرضی کوتاه حقوقی استفاده شد؛ دو مرحله آخر شامل سؤالات ساده‌تر و مستقیم‌تر بود.

حدود ۳۵ دانشجو در هر مرحله، داوطلبانه و ناشناس با این هوش مصنوعی تعامل داشتند. مکالمات آن‌ها با چت‌بات ذخیره شد.

اسمارت تست در شناسایی نقاط ضعف علمی دانشجویان مفید بود. اما در سه چرخه اول، بین ۴۰ تا ۵۴ درصد مکالمات شامل حداقل یک بازخورد نادرست، گمراه‌کننده یا اشتباه بود.

وقتی به سؤالات ساده‌تر در چرخه‌های چهارم و پنجم روی آوردیم، نرخ خطا به ۶ تا ۲۷ درصد کاهش یافت. با این حال، حتی در بهترین چرخه‌ها، برخی خطاها باقی ماندند. مثلا گاهی چت‌بات ابتدا پاسخ اشتباه را تایید می‌کرد، سپس پاسخ درست را ارائه می‌داد که می‌تواند باعث سردرگمی دانشجو شود.

یک تناقض مهم

نکته جالب دیگر، زحمت زیاد مورد نیاز برای کارکرد درست چت‌بات بود. برخلاف تصور رایج از هوش مصنوعی به‌عنوان ابزار صرفه‌جوی وقت، راه‌اندازی اسمارت تست نیازمند مهندسی دقیق دستورات و ارزیابی‌های دستی گسترده از سوی اساتید بود. این تناقض در ابزاری که قرار است به صرفه‌جویی در زمان کمک کند اما خودش نیازمند وقت زیاد است فایده عملی آن را زیر سؤال می‌برد.

مشکل اصلی: بی‌ثباتی

رفتار اسمارت تست غیرقابل پیش‌بینی بود. در شرایط مشابه، گاهی بازخورد عالی می‌داد، گاهی اطلاعات اشتباه یا گیج‌کننده ارائه می‌داد.

برای بررسی عملکرد مدل‌های جدیدتر، نسخه پایه چت جی‌پی‌تی-4 با مدل 2025 را جایگزین کردیم. اما مدل جدید هم عملکرد بهتری نداشت و گاهی حتی بدتر بود. پس ارتقاء مدل الزاما به معنی بهبود در نتایج آموزشی نیست.

نتیجه‌گیری برای معلمان و دانشجویان

کاربرد هوش مصنوعی در آموزش، مزایا و محدودیت‌هایی دارد. شاید در تمرین‌های کم‌اهمیت و خودآزمایی مفید باشد، اما برای یادگیری عمیق، قابل‌اعتماد و دقیق، کافی نیست.

از سوی دیگر، دانشجویان بازخورد فوری و لحن دوستانه چت‌بات را دوست داشتند و گفتند که این به کاهش اضطراب کمک می‌کند. با این حال، پاسخ‌های غلط می‌توانند باعث ایجاد یا تقویت سوء‌برداشت شوند.

در نظرسنجی نهایی 76 درصد از دانشجویان گفتند که وجود اسمارت‌تست بهتر از نبود آن است. اما تنها 27 درصد ترجیح دادند بازخورد فوری از هوش مصنوعی بگیرند و نزدیک به نیمی ترجیح دادند منتظر بازخورد انسانی بمانند.

نتایج نشان می‌دهند که هوش مصنوعی مولد باید همچنان به‌عنوان یک ابزار آزمایشی برای یادگیری تلقی شود.

پتانسیل آن واقعی است، اما محدودیت‌هایش نیز جدی‌ هستند. تکیه بیش از حد بر هوش مصنوعی بدون ارزیابی دقیق، می‌تواند کیفیت آموزش را به خطر بیندازد.