هوش مصنوعی در تشخیص خطر خودکشی پیشرفت کرده؛ اما ممکن است در حساسترین لحظه اشتباه کند
چتباتهای هوش مصنوعی در مواجهه با کاربرانی که افکار خودکشی یا مشکلات شدید روانی دارند، نسبت به نسلهای قبلی عملکرد بهتری پیدا کردهاند؛ اما یک پژوهش جدید هشدار میدهد که این پیشرفت هنوز به معنای «ایمن بودن» کامل این فناوری نیست.
یک ارزیابی مستقل که توسط سازمان غیرانتفاعی Transluce انجام شده، بیش از ۵۰ هزار گفتوگوی شبیهسازیشده میان کاربران و چتباتهای هوش مصنوعی را بررسی کرد. در این آزمایشها، کاربران فرضی نشانههایی از افکار خودکشی، روانپریشی یا دورههای مانیا داشتند.
نتایج نشان داد مدلهای جدید نسبت به نسخههای قدیمی بسیار کمتر احتمال دارد که مستقیماً خودکشی یا خودآزاری را تشویق کنند یا باورهای هذیانی کاربران را تقویت کنند. این موضوع نشانهای امیدوارکننده برای شرکتهای سازنده هوش مصنوعی است که در سالهای اخیر تحت فشار فزایندهای برای بهبود عملکرد محصولاتشان در موقعیتهای بحرانی قرار گرفتهاند.
اما بخش نگرانکننده ماجرا همچنان باقی است. پژوهشگران دریافتند بسیاری از مدلها، حتی زمانی که نشانههای آشکار پریشانی روانی در گفتوگو وجود دارد، هنوز بیش از حد آمادهاند تا به درخواستهایی مانند نوشتن نامه خداحافظی یا تولید محتوای مرتبط با خودکشی کمک کنند.
به عبارت دیگر، ممکن است یک چتبات در یک بخش از گفتوگو بهدرستی خطر را تشخیص دهد و کاربر را به دریافت کمک حرفهای تشویق کند، اما در بخش دیگری از همان تعامل رفتاری نشان دهد که میتواند خطر را افزایش دهد. پژوهشگران این وضعیت را همزیستی رفتارهای مفید و خطرناک در یک پاسخ یا گفتوگو توصیف کردهاند.
این موضوع اهمیت بیشتری پیدا میکند، زیرا میلیونها نفر اکنون از چتباتها برای دریافت اطلاعات و حمایت روانی استفاده میکنند. پژوهشهای جدید نیز نشان دادهاند که مدلهای هوش مصنوعی هنوز در تشخیص نشانههای ظریف، غیرمستقیم یا تدریجی خطر روانی با مشکل روبهرو هستند.
شرکتهایی مانند OpenAI، Anthropic و Google اعلام کردهاند که ایمنی در موقعیتهای بحرانی را در اولویت قرار دادهاند.
در نهایت، شاید بزرگترین چالش این باشد که چتباتها نهتنها باید یاد بگیرند چه پاسخی بدهند، بلکه باید بدانند چه زمانی نباید پاسخ معمولی بدهند و باید کاربر را به یک مشاور انسانی وصل کنند.
