تبعیض پنهان در چت‌بات‌های هوش مصنوعی

به گزارش سیتنا،پژوهشگران برای سنجش صداقت و دقت مدل‌ها، دو مجموعه‌داده شامل پرسش‌های علمی و سوالات طراحی‌شده برای ارزیابی صحت پاسخ را به کار گرفتند. پیش از هر پرسش، یک بیوگرافی کوتاه از کاربر ارائه شد که در آن سه متغیر تغییر می‌کرد:

• سطح تحصیلات
• میزان مهارت در زبان انگلیسی
• کشور مبدا

نتایج نشان داد در هر سه مدل، زمانی که سوالات از سوی کاربران با تحصیلات کمتر یا انگلیسی غیر بومی مطرح می‌شد، دقت پاسخ‌ها به شکل معناداری کاهش می‌یافت. این افت عملکرد در کاربرانی که هم تحصیلات پایین‌تر داشتند و هم غیر بومی بودند، شدیدتر بود.

از نظر جغرافیایی نیز تفاوت‌هایی مشاهده شد. برای نمونه، Claude 3 Opus در پاسخ‌گویی به کاربران اهل ایران، حتی با سطح تحصیلات مشابه کاربران آمریکایی، عملکرد ضعیف‌تری در هر دو مجموعه داده نشان داد.

خودداری از پاسخ و لحن تحقیرآمیز

یکی از قابل‌توجه‌ترین یافته‌ها مربوط به نرخ خودداری مدل‌ها از پاسخ دادن بود. به‌عنوان مثال، Claude 3 Opus حدود ۱۱ درصد از سوالات کاربران کم‌تحصیلات و غیر بومی را بی‌پاسخ گذاشت؛ در حالی که این نرخ در شرایط کنترل (بدون ارائه بیوگرافی کاربر) تنها ۳.۶ درصد بود.

بررسی دستی این موارد نشان داد در ۴۳.۷ درصد پاسخ‌ها به کاربران کم‌تحصیلات، لحن Claude جنبه‌ای تحقیرآمیز داشته است؛ رقمی که برای کاربران تحصیل‌کرده کمتر از یک درصد گزارش شد. در برخی موارد، مدل حتی زبان انگلیسی شکسته یا لهجه اغراق‌آمیز را تقلید کرده است.

همچنین گزارش شد که این مدل در برخی موضوعات مانند انرژی هسته‌ای، آناتومی یا رویدادهای تاریخی، به‌طور خاص برای کاربران کم‌تحصیلات از ایران یا روسیه از ارائه پاسخ خودداری کرده، در حالی که همان سوالات را برای سایر کاربران پاسخ داده است.

بازتاب سوگیری‌های انسانی

این الگوها شباهت زیادی به سوگیری‌های اجتماعی-شناختی انسان دارند. مطالعات علوم اجتماعی نشان داده‌اند که گویشوران بومی انگلیسی اغلب غیر بومی‌ها را کمتر شایسته یا کم‌هوش‌تر ارزیابی می‌کنند، صرف‌نظر از توانایی واقعی آن‌ها. چنین سوگیری‌هایی در محیط‌های آموزشی نیز مشاهده شده است.

خطرات شخصی‌سازی و آینده نابرابری دیجیتال

یافته‌های این پژوهش در شرایطی مطرح می‌شود که قابلیت‌های شخصی‌سازی  مانند حافظه و دنبال‌کردن اطلاعات کاربر در طول مکالمه به‌طور فزاینده‌ای در چت‌بات‌ها رایج شده‌اند. اگر این ویژگی‌ها بدون کنترل دقیق سوگیری‌ها توسعه یابند، می‌توانند به تشدید رفتار متفاوت با گروه‌های حاشیه‌ای و تعمیق نابرابری دیجیتال منجر شوند.

پژوهشگران تأکید می‌کنند که تحقق وعده هوش مصنوعی برای کاهش نابرابری اطلاعاتی، تنها در صورتی ممکن است که سوگیری‌های مدل‌ها به‌طور جدی شناسایی و برای همه کاربران  صرف‌نظر از زبان، ملیت یا سطح تحصیلات اصلاح شود.