نمایش محتوای خشونت‌ آمیز به پسران توسط الگوریتم‌ شبکه‌ های اجتماعی!

به گزارش سیتنا به نقل از بی بی سی فارسی، سال ۲۰۲۲ بود و کای، که آن زمان ۱۶ سال داشت، با موبایلش در حال چرخیدن در اینترنت بود. او می‌گوید یکی از اولین ویدیوهایی که در شبکه‌های اجتماعی‌ دید، ویدئویی از یک سگ بامزه بود. اما بعد، همه چیز تغییر کرد.

او می‌گوید «ناگهان» ویدیوهایی به او پیشنهاد شد که در آن‌ها خودرویی فردی را زیر می‌گرفت، یک مونولوگ از یک اینفلوئنسر و کلیپ‌هایی از درگیری‌های خشونت‌آمیز.

از خودش پرسید - چرا من؟

در دوبلین، اندرو کائنگ به عنوان تحلیل‌گر ایمنی کاربران در تیک‌تاک فعالیت می‌کرد. او از دسامبر ۲۰۲۰ تا ژوئن ۲۰۲۲ به مدت ۱۹ ماه مشغول این کار بود.

او می‌گوید او و یکی از همکارانش تصمیم گرفتند تا بررسی کنند که الگوریتم‌های این اپلیکیشن چه محتوایی را به کاربران در بریتانیا پیشنهاد می‌دهد، از جمله کاربران ۱۶ ساله.

کمی پیش‌تر، او برای شرکت رقیب یعنی متا که مالک اینستاگرام است - یکی دیگر از سایت‌هایی که کای از آن استفاده می‌کند - کار می‌کرد.

اندرو به برنامه پانورامای بی‌بی‌سی گفت وقتی محتوای تیک‌تاک را بررسی کرد، متوجه شد که به برخی از پسران نوجوان پست‌هایی نشان داده می‌شود که شامل خشونت و پورنوگرافی است و دیدگاه‌های زن‌ستیزانه را ترویج می‌کنند که مایه نگرانی او شد. او می‌گوید که به طور کلی، به دختران نوجوان محتوای بسیار متفاوتی بر اساس علاقه‌مندی‌هایشان پیشنهاد می‌شود.

تیک‌تاک و دیگر شرکت‌های شبکه‌های اجتماعی از ابزارهای هوش مصنوعی استفاده می‌کنند تا اکثر محتوای مضر را حذف کرده و محتوای دیگر را، صرف‌نظر از تعداد بازدیدهایی که آن‌ها داشته‌اند، برای بررسی توسط ناظران انسانی علامت‌گذاری کنند. اما ابزارهای هوش مصنوعی نمی‌توانند همه‌چیز را شناسایی کنند.

اندرو کانگ می‌گوید در زمان حضورش در تیک‌تاک، همه ویدیوهایی که هوش مصنوعی حذف نکرده یا برای ناظران انسانی علامت‌گذاری نشده بودند - یا کاربران دیگر آن‌ها را به ناظران گزارش نکرده بودند - فقط در صورتی دوباره به صورت دستی بررسی می‌شدند که به آستانه بازدید مشخصی می‌رسیدند.

او می‌گوید که در یک برهه زمانی، آستانه بازبینی ویدیوها ۱۰هزار بازدید یا بیشتر بود. او نگران بود که با این وضع شاید برخی از کاربران جوان‌تر در معرض ویدیوهای مضر قرار می‌گیرند. بیشتر شرکت‌های بزرگ شبکه‌های اجتماعی به افراد ۱۳ ساله یا بالاتر اجازه ثبت‌نام می‌دهند.

تیک‌تاک اعلام کرده است که ۹۹ درصد از محتوایی که به دلیل نقض قوانینش حذف می‌شود، توسط هوش مصنوعی یا ناظران انسانی قبل از رسیدن به ۱۰ هزار بازدید حذف می‌شود. همچنین گفته است که بررسی‌های پیشگیرانه‌ای را روی ویدیوهایی با بازدید کمتر از این تعداد انجام می‌دهد.

به گفته اندرو کانگ که بین سال‌های ۲۰۱۹ و دسامبر ۲۰۲۰ در متا کار می‌کرد، مشکل دیگری وجود داشت. او می‌گوید بیشتر ویدیوها را ابزارهای هوش مصنوعی حذف یا به ناظران گزارش می‌کردند، ولی سایت به کاربران تکیه می‌کرد تا ویدیوها را پس از تماشای آن‌ها گزارش کنند.

او می‌گوید که در هر دو شرکت نگرانی‌هایی را مطرح کرد، اما عمدتاً با بی‌توجهی مواجه شد زیرا به گفته او، ترس از میزان کار لازم یا هزینه‌ها وجود داشت. او می‌گوید که در نهایت بهبودهایی در تیک‌تاک و متا اعمال شد، اما معتقد است که کاربران جوان‌تر، مانند کای، در این مدت در معرض خطر قرار داشتند.

چندین کارمند سابق از این شرکت‌های شبکه‌های اجتماعی به بی‌بی‌سی گفته‌اند که نگرانی‌های اندرو کانگ با اطلاعات و تجربیات خودشان تطابق داشته است.

آفکام، نهاد ناظر رسانه‌ای بریتانیا، به بی‌بی‌سی می‌گوید که الگوریتم‌های تمام شرکت‌های بزرگ شبکه‌های اجتماعی به کودکان محتوای مضر را پیشنهاد می‌دهند، حتی اگر ناخواسته باشد.

آلمودنا لارا، مدیر توسعه سیاست‌های ایمنی آنلاین آفکام، می‌گوید: «شرکت‌ها چشم خود را بسته‌اند و با کودکان همان‌گونه رفتار می‌کنند که با بزرگسالان رفتار می‌کنند.»

تیک‌تاک به بی‌بی‌سی گفته است که دارای تنظیمات ایمنی «پیشرو در این صنعت» برای نوجوانان است و بیش از ۴۰ هزار نفر را برای ایمن نگه‌داشتن کاربران به کار گرفته است. این شرکت گفته است که فقط در سال جاری انتظار دارد «بیش از ۲ میلیارد دلار در زمینه ایمنی سرمایه‌گذاری کند» و ۹۸ درصد از محتوایی را که به دلیل نقض قوانینش حذف می‌کند، پیشگیرانه پیدا می‌کند.

متا، که مالک اینستاگرام و فیس‌بوک است، می‌گوید بیش از ۵۰ ابزار، منبع و ویژگی مختلف دارد تا به نوجوانان «تجربیات مثبت و مناسب سن‌شان» بدهد.

کای به بی‌بی‌سی گفت که سعی کرده از یکی از ابزارهای اینستاگرام و ابزار مشابهی در تیک‌تاک استفاده کند تا نشان دهد به محتوای خشونت‌آمیز یا زن‌ستیز علاقه‌ای ندارد - اما او می‌گوید که همچنان این محتوا به او پیشنهاد می‌شد.

کای به یو‌اف‌سی - مسابقات قهرمانی مبارزه نهایی - علاقه دارد. او متوجه شد بدون این که بخواهد، ویدیوهایی از اینفلوئنسرهای جنجالی به او نشان داده می‌شدند. او می‌گوید نمی‌خواست این محتوای افراطی‌تر به او پیشنهاد شود.

او می‌گوید: «آن تصویر وارد ذهن‌تان می‌شود و نمی‌توانید آن را پاک کنید. [آن تصویر] ذهن شما را لکه‌دار می‌کند و بعد تا پایان روز به آن فکر می‌کنید.»

او می‌گوید به دخترانی که هم‌ سن او هستند، ویدیوهایی درباره موضوعاتی مانند موسیقی و آرایش پیشنهاد می‌شود، نه خشونت.

در عین حال، کای که اکنون ۱۸ ساله است، می‌گوید هنوز هم محتوای خشونت‌آمیز و زن‌ستیزانه در اینستاگرام و تیک‌تاک به او پیشنهاد می‌شود.

وقتی ریل‌های اینستاگرام او را مرور می‌کنیم، تصاویری می‌بینیم که خشونت خانگی را بی‌اهمیت جلوه می‌دهند یا با آن شوخی می‌کنند. در یکی از این تصاویر، دو شخصیت کنار هم قرار دارند که یکی از آن‌ها کبودی‌هایی بر تن دارد و زیر آن نوشته شده «زبان عشق من». تصویر دیگری نشان می‌دهد که فردی با کامیون زیر گرفته شده است.

کای می‌گوید که متوجه شده ویدیوهایی که میلیون‌ها لایک دارند، می‌توانند بر دیگر مردان جوان هم‌ سن او تأثیر بگذارند.

برای نمونه، او می‌گوید یکی از دوستانش تحت تأثیر محتواهای تولید شده یک اینفلوئنسر جنجالی قرار گرفت و شروع به پذیرش دیدگاه‌های زن‌ستیزانه کرد.

کای می‌گوید که در بخش نظرات پست‌ها نوشته است که علاقه‌ای به آنها ندارد و وقتی به اشتباه ویدیوهایی را لایک می‌کرده، تلاش می‌کرده آن لایک را بردارد و امیدوار بوده که الگوریتم‌ها به حالت اولیه برگردند. او می‌گوید اما به جای آن، ویدیوهای بیشتری در فیدهای او ظاهر شده است.

الگوریتم‌های تیک‌تاک چگونه کار می‌کنند؟

به گفته اندرو کانگ، الگوریتم‌ها بر اساس تعاملات کار می‌کنند، چه تعامل مثبت باشد و چه منفی. این می‌تواند بخشی از دلیل عدم موفقیت تلاش‌های کای برای تغییر الگوریتم‌ها را توضیح دهد.

اولین مرحله برای کاربران این است که هنگام ثبت‌نام، موارد مورد پسند و علایق خود را مشخص کنند. اندرو می‌گوید برخی از محتوای اولیه‌ای که الگوریتم‌ها به عنوان مثال به یک نوجوان ۱۶ ساله نشان می‌دهند، بر اساس ترجیحاتی که او مشخص کرده و ترجیحات دیگر کاربران هم‌سن او و در مکان‌های مشابه است.

به گفته تیک‌تاک، جنسیت کاربران به الگوریتم‌ها اطلاع داده نمی‌شود. اما اندرو می‌گوید علایقی که نوجوانان هنگام ثبت‌نام ابراز می‌کنند اغلب موجب دسته‌بندی آنها بر اساس جنسیت می‌شود.

این کارمند سابق تیک‌تاک می‌گوید برخی از پسران ۱۶ ساله ممکن است «فورا» با محتوای خشونت‌آمیز مواجه شوند، زیرا دیگر کاربران نوجوان با ترجیحات مشابه به این نوع محتوا علاقه نشان داده‌اند - حتی اگر این به معنی صرف زمان بیشتر روی ویدیویی باشد که توجه آن‌ها را برای مدت طولانی‌تری جلب می‌کند.

او می‌گوید علایق مشخص‌شده بسیاری از دختران نوجوان در پروفایل‌هایی که بررسی کرده است - مانند «خوانندگان پاپ، آهنگ‌ها، آرایش» - باعث شده که به آن‌ها این محتوای خشونت‌آمیز پیشنهاد نشود.

او می‌گوید الگوریتم‌ها از «یادگیری تقویتی» استفاده می‌کنند - روشی که در آن سیستم‌های هوش مصنوعی با آزمون و خطا یاد می‌گیرند - و خود را برای تشخیص رفتار نسبت به ویدیوهای مختلف آموزش می‌دهند.

اندرو کانگ می‌گوید که این الگوریتم‌ها به گونه‌ای طراحی شده‌اند که تعامل را به حداکثر برسانند و ویدیوهایی را به شما نشان دهند که انتظار دارند زمان بیشتری به تماشای آن‌ها بپردازید، روی آن‌ها نظر دهید یا آن‌ها را لایک کنید - همه این‌ها به منظور ترغیب شما به بازگشت و تماشای بیشتر است.

او می‌گوید الگوریتمی که محتوا را به «صفحه برای شما» در تیک‌تاک پیشنهاد می‌دهد، همیشه قادر به تشخیص و تفکیک محتوای مضر از محتوای غیرمضر نیست.

به گفته اندرو، یکی از مشکلاتی که او در زمان کار در تیک‌تاک شناسایی کرد، این بود که تیم‌های مربوط به آموزش و کدنویسی الگوریتم همیشه از ماهیت دقیق ویدیوهایی که الگوریتم پیشنهاد می‌کرد، آگاه نبودند.

این کارشناس سابق تیک‌تاک به من می‌گوید: «آن‌ها تنها به تعداد بینندگان، سن، ترندها و این نوع داده‌های بسیار انتزاعی توجه می‌کنند و لزوماً خود محتوا را نمی‌بینند.»

به همین دلیل، در سال ۲۰۲۲، او و یکی از همکارانش تصمیم گرفتند نگاهی بیندازند به انواع ویدیوهایی که به گروه‌های مختلف کاربران، از جمله برخی نوجوانان ۱۶ ساله، پیشنهاد می‌شوند.

او می‌گوید آن‌ها نگران محتوای خشونت‌آمیز و مضر بودند که به برخی نوجوانان نشان داده می‌شد و پیشنهاد کردند که تیک‌تاک باید سیستم نظارت خود را به‌روز کند.

آن‌ها خواهان این بودند که تیک‌تاک ویدیوها را به‌طور واضح برچسب‌گذاری کند تا هر کسی که در آنجا کار می‌کند بتواند ببیند که چرا این ویدیوها مضر هستند - دلایلی مانند خشونت شدید، آزار و سوءاستفاده، پورنوگرافی و غیره - و همچنین پیشنهاد کردند که تیک‌تاک تعداد بیشتری از مدیران محتوا را که در این زمینه‌های مختلف تخصص داشته باشند، استخدام کند. اندرو می‌گوید پیشنهادات آن‌ها در آن زمان رد شد.

تیک‌تاک می‌گوید که آن موقع ناظرانی حرفه‌ای داشت و با رشد پلتفرم، همچنان به استخدام ناظران بیشتری ادامه داده است. همچنین گفته است که انواع مختلف محتوای مضر را به دسته‌های مختلفی که آن‌ها را «صف» می‌نامد، برای ناظران تفکیک کرده است.

اندرو کانگ می‌گوید که از درون تیک‌تاک و متا، انجام تغییرات مورد نظرش بسیار دشوار به نظر می‌رسید.

او می‌گوید: «ما از یک شرکت خصوصی که هدفش ترویج محصولات خودش است، درخواست می‌کنیم که بر خود نظارت کند، که انگار به ببر بگویی شما را نخورد.»

او همچنین می‌گوید که فکر می‌کند کودکان و نوجوانان اگر از گوشی‌های هوشمند خود استفاده نکنند، زندگی بهتری خواهند داشت.

اما برای کای، ممنوع کردن گوشی‌ها یا شبکه‌های اجتماعی برای نوجوانان راه‌حل نیست. گوشی او بخش جدایی‌ناپذیر از زندگی‌اش است - وسیله‌ای بسیار مهم برای گفتگو با دوستان، مسیریابی هنگام بیرون بودن و پرداخت هزینه‌ها.

به جای آن، او می‌خواهد که شرکت‌های شبکه‌های اجتماعی بیشتر به آنچه که نوجوانان نمی‌خواهند ببینند توجه کنند. او می‌خواهد این شرکت‌ها ابزارهایی بسازند که به کاربران اجازه دهند علایق خود را مؤثرتر مشخص کنند.

کای به من می‌گوید: «احساس می‌کنم که شرکت‌های شبکه‌های اجتماعی تا جایی که پای پول در آوردن در میان باشد، احترامی برای عقیده و نظر شما قایل نیستند.»

در بریتانیا، قانونی جدید شرکت‌های شبکه‌های اجتماعی را مجبور خواهد کرد تا سن کودکان را تأیید کنند و از پیشنهاد محتواهای پورنوگرافی یا دیگر محتوای مضر به جوانان جلوگیری کنند. نهاد نظارت کننده بر رسانه‌های بریتانیا، آفکام، مسئول اجرای این قانون است.

المودینا لارا، مدیر توسعه سیاست‌های ایمنی آنلاین آفکام، می‌گوید که محتوای مضری که عمدتاً روی زنان جوان تأثیر می‌گذارد - مانند ویدیوهایی که اختلالات خوردن و خودآسیبی را ترویج می‌کنند - به‌درستی در کانون توجه قرار گرفته‌اند، اما مسیرهای الگوریتمی که نفرت و خشونت را به‌طور عمده به سمت پسران نوجوان و مردان جوان هدایت می‌کنند، کمتر در کانون توجه بوده‌اند.

خانم لارا می‌گوید: «معمولاً تعداد کمی از [کودکان] در معرض مضرترین محتوا قرار می‌گیرند. اما ما می‌دانیم که وقتی با آن محتوای مضر مواجه می‌شوید، دیگر نمی‌توان از آن اجتناب کرد.»

آفکام می‌گوید که می‌تواند شرکت‌ها را جریمه کند و در صورت عدم انجام اقدامات کافی، آن‌ها را تحت پیگرد قانونی قرار دهد، اما این تدابیر تا سال ۲۰۲۵ به اجرا در نخواهند آمد.

تیک‌تاک می‌گوید که از «فناوری‌های نوآورانه» استفاده می‌کند و «تنظیمات امنیتی و حریم خصوصی پیشرو در صنعت» را برای نوجوانان فراهم می‌آورد، از جمله سامانه‌هایی برای مسدود کردن محتوای نامناسب و همچنین تأکید می‌کند که اجازه نشر خشونت‌های شدید یا زن‌ستیزی را نمی‌دهد.

متا، که مالک اینستاگرام و فیسبوک است، می‌گوید که بیش از «۵۰ ابزار، منبع و ویژگی مختلف» دارد تا به نوجوانان «تجربیات مثبت و مناسب با سن‌شان» ارائه دهد. به گفته متا، این شرکت از تیم‌های خود بازخورد می‌گیرد و تغییرات سیاستی احتمالی از طریق یک فرآیند دقیق بررسی می‌شوند.

انتهای پیام