آمازون بیش از یک میلیون گزارش محتوای سوءاستفاده جنسی کودکان مرتبط با هوش مصنوعی را به مرکز ملی گزارش کرد
مرکز ملی کودکان مفقود و مورد سوءاستفاده قرار گرفته (NCMEC) در سال ۲۰۲۵ بیش از یک میلیون گزارش مرتبط با محتوای سوءاستفاده جنسی کودکان (CSAM) که به هوش مصنوعی مربوط میشد دریافت کرده است. بخش عمده این گزارشها توسط شرکت آمازون ارائه شده است که این محتوا را در دادههای آموزشی هوش مصنوعی خود شناسایی کرده است. این موضوع نگرانیهای جدی درباره منابع دادههای آموزشی هوش مصنوعی و نحوه مدیریت آنها ایجاد کرده است.
بر اساس تحقیقات انجام شده، آمازون اعلام کرده است که این محتوای نامناسب را از منابع خارجی که برای آموزش خدمات هوش مصنوعی خود استفاده میکند به دست آورده است، اما جزئیات بیشتری درباره منبع دقیق این دادهها ارائه نکرده است. فالون مکنولتی، مدیر اجرایی بخش CyberTipline در NCMEC، این حجم بالای گزارشها را یک مورد استثنایی توصیف کرده و گفته است که این موضوع سوالات زیادی درباره منشأ دادهها و تدابیر حفاظتی به وجود میآورد.
CyberTipline بخشی است که شرکتهای مستقر در آمریکا موظف به گزارش موارد مشکوک به محتوای سوءاستفاده جنسی کودکان هستند. مکنولتی اضافه کرده است که گزارشهای ارسال شده توسط سایر شرکتها حاوی دادههای قابل اقدام بوده که امکان پیگیری قانونی داشته است، اما گزارشهای آمازون به دلیل عدم ارائه جزئیات کافی، غیرقابل اقدام بودهاند.
نماینده آمازون در بیانیهای اعلام کرده است که این شرکت رویکردی محتاطانه در بررسی دادههای آموزشی مدلهای پایه خود دارد و تلاش میکند محتوای شناخته شده سوءاستفاده جنسی کودکان را شناسایی و حذف کند تا از مشتریان خود محافظت نماید. همچنین آمازون اعلام کرده که برای جلوگیری از از دست دادن موارد احتمالی، گزارشهای خود را به صورت بیش از حد ارسال میکند و محتوای مشکوک را پیش از وارد کردن به مدلهای هوش مصنوعی حذف میکند.
مسائل مربوط به ایمنی کودکان و نوجوانان در استفاده از فناوریهای هوش مصنوعی در ماههای اخیر به یکی از نگرانیهای اصلی صنعت تبدیل شده است. گزارشهای NCMEC نشان میدهد که تعداد گزارشهای مرتبط با CSAM در سال ۲۰۲۵ به شدت افزایش یافته است؛ به طوری که در سال ۲۰۲۴ حدود ۶۷ هزار گزارش و در سال ۲۰۲۳ تنها ۴۷۰۰ گزارش ثبت شده بود.
علاوه بر مشکلات مربوط به استفاده از محتوای سوءاستفاده جنسی کودکان در آموزش مدلها، رباتهای گفتگو مبتنی بر هوش مصنوعی نیز در چندین مورد خطرناک و حتی تراژیک مرتبط با کاربران نوجوان نقش داشتهاند. شرکتهای OpenAI و Character.AI به دلیل پروندههایی که در آن نوجوانان با استفاده از پلتفرمهای آنها برنامهریزی برای خودکشی کردهاند، تحت پیگرد قانونی قرار گرفتهاند. همچنین شرکت متا نیز به دلیل عدم محافظت کافی از کاربران نوجوان در برابر گفتگوهای جنسی با رباتهای گفتگو متهم شده است.
این تحولات نشاندهنده چالشهای جدی در زمینه اخلاق و امنیت در توسعه و استفاده از فناوریهای هوش مصنوعی است. ضرورت ایجاد استانداردها و قوانین سختگیرانهتر برای مدیریت دادههای آموزشی و نظارت بر عملکرد رباتهای گفتگو بیش از پیش احساس میشود تا از آسیبهای احتمالی به کودکان و نوجوانان جلوگیری شود. همچنین همکاری نزدیک میان شرکتهای فناوری، نهادهای قانونی و سازمانهای حمایت از حقوق کودکان برای مقابله با این معضل ضروری به نظر میرسد.
در نهایت، این گزارشها بار دیگر اهمیت شفافیت در مدیریت دادهها و مسئولیتپذیری شرکتهای فعال در حوزه هوش مصنوعی را برجسته میکند. بدون شفافیت و همکاری، مقابله با سوءاستفادههای مرتبط با هوش مصنوعی و حفاظت از کاربران آسیبپذیر دشوار خواهد بود.