وقتی هوش مصنوعی راهنمای کشتار بیشترین تعداد قربانی را به یک تیرانداز داد
پارسی کاو: مهاجم تامبلر ریج با اضافه کردن کلمه «فرضی» فیلترهای امنیتی را دور زد و تا بامداد روز فاجعه برای کشتار از چت جی پی تی مشاوره گرفت.
به گزارش پارسی کاو به نقل از خبر آنلاین، به نقل از زومیت، ژوئن ۲۰۲۵، OpenAI حساب کاربری فردی به نام جسی ون روتسلار را بست. نوجوان ۱۷ ساله ی ساکن تامبلر ریج در کانادا، در رابطه با ی حمله ای مسلحانه به یک مرکز خرید حقیقی با ChatGPT حرف می زد و سیستم نظارتی شرکت فعالیتش را جهت بررسی انسانی فرستاده بود.
روایت ماجرا در همان زمان می توانست پایان یابد. لایه های ایمنی چت بات درست کار کرده بودند، OpenAI خطر را دید و حساب را بست. ولی ون روتسلار، با حساب دیگری برگشت؛ ماجرای مسدودشدن حساب قبلی اش را برای چت جی پی تی تعریف کرد و پرسید چرا حسابش بسته شده، یا چرا گفتگوهایش حساس بوده اند.
برمبنای تحقیقات جدید Mother Jones، چت بات بعد از توضیح دلیلهای فعال شدن سیستم های ایمنی، راه هایی را هم برای دورماندن از فیلترها پیشنهاد کرد، مثلا این که سناریوها را تخیلی یا فرضی معرفی نماید و نام مکانهای حقیقی را کنار بگذارد.
حساب دوم هشت ماه فعال ماند. ون روتسلار در طول این مدت از اسلحه، مواد منفجره ی دست ساز، کشتارجمعی و شهرت بعد از حمله حرف زد. گاهی چت جی پی تی درخواستش را رد می کرد و روتسلار با تغییر چند کلمه یا افزودن قید «فرضی»، از همان درخواست به پاسخی مفصل می گرفت. آخرین گفت وگوها به ساعت وقوع تیراندازی های مدرسه ای در آمریکا مربوط می شد. چند ساعت بعد، هشت نفر کشته شدند.
تا چند ماه بعد از حادثه، افکار عمومی فقط می دانست OpenAI حساب اول را بسته و مبحث را به پلیس گزارش نکرده بود. مطالعه جدید اما نشان میدهد ماجرا به اخطار محدود نشده و محصول شرکت بعد از همان اخطار نیز ماه ها به گفت و گو با کاربر ادامه داده است.
هشداری که به پلیس نرسید تامبلر ریج، شهری معدنی در شمال شرق بریتیش کلمبیا، ۱۰ فوریه ی ۲۰۲۶ یکی از مرگ بارترین تیراندازی های جمعی تاریخ کانادا را تجربه نمود. پلیس سلطنتی کانادا ساعت ۱: ۲۰ بعدازظهر گزارشی از حضور فردی مسلح در دبیرستان شهر دریافت کرد.
ماموران در مدرسه شش قربانی را یافتند؛ پنج دانش آموز ۱۲ و ۱۳ساله و یک دستیار آموزشی. دو قربانی دیگر، مادر مهاجم و برادر ۱۱ ساله اش، در خانه پیدا شدند. ۲۷ نفر نیز لطمه دیدند و مهاجم ۱۸ساله با شلیک به خود جان باخت.
پلیس هنگام بررسی ردپای دیجیتال ون روتسلار به OpenAI رسید، اما شرکت از قبل او را می شناخت. نامه ی رسمی OpenAI به دولت کانادا تأیید می کند سیستم خودکار شرکت در ژوئن ۲۰۲۵ حساب نخست را شناسایی کرده و بازبینان انسانی نیز مکالمه ها را دیده اند، بنابراین حساب او را بستند. مدیران شرکت به این جمع بندی رسیدند که شواهد موجود نشانه ی «خطری قریب الوقوع و معتبر» نیست که به پلیس گزارشش دهند.
گزارشهای بعدی نشاندهنده آن بودند که درون اوپن ای آی نیز بر سر همین تصمیم اختلاف وجود داشت. وال استریت ژورنال می نویسد شماری از اعضاء تیم ایمنی، گفت وگوها را جدی تر ارزیابی کردند و خواهان تماس با مقام های مسئول شدند، ولی تصمیم نهائی شرکت به مسدودکردن حساب محدود ماند.
OpenAI می گوید در بررسی آن زمان نشانه ای از برنامه ای فعال و فوری مشاهده نمی شد؛ شاکیان پرونده های قضایی می گویند مدیران شرکت فرصتی حقیقی برای مداخله را کنار گذاشتند. دادگاه هنوز در رابطه با ی این ادعاها حکمی صادر نکرده است.
اختلافات امروز فقط در رابطه با ی تصمیمی اشتباه در گذشته نیست. منتقدان سؤالی می پرسند که شرکتهای هوش مصنوعی هنوز پاسخ یکدست و محکمی برایش ندارند. گفتگوی خصوصی از چه لحظه ای به تهدیدی عمومی تبدیل می شود؟
گزارشهای زودهنگام می تواند جان انسان ها را حفظ کند، ولی گزارشهای مختلف و بیش از اندازه نیز حریم خصوصی افراد را مخدوش می کند، یا موجب می شود داستان های تخیلی و حرف های آشفته ی افراد در بحران های روزمره، پای پلیس را وسط بکشد. اوپن ای آی دراین خصوص آستانه ی تصمیم گیری اش را بالا گذاشته بود و حادثه ی تامبلر ریج هزینه ی خطای شرکت را نشان داد.
نامه ی اوپن ای آی نکته ای را تأیید می کند که در روایت اولیه کمتر دیده شد. ون روتسلار بعد از محرومیت، حساب جدیدی ساخت و شرکت تا بعد از حمله ارتباط میان دو حساب او را کشف نکرد. اوپن ای آی می گوید بعد از آنکه نام مهاجم بصورت عمومی اعلام شد، حساب دوم او را یافت و اطلاعاتش را در اختیار پلیس گذاشت؛ درحالی که شرکت از قبل ابزاری برای شناسایی کاربران متخلفی داشت که با حساب تازه بازمی گشتند.
مهاجم با افزودن کلمه ی «فرضی»، چت بات را برای توصیف کارآمدی اسلحه ها در فضای بسته فریب داد نشریه خبری و تحقیقی Mother Jones برای اولین بار تصویری از محتوای حساب دوم عرضه می کند. گزارش این مجله به اطلاعات و نقل قول های منابع آگاه و مواردی از تاریخچه ی گفت وگوهای ون روتسلار استناد می کند، گرچه منابع آگاه به خاطر ادامه یافتن تحقیقات نام خویش را فاش نکرده اند و اوپن ای آی نیز به سؤال های گزارشگران این مجله پاسخی نمی دهد.
شواهد فعلی نشان می دهند ون روتسلار تصاویر خشونت آمیز و لطمه به خویش را بارگذاری می کرد و از چت بات می خواست روایت هایی در رابطه با ی کشتارهای خیالی بسازد. شخصیت تعدادی از داستان ها به خود او شباهت داشت، مثل مهاجمی ۱۸ساله یا فردی با نام «جس» که از حمله برای کسب شهرت استفاده می کرد. چت بات گاهی از پاسخ دادن سر باز می زد، اما پافشاری کاربر و بازنویسی درخواست مسیر را عوض می کرد.
یکی از چت های آگوست ۲۰۲۵ ضعف لایه های امنیتی اوپن ای آی را به روشنی نشان میدهد. ون روتسلار از چت جی پی تی خواست سناریوی حمله ای در محیط دانشگاه با یک اسلحه مشخص را شرح دهد. چت بات ابتدا درخواست را رد کرد؛ سپس ون روتسلار به همان تقاضا یک قاب فرضی اضافه کرد و چت بات در رابطه با ی کارآمدی اسلحه در فضاهای بسته، زمان پرکردن باردیگر اسلحه و شمار احتمالی قربانیان حرف زد.
جزییات سؤال ها و نحوه ی پرسیدن آنها را کنار بگذاریم، برای اینکه آن چه اهمیت دارد، در فاصله ی «امتناع راسخ» و «همراهی ای خطرناک بعد از تغییر صورت سؤال» منعکس می شود.
بامداد روز حمله، ون روتسلار در مورد زمان وقوع چند تیراندازی مشهور در مدارس آمریکا سؤال پرسید و چت جی پی تی با تاکید بر داده های انتشار یافته و نمونه های گذشته، به او پاسخ داد. ژورنال Mother Jones می گوید این پرسش وپاسخ آخرین گفت وگوهای جسی با چت بات بودند.
تحقیقات پلیس هنوز ادامه دارد و مقام های کانادایی نیز هنوز در رابطه با ی انگیزه ی نهائی یا سهم دقیق این مکالمه ها در فاجعه ی دلخراش، چیزی نگفته اند.
تامبلر ریج اولین تیراندازی مرگ باری نبود که نام چت جی پی تی را بر سر زبان ها انداخت. فینیکس ایکنر، متهم حمله ی آوریل ۲۰۲۵ به دانشگاه ایالتی فلوریدا نیز شب قبل از تیراندازی از افسردگی و افکار خودکشی با چت بات حرف زده بود.
رونوشت مکالمه هایی که وال استریت ژورنال بررسی کرد، نشان می داد او در رابطه با ی شهرت بعد از کشتار، کارکرد اسلحه و زمان شلوغی محوطه ی دانشگاه از چت جی پی تی سؤال کرده بود. آخرین گفتگوی او با چت جی پی تی چهار دقیقه قبل از حمله به پایان رسید. دو نفر کشته و شش نفر زخمی شدند؛ ولی ایکنر به بهتان های قتل و سعی برای قتل اعتراف نمی کند و خویش را بی گناه می داند.
اوپن ای آی می گوید بعد از اطلاع از حمله در اواخر آوریل، حسابی را که به ایکنر مربوط می شد، پیدا کرد و اطلاعاتش را در اختیار پلیس گذاشت. شرکت در زمان مکالمه ها خطر را تشخیص نداده بود و تازه بعد از وقوع تیراندازی سراغ حساب رفت.
دو ماه بعد، سیستم نظارتی همان شرکت حساب ون روتسلار را به علت گفت وگوهای خشونت آمیز جهت بررسی انسانی فرستاد؛ بااین حال اوپن ای آی پرونده را به پلیس ارجاع نداد.
ایکنر قبل از حمله در رابطه با ی زمان شلوغی دانشگاه پرسیده بود و ون روتسلار در آخرین روز سراغ زمان وقوع تیراندازی های مدرسه ای رفت. مهاجم تامبلر ریج از نقش چت جی پی تی در حمله ی فلوریدا خبر نداشت، برای اینکه این ارتباط ماه ها بعد علنی شد؛ ولی اوپن ای آی از آوریل ۲۰۲۵ جریان تیراندازی اول را می دانست.
رفتار حساب دوم جسی ون روتسلار، مشکلی را یادآوری می کند که خود اوپن ای آی هم چند ماه پیش به آن اذعان کرده بود. این شرکت ماه آگوست در مطلبی با عنوان Helping people when they need it most، نوشت حفاظ ها در گفت وگوهای کوتاه عملکرد قابل اعتمادتری دارند، اما با طولانی شدن تعامل امکان دارد قسمتهایی از آموزش ایمنی مدل ضعیف شود. ضمن این که طبقه بندهای خودکار نیز گاهی شدت محتوای خطرناک را کمتر از واقع ارزیابی می کنند.
حفاظ ایمنی یک چت بات را نباید فقط در پاسخ «بله» یا «خیر» خلاصه نماییم. به زعم منتقدان و شاکیان، چند لایه امنیتی باید پشت سرهم درست کار کنند.
اول مدل درخواست خطرناک را تشخیص دهد، دوم پاسخی ایمن بدهد، سوم سیستم نظارتی الگوی تکرارشونده را ببیند، چهارم بازبین انسانی خطر را درست بسنجد و درنهایت شرکت در صورت لزوم حساب های مرتبط را پیدا کند یا به نهاد مسئول خبر دهد.
پرونده ی تامبلر ریج شکست احتمالی چند لایه از این حفاظ را پیش روی جهان می گذارد. چت بات گاهی از پاسخ دادن امتناع کرد و سپس کوتاه آمد؛ حساب اول بسته شد و کاربر با حساب دوم برگشت؛ شرکت خطر را دید، اما آنرا برای گزارش کافی ندانست.
تفاوت چت بات با موتور جست وجو به همین ادامه پرسش وپاسخ برمی گردد. موتور جست وجو مجموعه ای از پیوندها را به کاربر تحویل می دهد، اما چت بات درخواست را به خاطر می سپارد، به بازنویسی آن کمک کرده و مکالمه را ادامه می دهد.
چنین تعاملی می تواند برای آموزش یا حمایت روانی باارزش باشد؛ ولی در گفت و گو با فردی که گرفتار وسواس یا خشونت است، نقش دیگری پیدا می کند. چت بات ها فقط اطلاعات پراکنده ای روی صفحه نشان نمی دهند و با کاربر در ساختن یک خط فکری مشارکت می کنند.
البته هنوز بحث های زیادی در مورد رابطه ی علت ومعلولی این خشونت صورت می گیرد؛ مخصوصاً که در سابقه ی ون روتسلار به موارد هشداردهنده ی دیگری نیز دیده می شود، از افکار خودکشی و بستری الزامی گرفته تا مصرف مواد؛ نشر محتوای افراطی و تماسهای قبلی اش با پلیس.
اوپن ای آی در درخواستی که برای کنارگذاشتن پرونده عرضه می کند، روی ناکامی نهادهای محلی سلامت روان، آموزش و اجرای قانون تاکید می کند و مسئولیت مستقیم چت جی پی تی در این حادثه را نمی پذیرد. بااین حال همه ی سوابق قبلی ون روتسلار نقش احتمالی چت بات را ثابت یا رد نمی کنند.
دادگاه باید مشخص نماید آیا پاسخ های چت بات فقط یکی از اجزای سابقه ی مهاجم بودند یا خطر را به گونه ای قابل پیش بینی تشدید کرده اند.
اوپن ای آی بعد از جریان تیراندازی معیارهای خویش را برای گزارش دهی به پلیس عوض کرد. ۲۶ فوریه شرکت در یادداشتی نوشت متخصصان سلامت روان، رفتار و اجرای قانون حال در پرونده های مبهم و سخت مشارکت می کنند و ارزیابان برای تشخیص خطر فقط به ذکر صریح هدف، وسیله و زمان وابسته نمی مانند.
در همین نامه اوپن ای آی به روشنی اعتراف کرد که اگر امروز حساب ژوئن ۲۰۲۵ را شناسایی می کرد، حتما به پلیس گزارش می داد.
اوپن ای آی می گوید راهی برای ارتباط مستقیم با مقامات کانادایی پیدا می کند و می خواهد منابع کمک محلی را در پاسخ های چت جی پی تی بگنجاند. این شرکت همینطور می خواهد کاربرانی را که بعد از بسته شدن حسابشان با حساب جدیدی برمی گردند، بهتر از گذشته شناسایی کند. سم آلتمن نیز ماه آوریل در نامه ای به مردم تامبلر ریج بابت تماس نگرفتن با پلیس عذر خواست.
ولی تغییر سیاستهای فعلی این شرکت، مسئولیت حقوقی گذشته اش را حل نمی نماید. تا ابتدای سپتامبر، خانواده ها، بازماندگان و کارکنان مدرسه ۳۷ دعوی مقابل OpenAI ثبت کرده بودند. شاکیان، اوپن ای آی و آلتمن را به سهل انگاری، انتشار محصول ناامن و کمک به وقوع حمله متهم کرده اند.
اوپن ای آی ادعای شاکیان را رد می کند و می گوید کارکنان ایمنی برمبنای معیارهای دشوار و با هدف حفظ همزمان امنیت و حریم خصوصی تصمیم گرفته اند.
دولت محلی بریتیش کلمبیا نیز در ۲۱ سپتامبر شکایتی را مقابل شخص سم آلتمن و شرکتش به دادگاه فدرال سان فرانسیسکو تسلیم کرد و برای هزینه های روان درمانی، رسیدگی به بازماندگان، تخریب مدرسه و ساخت بنای جایگزین، درخواست غرامت کرد.
دولت بریتیش کلمبیا می گوید دادگاه باید اوپن ای آی را ملزم کند برخوردش را با تهدیدهای خشونت آمیز تغییر دهد. از طرفی مدرسه ای که حمله ی مسلحانه در آن رخ داد، دارد تخریب می شود و به قول مقامات این استان، تصمیمی که زمانی داخل یک شرکت فناوری گرفته شد، به بودجه ی عمومی و زندگی شهری کوچک در کانادا هم خسارت زد.
چت خصوصی چه زمانی دیگر خصوصی نیست؟ بنظر می رسد پرونده ی تامبلر ریج به مرور ابعاد وسیع تری به خود می گیرد، گرچه شاید مهم ترین مبحث به مسئولیت محصولی برگردد که هم با میلیونها نفر حرف می زند و هم می تواند قسمتی از تهدیدها را تشخیص دهد. وقتی شرکتی تهدید مشابهی، یا خطرهای دیگری را شناسایی کرد، در ادامه چه تعهدی خواهد داشت؟
آیا بستن حساب صاحب اکانت همه ی مشکلات را حل می کند یا شرکت باید حساب های در رابطه با شخص را هم جست وجو کند، رفتارشان را زیر نظر بگیرد و در موارد مشکوک یا حاد، به پلیس خبر دهد؟
گزارش دادن همه ی چت های آشفته به پلیس و نهادهای مسئول، چندان منطقی به نظر نمی رسد و شاید اثرات مضری هم داشته باشد، چون حریم خصوصی افراد را زیر پا می گذارد و موجب می شود افراد نیازمند، از گفت و گو با چت بات صرف نظر کنند. ضمن این که احیانا پلیس را درگیر انبوهی از هشدارهای بی اساس می کند.
ازسوی دیگر اگر شرکتهای هوش مصنوعی بخواهند بر اساس معیارهای مبهمی شبیه «خطر قریب الوقوع نزدیک است یا نه» تصمیم بگیرند، بازهم ایمنی کاربران و جامعه را تضمین نمی کنند؛ مخصوصاً وقتی یک کاربر طی ماه ها الگوی ثابتی از خشونت، خودآزاری و جست وجوی موارد پرخطر نشان داده باشد.
ایمیلی که اوپن ای آی در ژوئن ۲۰۲۵ برای کاربر فرستاد تا مسدودشدن حسابش را به او خبر دهد، در نگاه اول نشاندهنده این بود که سیستم حفاظتی درست عمل می کند. ولی هشت ماه بعد روشن شد بستن یک در، نقطه ی پایان ماجرا نیست.
این مطلب پارسی کاو را پسندیدین؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات کاربران پارسی کاو در مورد این مطلب