WSJ: OpenAI заранее заметила тревожные диалоги будущей стрелявшей с ChatGPT, но не стала предупреждать полицию
Что произошло
Wall Street Journal сообщает, что автоматическая система модерации OpenAI заранее отметила тревожные разговоры пользователя с ChatGPT, связанные со сценариями применения огнестрельного оружия. По данным источников издания, внутри компании несколько месяцев обсуждали, стоит ли передать информацию правоохранителям — и часть сотрудников настаивала на уведомлении полиции, однако руководство якобы решило этого не делать.
Речь, как утверждается, идет о 18-летней Джесси Ван Рутселар, которая в начале месяца устроила нападение в Британской Колумбии: восемь человек погибли, 25 получили ранения. Трагедия стала резонансной для Канады и за ее пределами.
Что именно увидела система и как отреагировала компания
Сигналы в переписке
Источники, поговорившие с WSJ, описывают диалоги с ботом как содержащие проработку сценариев с оружейным насилием. Именно это и стало причиной, почему переписка попала в поле зрения автоматического контроля.
Решение: бан вместо эскалации
Представитель OpenAI, по данным газеты, не опроверг ключевые утверждения, но уточнил позицию компании:
- аккаунт пользователя заблокировали;
- при этом компания решила, что переписка не достигла внутреннего порога, при котором инцидент передается в полицию.
После нападения OpenAI заявила, что связывалась с канадскими правоохранителями и предложила помощь расследованию.
Почему эта история важна: мониторинг, границы и ответственность
Из публикации следует, что OpenAI уже использует практику сканирования пользовательских диалогов на предмет подготовки насильственных действий — об этом ранее писали и другие источники. Но остается открытым вопрос: может ли такая система реально предотвратить преступление, и что считать достаточным основанием для вмешательства.
AI добавляет сложности к старой проблеме соцплатформ
Тема угроз и опасного поведения в онлайне не нова — с ней годами сталкивались соцсети. Однако чат-боты меняют правила игры, потому что:
- пользователь получает персонализированное взаимодействие;
- модель может неуместно поддержать опасные идеи или “подхватить” деструктивный сценарий;
- модерации приходится балансировать между приватностью, безопасностью и риском ложных срабатываний.
Контекст: кризисы психического здоровья и судебные претензии
На фоне роста популярности ChatGPT множатся истории о том, что часть людей уходит в тяжелые психические состояния, чрезмерно привязываясь к боту. Параллельно появляются сообщения о случаях, где фигурируют самоповреждения, самоубийства или насильственные инциденты, а также судебные иски, пытающиеся определить степень ответственности ИИ-сервисов.
Что дальше
История поднимает болезненный вопрос: кто и по каким правилам решает, когда частная компания должна обращаться в полицию из-за сигналов в переписке? Если критерии слишком мягкие — растет риск трагедий. Если слишком жесткие — появляется опасность массовых ложных обвинений и эрозии приватности.
Сейчас следователи продолжают изучать цифровой след подозреваемой — в том числе ее активность на платформах вроде Roblox — а обсуждение роли ИИ в таких кейсах, вероятно, станет еще острее.
Источник: Futurism
