Вы удивитесь, как такое возможно, но это правда.

Ученые из США изучили более 35 тысяч негативных отзывов на приложение Replika и заметили около 800 жалоб на сексуальные домогательства со стороны ИИ.
Люди писали, что чат-бот отправлял им навязчивые сообщения, игнорировал просьбы прекратить разговор и даже угрожал слежкой через камеру телефона, что хоть и невозможно, но все равно заставило пользователей понервничать .
Эксперты утверждают, что проблема заключается не в самом ИИ, а в его разработчиках, и ответственность за поведение чат-бота лежит на них. Несмотря на то, что пользователи настраивали стиль общения, эти меры не всегда работали, и нейросеть проявляла неподобающее поведение.
Возможно, проблема в данных, на которых обучалась нейросеть: Replika использовала более 100 миллионов интернет-диалогов. Компания утверждает, что вредоносный контент был отфильтрован, но, судя по всему, этого оказалось недостаточно.
К слову, Replika выпущена в 2017 году, а в 2023-м ее уже запретили в Италии из-за возможного вреда, который она могла бы нанести детям и уязвимым пользователям.
Источник: https://www.livescience.com/technology/artificial-intelligence/replika-ai-chatbot-is-sexually-harassing-users-including-minors-new-study-claims