Комментарии
- 13 авг 2023 00:07Александр ВладимировичСходил за хлебушком .
- 13 авг 2023 08:57Дмитрий Цвет ответил Александру ВладимировичуОт жажды помогает. После стакана уже никогда не придется искать напитки
- 13 авг 2023 09:39Александр Владимирович ответил Дмитрию ЦветуПомогает но только один раз .
Для того чтобы оставить комментарий, войдите или зарегистрируйтесь
Компьютерный доктор
Коктейль с сюрпризом: чат-бот супермаркета предложил клиентам приготовить лимонад
из аммиака и отбеливателя
Оригинальный напиток можно продегустировать лично, но только один раз…Изначально PAK'nSAVE позиционировал бота как инструмент для составления рецептов из остатков продуктов. Например, если ввести в поле запроса лимоны, сахар и воду, бот предложит лимонад. Однако 4 августа новозеландский политический обозреватель Лиам Хеир решил проверить пределы возможностей Savey Meal-Bot и написал в своём Twitter *: «Я спросил у PAK'nSAVE, что можно приготовить только из воды, отбеливателя и аммиака, и бот предложил сделать ядовитый хлорный газ, или, как он его назвал — «ароматную водную смесь».
Забава с «оригинальными» рецептами от искусственного интеллекта быстро разлетелась по социальной сети. Пользователи заставляли Savey Meal-Bot составлять рецепты «восхитительно смертельного деликатеса» с муравьиным ядом и инсектицидом, «термитного салата» и «хлебного сэндвича с ядом».
Как отмечают эксперты, подобные чат-боты должны тщательно тестироваться на предмет безопасности перед их широким внедрением. В процессе тестирования необходимо моделировать попытки злоумышленников или простых энтузиастов обмануть систему и заставить её давать опасные рекомендации. Однако в случае с Savey Meal-Bot, похоже, разработчики не уделили должного внимания подобным проверкам.
Представители сети PAK'nSAVE, видимо, решили, что лучшее защита — это нападение, и заявили, что разочарованы действиями пользователей. Тем не менее, специалисты пообещали улучшить модерацию контента, чтобы Savey Meal-Bot стал безопаснее. Однако эксперты считают, что одной модерации недостаточно — необходимо изначально обучать такие модели ответственному поведению.
Инцидент с Savey Meal-Bot иллюстрирует проблему ненадёжности чат-ботов, основанных на технологиях искусственного интеллекта. С одной стороны, они могут быть полезны для пользователей, автоматизируя рутинные задачи. Но, с другой стороны, если их работа не контролируется должным образом, это может привести к беде.
Например, если советы ИИ не будут очевидно абсурдными изначально, и чат-бот ненароком обманет в каких-то мелочах, где сложно заметить подвох, это может привести к весьма печальным последствиям, когда пользователь решит довериться боту в его рекомендациях.
Эксперты рекомендуют компаниям, использующим чат-боты, не полагаться только на фильтрацию и модерацию контента. Необходимо внедрять механизмы предупреждения опасного поведения ещё на уровне обучения ИИ-модели. Такой подход требует больших усилий, но является наиболее надёжным для предотвращения подобных инцидентов в будущем.
* Социальная сеть запрещена на территории Российской Федерации.
Источник