радиоЭксперт объяснил «инъекцией» ситуацию с ЖКХ-ботом, начавшим материться
Разработчики ИИ-ассистента для ЖКХ, начавшего материться после общения с клиентами, вероятно, не настроили стоп-темы, в результате чего нейросеть удалось спровоцировать, применив к ней так называемую инъекцию, говорят эксперты
Фото: fadfebrian / Shutterstock
Разработчики отечественного ИИ-ассистента для управляющих компаний в сфере ЖКХ, который пришлось переобучать из-за использования ненормативной лексики, скорее всего, изначально халатно отнеслись к настройке стоп-тем для обсуждения, что позволило «спровоцировать» нейросеть. Об этом в эфире Радио РБК заявил основатель Alternative Technology Future Эдгар Григорян.
«Это называется «инъекция» — когда вы саму нейросеть заставляете ругаться либо, наоборот, рассказывать противоположную информацию», — объяснил он.
О том, что нейросеть научилась материться после общения с потребителями услуг ЖКХ, ранее рассказал президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов. По его словам, такой «забавный случай» демонстрирует активное взаимодействие системы с реальными пользователями.
По словам Григоряна, часто бывает, что под оболочкой импортозамещенного сервиса скрывается международный продукт либо продукт, сделанный не самим департаментом IT.
Он также рассказал, что, когда в его компании разработчики халатно отнеслись к чат-боту, который отвечал на все запросы пользователей, «какой-то умелец» обучил через «инъекцию» этого бота ругаться матом и критиковать проводимые компанией мероприятия.
«Оттуда мы поняли, что внешний контур очень опасно использовать», — добавил Григорян.
Гендиректор сервиса Dbrain Алексей Хахунов подтвердил, что нейросети могут спонтанно приобретать неожиданные навыки уже после обучения. В качестве примера он привел одну из зарубежных моделей: будучи обученной на английском языке, в состоянии «грусти» она переключается на русский.
Самый простой способ борьбы с такими эффектами — корректировка базового промпта, объяснил Хахунов. Более сложный метод — alignment, дообучение модели на финальной стадии с участием людей. При этом, подчеркнул он, контролировать можно лишь известные риски: «Заранее предугадать, где и что пойдет не так, достаточно тяжело».
Советник генерального директора по искусственному интеллекту ассоциации «Финтех» Алексей Сидорюк ранее в эфире программы «Таманцев. В итоге» в эфире Радио РБК отмечал, что человечество «прошло точку невозврата» в вопросе взаимодействия с ИИ: люди уже адаптировали эти технологии под жизненные и рабочие ситуации настолько, что откатиться обратно очень сложно. При этом он отметил, что конец 2025 года стал «ямой разочарования» в технологии ИИ.
Читайте РБК в Telegram.
