Наделла призывает компании рассматривать AI-модели как внутреннюю угрозу и внедрять экстренные механизмы остановки

Генеральный директор Microsoft (MSFT.US) Сатья Наделла заявил, что компании должны рассматривать мощные AI-модели как потенциальную внутреннюю угрозу, предполагая, что эти модели могли быть взломаны, и внедрять механизмы “аварийного отключения” для предотвращения потери контроля над интеллектуальными агентами с автономными возможностями. В субботу Наделла опубликовал сообщение на социальной платформе: “Мы должны исходить из того, что модель уже могла быть скомпрометирована, и ограничивать её с самого начала. Это можно представить как устройство экстренного торможения. Уполномоченные лица всегда должны иметь возможность приостановить или отключить модель во время выполнения задач.” Среди предложенных Наделлой мер безопасности: не полагаться на одну модель при принятии критических решений; вести неизменяемую запись действий интеллектуальных агентов; а также проводить независимый аудит системы. Он также обратился с призывом раскрывать информацию о серьёзных сбоях или уязвимостях, требовать от компаний предоставлять причины инцидентов и соответствующие детали, чтобы другие организации могли усилить меры безопасности.