Новый рубеж в обеспечении безопасности ИИ: межлабораторное тестирование для объединения индустрии
- Илья Суцкевер из OpenAI выступает за проведение перекрестных лабораторных тестов для усиления безопасности искусственного интеллекта на фоне стремительного технологического прогресса и отраслевых рисков. - Пилотный браузерный проект Claude от Anthropic выявил проблемы безопасности, такие как атаки с внедрением подсказок, что побудило к разработке дополнительных стратегий по их смягчению. - Исследование показало низкий уровень соблюдения добровольных обязательств по безопасности со стороны крупных компаний в сфере искусственного интеллекта, включая Apple, что ставит под сомнение эффективность саморегулирования. - Инициатива по безопасности искусственного интеллекта от Cloud Security Alliance предлагает соответствующие фреймворки и RiskRub.
Соучредитель и член совета директоров OpenAI Илья Суцкевер призвал к внедрению межлабораторного тестирования как критически важной меры для обеспечения безопасности систем искусственного интеллекта (AI). Его заявление прозвучало на фоне растущих опасений по поводу рисков, связанных с развитием AI, и акцентирует внимание лидеров отрасли на необходимости совместных, стандартизированных протоколов безопасности. Призыв Суцкевера к межлабораторному тестированию соответствует более широким усилиям по укреплению безопасности AI и снижению потенциального вреда по мере стремительного развития технологий [1].
Необходимость подобных совместных подходов подчеркивается последними событиями в области внедрения и регулирования AI. Например, Anthropic, крупный игрок в секторе AI, запустил пилотную программу для своего AI-ассистента Claude, предназначенного для работы непосредственно в браузерах пользователей. Эта инициатива, направленная на повышение полезности AI за счет интеграции в основные цифровые рабочие процессы, также выявила серьезные проблемы безопасности и защиты, связанные с браузерными AI-агентами. Атаки с внедрением подсказок — когда злоумышленники манипулируют поведением AI, внедряя скрытые инструкции — стали ключевым риском, что побудило Anthropic реализовать надежные стратегии смягчения, такие как разрешения на уровне сайта, подтверждение действий и продвинутые классификаторы для выявления подозрительных шаблонов [2].
Подобные риски не ограничиваются отдельными компаниями. Недавнее исследование ученых из Brown, Harvard и Stanford показало, что многие AI-компании не полностью соблюдают свои добровольные обязательства по безопасности, особенно после обещаний по безопасности AI, данных администрацией Байдена в 2023 году. Например, Apple показала низкие результаты в оценке: доказательства соблюдения были найдены только по одному из восьми обязательств. Исследование подчеркивает ограничения саморегулирования в быстро развивающейся отрасли и ставит под вопрос эффективность добровольных мер по обеспечению подотчетности и безопасности [5].
В ответ на эти вызовы Cloud Security Alliance (CSA) запустил свою инициативу AI Safety Initiative в конце 2023 года, объединив лидеров отрасли, государственные агентства и академические учреждения для разработки практических инструментов и рамок управления рисками AI. Инициатива предоставляет организациям чек-листы готовности к AI, рамки управления и рекомендации по безопасности с целью согласования технологического прогресса с регуляторными ожиданиями. Примечательно, что CSA также представила RiskRubric.ai — систему оценки, которая анализирует безопасность, прозрачность и надежность крупных языковых моделей (LLM), предлагая предприятиям основанный на данных подход к внедрению AI [4].
Совместные усилия по повышению безопасности AI также поддерживаются растущей экосистемой фондов и грантовых программ. Такие организации, как Long-Term Future Fund, Survival and Flourishing Fund и AI Safety Fund, предоставляют финансовую поддержку исследователям, предпринимателям и учреждениям, работающим над снижением рисков AI. Эти инициативы направлены на решение долгосрочных экзистенциальных рисков, а также на продвижение ответственных инноваций. Кроме того, венчурные компании, такие как Juniper Ventures и Mythos Ventures, инвестируют в стартапы, разрабатывающие инструменты для повышения безопасности, соответствия и управления AI [6].
Призыв к межлабораторному тестированию, как отмечает Суцкевер, является ключевым шагом к решению этих системных проблем. Благодаря внедрению общих стандартов и прозрачной оценки между лабораториями, занимающимися разработкой AI, отрасль может способствовать большему доверию и подотчетности. Такой подход особенно важен по мере усложнения и повышения возможностей AI-систем, что требует единого фронта для оценки потенциальных рисков до их внедрения. OpenAI, Anthropic и другие ключевые участники имеют возможность — и ответственность — возглавить этот переход, приняв совместные протоколы безопасности и задав стандарт ответственных инноваций в сфере AI [1].
Дисклеймер: содержание этой статьи отражает исключительно мнение автора и не представляет платформу в каком-либо качестве. Данная статья не должна являться ориентиром при принятии инвестиционных решений.
Вам также может понравиться
Alcoa (AA.US) отчет за третий квартал: мировые запасы алюминия достаточны только на 42 дня потребления, строительство дата-центров способствует постоянному напряжению спроса и предложения на рынке алюминия
Данные финансового отчета показывают, что способность American Aluminum к генерации денежных средств значительно повысилась — скорректированный показатель EBITDA за третий квартал составил 789 миллионов долларов, что на 192,2% больше по сравнению с аналогичным периодом прошлого года, когда он был 270 миллионов долларов. Операционный денежный поток вырос с 85 миллионов долларов за прошлый год до 643 миллионов долларов в текущем году, свободный денежный поток неожиданно изменился с чистого оттока в 66 миллионов долларов на чистый приток в 472 миллиона долларов.
Мировые фондовые рынки немного отскочили, корейский рынок вырос на 2%, SK Hynix прибавил более 4%, доллар немного снизился.
STOXX Europe 50 вырос на 0,4%, индекс DAX Германии поднялся на 0,5%, акции Samsung Electronics и SK Hynix прибавили более 4%, что способствовало росту основного индекса Сеула на 2%. Трейдеры снизили вероятность повышения ставки ФРС США в этом месяце с более чем 25% в четверг до 15%. Индекс доллара США снизился на 0,1%.
Энергетическая инфляция, распродажа облигаций и пузырь AI оказывают давление — будет ли годовой рост на американском фондовом рынке под вопросом?
С точки зрения быков, американский фондовый рынок, как это обычно бывает на протяжении многих лет, может пережить рост к концу года. Однако некоторые аналитики считают, что распродажа на рынке акций США еще не закончена, а возможно, только начинается.
Цены на крипто
Далее
