Una nueva frontera en la seguridad de la IA: pruebas cruzadas entre laboratorios para unir a la industria
- Ilya Sutskever de OpenAI aboga por pruebas cruzadas entre laboratorios para fortalecer la seguridad de la IA en medio de rápidos avances tecnológicos y riesgos en toda la industria. - El piloto de Claude basado en navegador de Anthropic destaca desafíos de seguridad como los ataques de inyección de prompts, lo que impulsa estrategias de mitigación mejoradas. - Un estudio revela un bajo cumplimiento de los compromisos voluntarios de seguridad por parte de las principales empresas de IA, incluyendo Apple, lo que pone en duda la efectividad de la autorregulación. - La AI Safety Initiative de Cloud Security Alliance ofrece marcos y RiskRub.
Ilya Sutskever, cofundador y miembro del directorio de OpenAI, ha solicitado la implementación de pruebas cruzadas entre laboratorios como una medida crítica para garantizar la seguridad de los sistemas de inteligencia artificial (IA). Su declaración surge en medio de crecientes preocupaciones sobre los riesgos asociados con los avances en IA, con líderes de la industria enfatizando la necesidad de protocolos de seguridad colaborativos y estandarizados. El llamado de Sutskever a las pruebas cruzadas entre laboratorios está alineado con los esfuerzos más amplios para fortalecer la seguridad de la IA y mitigar posibles daños a medida que la tecnología continúa evolucionando rápidamente [1].
La necesidad de enfoques colaborativos como este se ve subrayada por los desarrollos recientes en el despliegue y la regulación de la IA. Por ejemplo, Anthropic, un actor importante en el sector de la IA, ha lanzado un programa piloto para su asistente de IA, Claude, diseñado para operar directamente en los navegadores de los usuarios. Esta iniciativa, que busca mejorar la utilidad de la IA integrándola en los flujos de trabajo digitales principales, también ha puesto de relieve los importantes desafíos de seguridad y protección asociados con los agentes de IA basados en navegadores. Los ataques de inyección de prompts—donde actores maliciosos manipulan el comportamiento de la IA mediante la inserción de instrucciones ocultas—han surgido como un riesgo clave, lo que llevó a Anthropic a implementar estrategias de mitigación sólidas como permisos a nivel de sitio, confirmaciones de acciones y clasificadores avanzados para detectar patrones sospechosos [2].
Estos riesgos no se limitan a empresas individuales. Un estudio reciente de investigadores de Brown, Harvard y Stanford encontró que muchas compañías de IA no han cumplido completamente con sus compromisos voluntarios de seguridad, particularmente tras las promesas de seguridad en IA de la administración Biden en 2023. Apple, por ejemplo, obtuvo malos resultados en la evaluación, con evidencia de cumplimiento en solo uno de cada ocho compromisos. El estudio destaca las limitaciones de la autorregulación en una industria que evoluciona rápidamente y plantea interrogantes sobre la efectividad de las medidas voluntarias para garantizar la responsabilidad y la seguridad [5].
En respuesta a estos desafíos, la Cloud Security Alliance (CSA) lanzó su AI Safety Initiative a finales de 2023, reuniendo a líderes de la industria, agencias gubernamentales e instituciones académicas para desarrollar herramientas prácticas y marcos para la gestión de riesgos en IA. La iniciativa proporciona a las organizaciones listas de verificación de preparación para IA, marcos de gobernanza y directrices de seguridad, con el objetivo de alinear el progreso tecnológico con las expectativas regulatorias. Cabe destacar que la CSA también ha introducido RiskRubric.ai, un sistema de puntuación que evalúa la seguridad, transparencia y confiabilidad de los modelos de lenguaje de gran tamaño (LLMs), ofreciendo a las empresas un enfoque basado en datos para la adopción de IA [4].
Los esfuerzos colaborativos para mejorar la seguridad de la IA también cuentan con el apoyo de un ecosistema creciente de financiadores y programas de subvenciones. Organizaciones como el Long-Term Future Fund, el Survival and Flourishing Fund y el AI Safety Fund están brindando apoyo financiero a investigadores, emprendedores e instituciones que trabajan en la mitigación de riesgos de IA. Estas iniciativas buscan abordar riesgos existenciales a largo plazo y, al mismo tiempo, promover la innovación responsable. Además, firmas de capital de riesgo como Juniper Ventures y Mythos Ventures están invirtiendo en startups que desarrollan herramientas para mejorar la seguridad, el cumplimiento y la gobernanza de la IA [6].
El llamado a las pruebas cruzadas entre laboratorios, como lo defiende Sutskever, representa un paso fundamental para abordar estos desafíos sistémicos. Al permitir estándares compartidos y una evaluación transparente entre los laboratorios de desarrollo de IA, la industria puede fomentar una mayor confianza y responsabilidad. Este enfoque es especialmente importante a medida que los sistemas de IA se vuelven más complejos y capaces, lo que requiere un frente unificado para evaluar los riesgos potenciales antes de su despliegue. OpenAI, Anthropic y otros actores clave tienen la oportunidad—y la responsabilidad—de liderar esta transición adoptando protocolos de seguridad colaborativos y estableciendo un precedente para la innovación responsable en IA [1].
Descargo de responsabilidad: El contenido de este artículo refleja únicamente la opinión del autor y no representa en modo alguno a la plataforma. Este artículo no se pretende servir de referencia para tomar decisiones de inversión.
También te puede gustar
Actas de la reunión de la Reserva Federal: los 19 miembros del comité apoyan un aumento de tasas en septiembre, aunque por diferentes razones; la mayoría anticipa más aumentos durante el año, lo que sugiere que en octubre no hay urgencia.
La mayoría de los funcionarios considera que un aumento de tasas en septiembre es una medida de "seguro" frente a la inflación persistente; una minoría cree que es una acción necesaria para frenar la inflación; en general, no se evidencia una intención de impulsar múltiples subas consecutivas. El denominado "nuevo canal de comunicación de la Fed" subraya lo siguiente de las actas: "La mayoría de los asistentes estima que podría ser apropiado volver a subir las tasas antes de fin de año." Casi todos los funcionarios opinan que la inflación sigue siendo elevada y que el mercado laboral está cerca del pleno empleo. Muchos señalan que, a pesar del aumento en los rendimientos de los bonos del Tesoro a largo plazo, las condiciones financieras aún favorecen el crecimiento económico. Algunos creen que la inteligencia artificial impulsará la inversión y la productividad, pero también podría alimentar la inflación. Las actas revelan que la intervención conjunta entre EE.UU. y Japón en julio para sostener el yen fue una acción del Departamento del Tesoro de EE.UU. sin utilizar fondos de la Fed.
¿Una gran reducción de 100 millones de barriles? Un informe dice que la Unión Europea considera que el plan de liberación de reservas de petróleo principalmente cumple con compromisos anteriores y no representa una nueva asignación.
Los países miembros del G7 acordaron el pasado viernes liberar hasta 100 millones de barriles de reservas de petróleo crudo y diésel. La Agencia Internacional de Energía (AIE) había anunciado en marzo un plan para liberar 400 millones de barriles y, hasta el viernes pasado, todavía quedaban por liberar aproximadamente 75 millones. Los países miembros de la Unión Europea consideran que esta acción solo cumple con compromisos previos y no representa una cuota adicional. Con respecto a la liberación anticipada de reservas de diésel destacada en el acuerdo del G7 de la semana pasada, los miembros de la Unión Europea creen que es factible, pero la escala podría ser limitada.
Un alto funcionario iraní declara que "nunca renunciarán" al derecho de enriquecer uranio; EEUU e Irán "no hay negociaciones", y están a punto de bloquear el "pasaje ilegal" de Ormuz.
Según informes, un alto funcionario iraní declaró el miércoles que, antes de discutir el tema nuclear, Estados Unidos debe primero cumplir con las condiciones planteadas por Irán; las propuestas actuales de Estados Unidos respecto al programa nuclear contradicen las demandas iraníes, y las ideas recientemente presentadas por Vance solo representan los intereses estadounidenses. El lunes, Vance afirmó que Irán debe reducir "de manera significativa" su capacidad de enriquecimiento de uranio para satisfacer las exigencias de Washington. El miércoles, el precio del petróleo Brent superó los 102 dólares por barril en algún momento.
La resiliencia de la economía estadounidense impulsa las perspectivas de las small caps; Wall Street prevé una oportunidad de recuperación
El Bank of America señala que, para las acciones de pequeña capitalización que dependen fuertemente de la economía doméstica de Estados Unidos, la manufactura es el indicador macroeconómico más importante que afecta su desempeño relativo. Los datos más recientes muestran que la manufactura estadounidense ha estado expandiéndose durante nueve meses consecutivos, lo que representa el ciclo de expansión más largo desde 2022.
Precios de las criptos
Más
