Red Hat informó la adquisición de Chatterbox Labs, pionero en seguridad de IA agnóstica al modelo y medidas de protección (guardrails) de IA generativa (gen AI). que integra capacidades críticas de “seguridad para IA” a la cartera de Red Hat AI.
Clientes de diversas partes del mundo y de múltiples sectores están incorporando Red Hat AI para fomentar la innovación mediante aplicaciones de IA generativa, predictiva y agéntica. A medida que las organizaciones transitan de la fase de prueba a la de implementación, se encuentran ante un reto complicado: implementar modelos que sean no solo efectivos, sino también verificables, seguros y confiables.
Las habilidades de seguridad y las estrategias de protección son fundamentales para las operaciones modernas de aprendizaje automático (MLOps). Este énfasis en la seguridad y la confianza demuestra la dedicación de Red Hat e IBM para apoyar a los clientes en la adopción de un enfoque que priorice la seguridad mientras amplían la inteligencia artificial de manera responsable en entornos de nubes híbridas. La fusión de la tecnología de Chatterbox Labs crea una plataforma integrada donde la seguridad está incorporada, reforzando la capacidad de Red Hat para activar cargas de trabajo de inteligencia artificial de producción con cualquier modelo, en cualquier tipo de acelerador y en cualquier ubicación.
Creada en 2011, Chatterbox Labs proporciona tecnología y conocimiento fundamentales en la seguridad y la transparencia de la inteligencia artificial. Su conocimiento en la evaluación cuantitativa de riesgos relacionados con la inteligencia artificial ha sido destacado por organizaciones independientes de expertos y por responsables de la formulación de políticas alrededor del mundo, y esta compra incorpora tecnología esencial de aprendizaje automático a Red Hat.
Chatterbox Labs brinda funciones automatizadas y personalizadas para la evaluación de la seguridad en inteligencia artificial, entregando las métricas de riesgo precisas que los ejecutivos requieren para autorizar la implementación de IA en entornos de producción. La tecnología presenta un método robusto y neutral respecto al modelo para verificar los datos y los modelos mediante:
● AIMI para gen AI: Entrega de métricas de riesgo cuantitativas independientes para modelos de lenguaje de gran tamaño (LLMs).
● AIMI para IA predictiva: Validación de cualquier arquitectura de IA en pilares clave, incluyendo robustez, imparcialidad y explicabilidad.
● Medidas de protección (Guardrails): Identificación y corrección de prompts (indicaciones) inseguros, tóxicos o sesgados antes de poner los modelos en producción.
Esta compra está alineada con la visión de Red Hat de soportar diversos modelos y objetivos de despliegue en la nube híbrida. Asimismo, complementa las funcionalidades con una perspectiva hacia el futuro presentadas en Red Hat AI 3, especialmente para la inteligencia artificial agéntica y el Protocolo de Contexto de Modelo (MCP). A medida que las organizaciones integran la inteligencia artificial agéntica, la importancia de modelos seguros y confiables se vuelve todavía más crucial, considerando el papel complejo y autónomo que desempeñan los agentes de inteligencia artificial y su posible efecto en los sistemas principales de la empresa.
Chatterbox Labs ha desarrollado investigaciones sobre la seguridad agéntica holística, incluyendo el monitoreo de las respuestas de los agentes y la detección de activadores de acción del servidor MCP. Este trabajo coincide con el plan estratégico de Red Hat para el Llama Stack y el respaldo del MCP, situando a Red Hat en una posición favorable para garantizar la próxima evolución de las cargas de trabajo automatizadas e inteligentes sobre una infraestructura robusta y preparada para el ámbito empresarial. Al integrar las funcionalidades de MLOps de Red Hat con las medidas de protección ofrecidas por Chatterbox Labs, Red Hat facilitará a las empresas la oportunidad de poner en práctica sus inversiones en inteligencia artificial con un mayor grado de seguridad.
“Las empresas están llevando la IA del laboratorio a la producción con gran velocidad, lo que eleva la urgencia de despliegues de IA confiables, seguros y transparentes. La innovadora tecnología de pruebas de seguridad y medidas de protección agnósticas al modelo de Chatterbox Labs es la capa crítica de ‘seguridad para IA’ que la industria necesita. Al integrar Chatterbox Labs en la cartera de Red Hat AI, fortalecemos nuestra promesa a los clientes de proporcionar una plataforma de código abierto integral que no solo les permite ejecutar cualquier modelo, en cualquier lugar, sino hacerlo con la confianza de que la seguridad está integrada desde el principio. Esta adquisición ayudará a habilitar una IA verdaderamente responsable y de grado de producción a escala”, indicó Steven Huels, vicepresidente de Ingeniería de IA y Estrategia de Productos de Red Hat.
