Groq, una empresa de semiconductores con raíces en el software, ha desarrollado un nuevo procesador con una arquitectura única que ofrece soluciones de inferencia para la aceleración de la inteligencia artificial (IA). El procesador, llamado Tensor Streaming Processor (TSP), es capaz de realizar un cuatrillón (1.000.000.000.000.000) de operaciones por segundo, lo que lo convierte en uno de los más rápidos del mercado.
El TSP de Groq se diferencia de los procesadores convencionales, como las unidades de procesamiento gráfico (GPU) o las matrices de puertas programables en campo (FPGA), por su diseño flexible y optimizado para trabajar con modelos de lenguaje de gran tamaño (LLM), que son los que se utilizan para generar texto a partir de un estímulo. El TSP tiene una arquitectura descentralizada y no basada en tuberías, que permite una mayor escalabilidad, adaptabilidad y personalización. Además, reduce el consumo de recursos y los costos operativos.
Groq ofrece su procesador en forma de tarjeta PCIe, que se puede conectar a cualquier servidor o dispositivo. La empresa también proporciona una interfaz de programación de aplicaciones (API) y un motor de ejecución que facilitan el uso del procesador con diferentes modelos de lenguaje, como Llama 2, Mixtral-8x7b o Mistral 7B. Los usuarios pueden probar el procesador de forma gratuita y sin instalar ningún software en la página web de Groq.
Groq fue fundada en 2016 por un grupo de ingenieros de software que querían resolver problemas de IA desde el lado del software. La empresa tiene su sede en Mountain View, California, y ha recibido una financiación de 300 millones de dólares en su ronda de serie C. Entre sus inversores se encuentran Tiger Global Management, D1 Capital Partners y The Social+Capital Partnership.
