Durante 2024 y 2025, la conversación sobre infraestructura de AI se redujo a una métrica: cuántas GPUs tienes. Pero en 2026, esa ecuación se rompió. La llegada de los workflows agentic — donde los modelos ya no responden un prompt y terminan, sino que razonan, planean, ejecutan herramientas y ciclan — cambió fundamentalmente lo que demanda una plataforma de producción.
El problema no es solo de cómputo. Es de arquitectura. Y los CTOs que están ganando la partida no son los que compraron más GPUs — son los que rediseñaron su infraestructura como una plataforma híbrida que abarca desde el edge hasta el hyperscaler, optimizada para el perfil único de los workloads agentic.
Este artículo traza el blueprint que estoy implementando en OMG y que recomiendo a cualquier organización que esté moviendo AI de experimentos a producción.
El cambio de paradigma: de chatbot a agente
Un chatbot recibe un prompt, lo procesa en una GPU y devuelve texto. Un agente, en cambio:
- Divide un objetivo en pasos (planning)
- Decide qué hacer a continuación (orchestration)
- Llama a múltiples modelos
- Consulta bases de datos y APIs
- Verifica permisos y políticas
- Recupera memoria de interacciones previas
- Valida y corrige output
- Vuelve a empezar el ciclo
Este flujo multi-step cambia el perfil de infraestructura drásticamente. Como documentó AMD en su análisis publicado en mayo de 2026, "las GPUs siguen siendo críticas para la ejecución de modelos, pero la carga de trabajo en producción ahora es intensiva en CPU" — porque planificación, orquestación y tool-calling son tareas seriales que favorecen la arquitectura CPU.
El problema de infraestructura que nadie quiere mencionar
VentureBeat reportó en Q1 2026 que la utilización promedio de GPUs en centros de datos enterprise es de solo 5%. El problema: las GPUs se compraron para entrenamiento y chatbots simples, pero los workflows agentic requieren ciclos CPU intensivos entre cada inferencia. El resultado: GPUs ociosas esperando que el agente planifique su siguiente paso.
Es un problema de $401 mil millones en infraestructura mal asignada, según el análisis del AI Infrastructure & Compute Market Tracker — y está empeorando a medida que más equipos despliegan agentes en producción sin rediseñar su stack.
La arquitectura target: AI Factory híbrida
La solución no es abandonar GPUs ni comprar más CPUs. Es diseñar una plataforma híbrida que distribuya inteligentemente cada fase del flujo agentic donde corre mejor.
Capa 1 — Edge: Razonamiento ligero y pre-procesamiento
Los pasos iniciales de un flujo agentic — clasificación de intención, routing, retrieval de contexto — no requieren modelos masivos. Pequeños modelos SLM (Small Language Models) en servidores edge o incluso en dispositivos pueden manejar esta fase con latencias de milisegundos.
- Cloudflare Workers AI o similares: Inferencia serverless en el edge para clasificación y routing
- On-device inference: Google AI Edge o Apple MLX para tareas del lado del cliente
- Caching semántico: KV stores distribuidas en el edge reducen llamadas al core
Capa 2 — Core: Razonamiento profundo y orquestación
El core de la AI factory alberga los modelos frontier y la infraestructura de orquestación. Aquí es donde el balance CPU:GPU se vuelve crítico.
- GPU nodes (NVIDIA Blackwell, AMD MI350P): Para inferencia de modelos grandes y fine-tuning
- CPU nodes de alta densidad: Para planificación de agentes, tool-calling, permission checks, memory retrieval
- Orquestación híbrida: Kubernetes con node pools segregados (GPU pool + CPU pool) con scheduling inteligente
Dell y AMD anunciaron en Dell Technologies World 2026 servidores PowerEdge que integran MI350P para permitir inferencia significativa dentro del envelope de potencia existente — sin reconstrucción costosa de infraestructura. Es el reconocimiento de que la AI factory debe caber en centros de datos existentes, no requerir construcciones nuevas.
Capa 3 — Hyperscaler: Elástico para picos y modelos frontier
No todo workload justifica Capex en infraestructura on-premise. Los hyperscalers (AWS, GCP, Azure) ofrecen acceso elástico a los modelos más grandes y GPUs especializadas.
- Model routing inteligente: 80% del tráfico de inferencia de rutina a modelos costo-optimizados (Llama 4, Mistral, Gemini Flash) reservando frontier (GPT-5, Claude 4, Gemini Ultra) para tareas complejas
- Ahorro potencial: 60-80% en costos de inferencia con routing multi-modelo
- 5x throughput: Despliegues AWS Bedrock + Cerebras CS-3 ofrecen 5x más tokens por el mismo costo vs. GPUs estándar
Blue print de implementación
Así es como traduzco esta arquitectura a un plan concreto para equipos de infraestructura:
┌──────────────────────────────────────────────────────────┐
│ AI FACTORY HÍBRIDA │
├──────────────────────────────────────────────────────────┤
│ EDGE (Lightweight inference) │
│ ┌────────────────────────────────────────────────────┐ │
│ │ SLM inference │ Intent routing │ KV Cache │ │
│ │ (<1B params) │ (Cloudflare W) │ (Edge Redis) │ │
│ └──────────────────┴─────────────────┴───────────────┘ │
├──────────────────────────────────────────────────────────┤
│ CORE (Reasoning + Orchestration) │
│ ┌──────────────────┐ ┌──────────────────────────────┐ │
│ │ GPU Pool │ │ CPU Pool │ │
│ │ · Blackwell │ │ · Agent orchestration │ │
│ │ · MI350P │ │ · Tool execution │ │
│ │ · Frontier inf. │ │ · Permission checks │ │
│ └──────────────────┘ │ · Memory retrieval │ │
│ └──────────────────────────────┘ │
│ ┌────────────────────────────────────────────────────┐ │
│ │ Hybrid Scheduler (K8s + node pools) │ │
│ └────────────────────────────────────────────────────┘ │
├──────────────────────────────────────────────────────────┤
│ HYPERSCALER (Elastic burst) │
│ ┌──────────────┐ ┌──────────┐ ┌──────────────────┐ │
│ │ AWS Bedrock │ │ GCP │ │ Azure OpenAI │ │
│ │ (Cerebras) │ │ Vertex │ │ (GPT-5, Claude) │ │
│ └──────────────┘ └──────────┘ └──────────────────┘ │
├──────────────────────────────────────────────────────────┤
│ OBSERVABILITY + FINOPS │
│ ┌────────────────────────────────────────────────────┐ │
│ │ Cost-per-agent-run │ GPU utilization │ Tokens │ │
│ │ Latency budgets │ Model accuracy │ per $ │ │
│ └────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────┘FinOps para AI Agentic: la métrica que importa
El FinOps tradicional de cloud mide costos por instancia, por GB transferido, por request. En AI agentic, la unidad económica es el costo por tarea completada (cost-per-agent-run). Porque un agente puede hacer 20 llamadas a modelos, 50 tool calls, y 3 retrievals de base de datos para completar una sola tarea.
- Caching semántico: Respuestas similares servidas desde caché reducen llamadas a modelos hasta 40%
- Routing inteligente de modelos: Tareas simples → modelos baratos, tareas complejas → modelos frontier (ahorro 60-80% en inferencia)
- GPU right-sizing: No todo workload necesita A100/H100. Mixtures de GPUs optimizan costo por token
- CPU/GPU balance: Monitorear el ratio real vs. el ideal evita GPUs ociosas pagando tarifa completa
TL;DR
- El ratio GPU:CPU se está invirtiendo — de 8:1 en 2024 a posiblemente 1:2 en 2027. Diseña tu infraestructura para CPU-intensive agentic workflows, no solo para GPU-heavy training.
- Arquitectura híbrida 3-capas: Edge para inferencia ligera + Core para razonamiento profundo (GPU + CPU) + Hyperscaler para bursting elástico.
- Routing inteligente de modelos es la optimización de mayor ROI: 60-80% de ahorro en costos de inferencia.
- FinOps con métrica correcta: Mide cost-per-agent-run, no solo cost-per-token. Los agentes consumen 3-5x más llamadas que un chatbot.
- No necesitas un centro de datos nuevo — los servidores de próxima generación (PowerEdge + MI350P) caben en infraestructura existente.
La AI factory híbrida no es teoría. Es la arquitectura que estamos desplegando en OMG para nuestros workflows agentic de producción. ¿Quieres revisar cómo aplicaría este modelo a tu infraestructura?