Última entrevista de SemiAnalysis: aún hay margen para duplicar el almacenamiento, la CPU solo cumple un rol secundario y la implementación de CPO se retrasa hasta 2029

Cada capa de la infraestructura de IA está sintiendo presión de manera sincronizada, coexistiendo oportunidades y errores de interpretación. Dylan Patel, fundador de SemiAnalysis, fue entrevistado recientemente en un pódcast, donde sistematizó las dinámicas clave y la lógica de inversión de la actual pila de infraestructura de IA. Su análisis incluye economía de modelos, el superciclo de memoria, la repricing de CPUs, el riesgo temporal de los CPO y las oportunidades estructurales en el suministro energético de los data centers.

Para responder al escepticismo general del mercado sobre el retorno de la inversión (ROI) en IA, Dylan reveló que Anthropic logró flujo de caja libre positivo en el segundo trimestre de este año, con ingresos recurrentes anualizados que superan los 50.000 millones de dólares,con un margen bruto superior al 70%. En el ámbito empresarial, los últimos modelos de IA impulsan una productividad mucho mayor que el incremento en costes de cómputo, llevando a las empresas a recortar otros gastos de software para sostener presupuestos explosivos en IA.

En cuanto a la evolución de hardware, la transición hacia el paradigma de modelos de inferencia está reconfigurando la demanda del mercado. Dylan enfatiza que,el almacenamiento enfrenta una escasez estructural que puede extenderse por años, y aún tiene entre 2 y 3 veces más potencial de crecimiento; al mismo tiempo, aunque los agentes inteligentes y el aprendizaje por refuerzo han incrementado la demanda por CPU, el mercado vendedor ha sobreestimado sus precios y su crecimiento responde principalmente a “saldo histórico”, con un valor absoluto en servidores de IA mucho menor que el de las GPU.

Dylan opina que la esperada adopción masiva de la óptica co-empaquetada (CPO),se pospone claramente hasta finales de 2028 o 2029, prolongando inesperadamente el periodo de bonanza de los conectores de cobre. Además, las restricciones en la transmisión y distribución eléctrica están obligando a los data centers a recurrir a “fuentes de energía propias” (behind the meter), lo que genera oportunidades masivas de inversión en la cadena de suministro industrial de energía y conversión eléctrica, más allá de la tradicional inversión en chips.

Anthropic lidera la autosustentabilidad; la demanda por IA comienza a concretarse

Ante las dudas del mercado sobre el ROI de las empresas de IA, Dylan Patel proporcionó datos concretos para responderlas.

"Anthropic ya logró flujo de caja libre positivo en el segundo trimestre: ganancias en abril, ganancias en mayo y parece que junio será igual." Comentó que el ingreso recurrente anualizado ya superó los 50.000 millones de dólares y el margen bruto supera el 70%. Los ingresos de OpenAI también crecen rápidamente al aumentar la adopción de Codex.

El propio trayecto de gastos de SemiAnalysis también confirma esta tendencia. En noviembre pasado, el equipo de 90 personas tenía un gasto anualizado en IA inferior a 100.000 dólares; a fines de enero de este año, tras la expansión masiva de Claude Code, esa cifra se disparó a 4 millones de dólares al año; actualmente ya alcanzó 11 millones, y en su pico semanal llegó a una tasa anualizada de 14 millones. "Si sumamos el costo laboral del personal y el costo de IA, esta última ya representa más de un tercio, y probablemente alcance la mitad antes de fin de año."

También señaló que los modelos más nuevos y potentes no son necesariamente más caros en la práctica. Un modelo antiguo puede requerir 100.000 tokens y 10 interacciones para completar una tarea, mientras que un modelo nuevo necesita solo 25.000 tokens y una sola interacción. "Cada vez que el modelo pasa de 4.6 Opus a 4.7 Opus, nuestro gasto primero baja durante una semana y luego se dispara otra vez—porque ahora se pueden lograr cosas que antes eran imposibles." En su opinión, esta es una de las razones clave por las que Anthropic tiene ventaja frente a OpenAI:mayor eficiencia de tokens y menor costo global para el usuario.

Memoria: escasez estructural, no un ciclo común

De todas las categorías de hardware, la visión más firme de Dylan Patel es sobre la memoria.

"No es una escasez a corto plazo, es una escasez estructural que durará varios años."Él indica que la capacidad de producción de memoria solo crece entre el 20% y 30% anual, mientras que la demanda del lado IA se duplica una y otra vez, ampliando cada vez más la brecha.

La lógica detrás de este juicio proviene del impacto de los modelos de inferencia en las cachés KV. Tradicionalmente, el contexto de los modelos de inferencia conversacionales sumaba miles de tokens, por lo que el consumo de caché KV era limitado; pero con el surgimiento de modelos de inferencia como o1, la longitud de contexto se ha disparado y el uso de caché KV ha crecido enormemente, haciendo que la memoria sea la mayor beneficiaria. SemiAnalysis publicó un informe en diciembre de 2024 alertando sobre esta tendencia.

Las limitaciones rígidas en el lado de la oferta forzarán al mercado downstream a redistribuir los recursos limitados de memoria. Él predice que los dispositivos electrónicos de consumo, con baja elasticidad de precios, serán los primeros en sufrir: la venta de móviles de gama media y baja ya cayó un 40%, y se prevé que los precios del iPhone y MacBook suban el año próximo. "La memoria seguirá encareciendo, la electrónica de consumo se comprimiría a un nuevo nivel, y sólo cuando la IA consiga toda la memoria que necesita estará realmente satisfecha." Agrega que, incluso cuando llegue la baja del ciclo,"de valle en valle, el crecimiento a largo plazo es indudable."

CPU: arriba por reposición, sin extrapolar en exceso

La CPU es un actor emergente en el discurso de infraestructura IA este año, pero Dylan Patel mantiene una postura de advertencia clara al respecto.

El resurgir de la demanda de CPU tiene lógica: el aprendizaje por refuerzo exige muchas CPU para correr entornos de validación (unit tests, operaciones simuladas, etc.); la inferencia de agentes inteligentes requiere que el modelo invoque herramientas y se comunique frecuentemente con el mundo real—operaciones muy dependientes del poder de cómputo CPU. Por otra parte, tras años de masiva distribución de chips de IA, ha habido gran falta de CPUs complementarias, y ahora nos hallamos en un ciclo de reposición, beneficiando a ARM, Intel, AMD, e incluso Nvidia con su Vera CPU, con una guía de ingresos de 20.000 millones de dólares.

"Pero quiero advertir algo importante: hay mucho efecto reposición aquí." Señala que, al saldar la deuda histórica, sólo quedará demanda incremental, y volverá a la normalidad. En cuanto al monto absoluto, una Blackwell ronda los 50.000 dólares, una CPU unos 5.000 dólares; aunque en proporción haya más CPUs, el volumen en dólares es mucho menor que el de los aceleradores IA."La memoria y los aceleradores IA son el grueso; la CPU fue subestimada y ahora se ha reevaluado, pero no crecerá indefinidamente a mayor ritmo que los chips de IA."

Interconexión óptica: visión positiva a largo plazo, prudencia en el corto-medio con CPO

Las redes y la interconexión óptica constituyen otro campo de entusiasmo en el mercado, pero Dylan Patel es cauto con respecto al ritmo de adopción de la CPO (coempaque óptico).

"Estimo que la producción verdaderamente masiva de CPO será entre finales de 2028 y 2029." Señala que el rendimiento de fabricación, el diseño de chips y la madurez de la cadena de suministro aún no alcanzan los estándares para un despliegue a gran escala, y que Nvidia Rubin y sus arquitecturas sucesoras (Feynman) seguirán con cobre, por lo que el CPO en el lado GPU requerirá varias generaciones de espera.

Revela que la semana pasada SemiAnalysis publicó un informe para sus clientes institucionales, expresando mayor confianza a medio plazo en cobre y soluciones ópticas no-CPO, y cautela con el CPO. Cambios de diseño en ciertos chips downstream (por ejemplo, Rubin Ultra con Kyber sin la arquitectura de 800V) han retrasado todavía más la llegada de CPO. Empresas de conectores de cobre como Amphenol deberían beneficiarse más de lo esperado.

"A largo plazo el CPO llegará, y el cobre será desplazado, pero la línea temporal se retrasa y en el corto-medio todavía hay grandes oportunidades con el cobre."

Energía eléctrica: la autogeneración será la norma; variedad de caminos innovadores

El suministro eléctrico a los data centers se ha convertido en la restricción física más importante para el crecimiento de la IA. Según Dylan Patel, la demanda eléctrica nueva de data centers crecerá este año en 20 GW, 30 GW el próximo año y 50 GW el siguiente, un crecimiento casi explosivo.

Desglosa la cuestión energética en tres dimensiones:transmisión, generación y conversión. La transmisión es el eslabón más difícil de superar, pues implica regulaciones, estructuras monopólicas de proveedoras locales de energía y mecanismos de asignación de costos, y resulta casi imposible de cambiar en el corto plazo. En generación y conversión, en cambio, sí abundan las oportunidades.

Prevé que en los próximos años, la mitad de la energía eléctrica adicional consumida por data centers provendrá de "fuentes detrás del medidor" (behind the meter), es decir, generadas por las propias empresas y no por redes públicas. Hoy, la opción más común son las plantas de ciclo combinado a gas (CCGT), provistas por empresas como GE Vernova, Mitsubishi y Siemens; aunque emergen alternativas como motores recíprocos, turbinas de gas industriales e incluso adaptaciones de motores navales, de trenes o camiones. "Suena rudimentario, pero funciona, y ya está en uso."

A más largo plazo, estima que en ~dos años, la combinación de solar y almacenamiento será más barata que la generación con gas; y aún más lejanamente, los data centers espaciales—colocar chips en órbita, donde los paneles solares no deben atravesar la atmósfera, tendrán una densidad energética mayor y no requieren almacenaje.

El rubro de conversión también está lleno de oportunidades de inversión: de IGBT, carburo de silicio, a transistores MOSFET de nitruro de galio, transformadores sólidos, UPS y supercapacitores; toda la cadena de conversión está evolucionando rápidamente. El departamento de investigación más grande de SemiAnalysis ya no es semiconductores, sino su equipo “DEI” (data centers, energía e industria), que sigue el despliegue de cada centro y planta de energía en el mundo.

A continuación, la entrevista completa:

Presentador:Bienvenidos de nuevo al pódcast “La próxima gran cosa”. Soy el presentador, y hoy me acompaña mi colega Klay Hyman, junto a nuestro nuevo socio, Dylan Patel, fundador de la consultora SemiAnalysis. Es un día especial para hablar con Dylan sobre el panorama integral de infraestructuras IA actual. Sigo sus contenidos hace tiempo; lo veo mucho en pódcast y el newsletter de SemiAnalysis es lectura obligatoria para mí. Hace poco publicaron un informe en profundidad sobre data centers espaciales; si les interesa, échenle un vistazo, es sumamente detallado.

Dylan, me gustaría mucho que cuentes cómo nació SemiAnalysis. Sé que en la comunidad de Substack todos están hablando estos días del éxito y los ingresos de la empresa, pero a veces se olvida el trayecto y el esfuerzo que hay detrás del logro visible.

Los orígenes de SemiAnalysis

Dylan Patel: El origen de SemiAnalysis fue en foros en línea—usando una expresión poco diplomática, “troleando”. Recuerdo mis primeros posts sobre semiconductores: era adolescente y publicaba sobre chips, smartphones, pantallas y SoCs, aunque ni siquiera tenía un smartphone, solo estaba fascinado. Hardware de videojuegos, PC, consolas... siempre publiqué al respecto en internet.

En el equipo—hoy ya somos 90 e incluso tenemos un departamento de marketing—siempre me dicen “Dylan, dejá de responderle a trolls en internet, eso nos hace ver poco profesionales.” Pero mi alarma interna suena cada vez que alguien me critica online, y tengo que responder. No es necesariamente bueno, pero así soy.

Pasé toda mi adolescencia moderando estos foros. Cuando empecé a ganar dinero, invertía. Luego trabajé como trader cuantitativo y después fundé mi empresa, pero nunca dejé de postear. Incluso fui blogger anónimo tiempo atrás, pero hacia 2020 ya me hartaba el trabajo—hay una desilusión en ser cuantitativo: ganás plata pero el brillo es menor al esperado. Así que renuncié y emprendí.

No estaba seguro de esa ruta, pero empecé a postear con mi nombre real en mi WordPress, sobre tecnología, negocios, finanzas, cadenas de suministros—mis grandes pasiones, ya que vengo de una familia que vivía de pequeños negocios. En Georgia, mi familia tenía un motel (donde vivíamos), luego una estación de servicio—siempre me gustaron los negocios.

Después, el blog pasó a Substack, arrancó el modelo pago, y escribí sobre toda la cadena de semiconductores e IA. En cuatro años recorrí el mundo, y fui a unas 40 conferencias cada año—desde las académicas top de IA, hasta las de insumos químicos para la fabricación de chips, pasando por servidores, redes, wafers... toda la vertical. Algunas tenían solo 300 personas y eran en japonés, apenas cinco hablaban inglés, igual fui. Otras eran conferencias masivas, de dos mil a veinte mil. Tras tres ediciones, realmente te apropiás del idioma del sector, conocés a la gente, podés hacer preguntas profundas, y tu mente arma el mapa del ecosistema completo.

Crecimiento y construcción de equipo en SemiAnalysis

Dylan Patel: Siempre me fijé en los "puntos de inflexión" tecnológicos: tras localizar algún cambio en una conferencia, preveía el impacto financiero en la cadena de valor. Algunos informes eran solo técnicos, los bancos ni los leían; pero otros señalaban cuellos de botella, o puntos de inflexión, o cómo una empresa ganaría cuota masiva con una tecnología—y yo podía decirlo antes que nadie en el mercado.

El tercer integrante fue Myin: había trabajado en hedge funds, se mudó a Japón por su esposa, estaba libre. De hedge fund fue el primero; los otros dos venían de tecnología. Cuando entró, modelizamos finanzas y pasamos de newsletter a servicios de información, informes de investigación, dataset sales.

Desde entonces, la bola de nieve creció sola. De 2023 a 2024 pasamos de 2 a 7; luego a 20; de 2025 a 2026, de 20 a 60; y este año sumamos 30, ya somos 90.

Lo más emocionante de SemiAnalysis es la densidad de talento: no imagino otra compañía con semejante concentración y enfoque. Hay gente que pasó por ASML, Applied Materials, Lam Research; gente de Intel, TSMC, Nvidia, Microsoft, Amazon, ex OpenAI, alguien que hizo FSD en Tesla, gente que estuvo en Cohere, expertos en data centers y hasta una persona que construyó centrales eléctricas en Kazajistán. Es una diversidad insólita: la mitad ingenieros a todos los niveles sectoriales, la otra mitad ex hedge funds o genios apasionados que encontramos online.

Hoy SemiAnalysis tiene múltiples verticales: servicios de datos, consultoría, información, newsletter, medios y hasta una conferencia propia a punto de lanzarse. Es todo un viaje.

En vivo en GTC Nvidia y el cinturón del "rey del cómputo"

Presentador: Hablando de viajes valientes, recuerdo un momento impactante. WisdomTree y SemiAnalysis colaboran hace meses. En la GTC de Nvidia en marzo, yo veía el streaming en Charlotte, Carolina del Norte; dicen que hubo 55.000 espectadores online y 20.000 presentes en el estadio.

Dylan Patel: Exactamente, 20.000 adultos ahí en vivo.

Presentador: Jensen Huang te nombró en el escenario, citando que “guardaba” cierto dato; tus gráficos estaban proyectados en pantalla. Yo—supongo que me puse nervioso por vos—vi cómo el CEO de la empresa más valiosa del mundo respondía a tu research en vivo, aclarando los datos. ¿Cómo fue estar ahí? Contanos del momento.

Dylan Patel: Fue completamente surrealista. Una tarea clave de SemiAnalysis es que tenemos ingenieros dedicados a benchmarks open source de todos los modelos y hardware de IA, un trabajo silencioso. Mantenemos una fuerte colaboración con la industria: desde OpenAI, Microsoft, Amazon, Google, Coreweave, Nebius, Crusoe... recibimos hardware donado por valor de más de 5 millones de dólares, Oracle también nos donó hardware para pruebas.