Esperaba que esto sucediera: OpenAI anunció que han desarrollado versiones mini de alto rendimiento de GPT-4 que funcionarán localmente en una laptop o un teléfono. Esto trasladará gran parte de la inferencia de los centros de datos a nuestras máquinas locales. Cuando el modelo no puede responder a una pregunta localmente, puede decir "espera un momento mientras consulto con la mente colectiva..." o lo que sea y hacer la inferencia en la nube. Gran pregunta para aquellos de nosotros en el mundo de la electricidad y los centros de datos: ¿cómo impactará esto las tendencias de construcción de centros de datos, su demanda de electricidad y las ubicaciones donde pueden/están dispuestos a construir? Mi hipótesis: esto reduce la demanda de inferencia en centros de datos centralizados, al mismo tiempo que aumenta el grado de latencia que los centros de datos de inferencia pueden manejar (porque las tareas que requieren baja latencia se realizarán localmente).