Se ha publicado una nueva presentación de 30 minutos de @aelluswamy, VP de IA de Tesla, donde habla sobre FSD, IA y los últimos avances del equipo. Aspectos destacados de la presentación: • La flota de vehículos de Tesla puede proporcionar 500 años de datos de conducción cada día. La maldición de la dimensionalidad: • 8 cámaras a alta velocidad de fotogramas = miles de millones de tokens por 30 segundos de contexto de conducción. • Tesla debe comprimir y extraer las correlaciones correctas entre la entrada sensorial y las acciones de control. Ventaja de datos: • Tesla tiene acceso a una "cascada de datos" — cientos de años de conducción colectiva de la flota. • Utiliza disparadores de datos inteligentes para capturar casos raros (por ejemplo, intersecciones complejas, comportamientos impredecibles). Calidad y eficiencia: • Extrae solo los datos esenciales necesarios para entrenar modelos de manera eficiente. Depuración e interpretabilidad: • A pesar de que el sistema es de extremo a extremo, Tesla aún puede solicitar al modelo que produzca datos interpretables: ocupación 3D, límites de carretera, objetos, señales, semáforos, etc. • Consulta en lenguaje natural: pregunta al modelo por qué tomó una determinada decisión. • Estas predicciones auxiliares no conducen el automóvil, pero ayudan a los ingenieros a depurar y garantizar la seguridad. Splatting Gaussiano Avanzado de Tesla (Modelado de Escenas 3D): • Tesla desarrolló un sistema de splatting gaussiano personalizado y ultra-rápido para reconstruir escenas 3D a partir de vistas limitadas de cámaras. • Produce representaciones 3D nítidas y precisas incluso desde pocos ángulos de cámara — mucho mejor que los enfoques estándar de NeRF/splatting. • Permite una depuración visual rápida del entorno de conducción en 3D. Evaluación y Modelos del Mundo: • La evaluación es el desafío más difícil: los modelos pueden funcionar bien fuera de línea pero fallar en condiciones del mundo real. • Tesla construye conjuntos de datos de evaluación equilibrados y diversos centrados en casos extremos — no solo en la conducción fácil por autopistas. Se introdujo un simulador del mundo aprendido (motor de video generado por red neuronal): • Puede simular 8 feeds de cámaras de Tesla simultáneamente — completamente sintético. • Utilizado para pruebas, entrenamiento y aprendizaje por refuerzo. • Permite la inyección de eventos adversariales (por ejemplo, agregar un peatón o un vehículo que se cruza). • Permite reproducir fallos pasados para verificar mejoras en nuevos modelos. • Puede funcionar en casi tiempo real, permitiendo a los evaluadores "conducir" dentro de un mundo simulado. ¿Qué sigue?: • Escalar el servicio de robotaxi a nivel global. • Desbloquear la autonomía total en toda la flota de Tesla. • Cybercab: vehículo de próxima generación de 2 asientos diseñado específicamente para uso de robotaxi, con el objetivo de tener el costo de transporte más bajo (más barato que el transporte público). • Las mismas redes neuronales impulsarán al robot humanoide Optimus. • El mismo sistema de generación de video se está aplicando ahora a Optimus. • El sistema puede simular y planificar el movimiento de los robots, adaptándose fácilmente a nuevas formas. vía la Conferencia Internacional sobre Visión por Computadora (ICCV). Presentación completa:

Se ha publicado una nueva presentación de 30 minutos de @aelluswamy, VP de IA de Tesla, donde habla sobre FSD, IA y los últimos avances del equipo. Aspectos destacados de la presentación: • La flota de vehículos de Tesla puede proporcionar 500 años de datos de conducción cada día. La maldición de la dimensionalidad: • 8 cámaras a alta velocidad de fotogramas = miles de millones de tokens por 30 segundos de contexto de conducción. • Tesla debe comprimir y extraer las correlaciones correctas entre la entrada sensorial y las acciones de control. Ventaja de datos: • Tesla tiene acceso a una "cascada de datos" — cientos de años de conducción colectiva de la flota. • Utiliza disparadores de datos inteligentes para capturar casos raros (por ejemplo, intersecciones complejas, comportamientos impredecibles). Calidad y eficiencia: • Extrae solo los datos esenciales necesarios para entrenar modelos de manera eficiente. Depuración e interpretabilidad: • A pesar de que el sistema es de extremo a extremo, Tesla aún puede solicitar al modelo que produzca datos interpretables: ocupación 3D, límites de carretera, objetos, señales, semáforos, etc. • Consulta en lenguaje natural: pregunta al modelo por qué tomó una determinada decisión. • Estas predicciones auxiliares no conducen el automóvil, pero ayudan a los ingenieros a depurar y garantizar la seguridad. Splatting Gaussiano Avanzado de Tesla (Modelado de Escenas 3D): • Tesla desarrolló un sistema de splatting gaussiano personalizado y ultra-rápido para reconstruir escenas 3D a partir de vistas limitadas de cámaras. • Produce representaciones 3D nítidas y precisas incluso desde pocos ángulos de cámara — mucho mejor que los enfoques estándar de NeRF/splatting. • Permite una depuración visual rápida del entorno de conducción en 3D. Evaluación y Modelos del Mundo: • La evaluación es el desafío más difícil: los modelos pueden funcionar bien fuera de línea pero fallar en condiciones del mundo real. • Tesla construye conjuntos de datos de evaluación equilibrados y diversos centrados en casos extremos — no solo en la conducción fácil por autopistas. Se introdujo un simulador del mundo aprendido (motor de video generado por red neuronal): • Puede simular 8 feeds de cámaras de Tesla simultáneamente — completamente sintético. • Utilizado para pruebas, entrenamiento y aprendizaje por refuerzo. • Permite la inyección de eventos adversariales (por ejemplo, agregar un peatón o un vehículo que se cruza). • Permite reproducir fallos pasados para verificar mejoras en nuevos modelos. • Puede funcionar en casi tiempo real, permitiendo a los evaluadores "conducir" dentro de un mundo simulado. ¿Qué sigue?: • Escalar el servicio de robotaxi a nivel global. • Desbloquear la autonomía total en toda la flota de Tesla. • Cybercab: vehículo de próxima generación de 2 asientos diseñado específicamente para uso de robotaxi, con el objetivo de tener el costo de transporte más bajo (más barato que el transporte público). • Las mismas redes neuronales impulsarán al robot humanoide Optimus. • El mismo sistema de generación de video se está aplicando ahora a Optimus. • El sistema puede simular y planificar el movimiento de los robots, adaptándose fácilmente a nuevas formas. vía la Conferencia Internacional sobre Visión por Computadora (ICCV). Presentación completa: