Une nouvelle présentation de 30 minutes de @aelluswamy, VP de l'IA chez Tesla, a été publiée, où il parle de FSD, de l'IA et des derniers progrès de l'équipe. Points forts de la présentation : • La flotte de véhicules de Tesla peut fournir 500 ans de données de conduite chaque jour. Malédiction de la dimensionnalité : • 8 caméras à haute fréquence d'images = des milliards de tokens par 30 secondes de contexte de conduite. • Tesla doit compresser et extraire les bonnes corrélations entre les entrées sensorielles et les actions de contrôle. Avantage des données : • Tesla a accès à une "chute de Niagara de données" — des centaines d'années de conduite collective de la flotte. • Utilise des déclencheurs de données intelligents pour capturer des cas rares (par exemple, des intersections complexes, des comportements imprévisibles). Qualité et efficacité : • N'extrait que les données essentielles nécessaires pour former les modèles de manière efficace. Débogage et interprétabilité : • Même si le système est de bout en bout, Tesla peut toujours inciter le modèle à produire des données interprétables : occupation 3D, limites de route, objets, panneaux, feux de circulation, etc. • Interrogation en langage naturel : demandez au modèle pourquoi il a pris une certaine décision. • Ces prédictions auxiliaires ne conduisent pas la voiture mais aident les ingénieurs à déboguer et à garantir la sécurité. Système de splatting gaussien avancé de Tesla (modélisation de scène 3D) : • Tesla a développé un système de splatting gaussien personnalisé et ultra-rapide pour reconstruire des scènes 3D à partir de vues de caméra limitées. • Produit des rendus 3D nets et précis même à partir de quelques angles de caméra — bien meilleur que les approches standard NeRF/splatting. • Permet un débogage visuel rapide de l'environnement de conduite en 3D. Évaluation et modèles du monde : • L'évaluation est le défi le plus difficile : les modèles peuvent bien fonctionner hors ligne mais échouer dans des conditions réelles. • Tesla construit des ensembles de données d'évaluation équilibrés et diversifiés en se concentrant sur les cas limites — pas seulement la conduite facile sur autoroute. Introduction d'un simulateur de monde appris (moteur vidéo généré par réseau de neurones) : • Peut simuler 8 flux de caméra Tesla simultanément — entièrement synthétique. • Utilisé pour les tests, la formation et l'apprentissage par renforcement. • Permet l'injection d'événements adverses (par exemple, ajout d'un piéton ou d'un véhicule coupant la route). • Permet de rejouer des échecs passés pour vérifier les améliorations du nouveau modèle. • Peut fonctionner en temps quasi réel, permettant aux testeurs de "conduire" dans un monde simulé. Quelles sont les prochaines étapes : • Élargir le service de robotaxi à l'échelle mondiale. • Débloquer l'autonomie totale de l'ensemble de la flotte Tesla. • Cybercab : véhicule à 2 places de nouvelle génération conçu spécifiquement pour l'utilisation de robotaxi, visant le coût de transport le plus bas (moins cher que les transports publics). • Les mêmes réseaux de neurones alimenteront le robot humanoïde Optimus. • Le même système de génération vidéo est maintenant appliqué à Optimus. • Le système peut simuler et planifier le mouvement des robots, s'adaptant facilement à de nouvelles formes. via la Conférence internationale sur la vision par ordinateur (ICCV). Présentation complète :