Âge V — La transformation · 2017 — 2021
Le Transformer, l'architecture qui change l'échelle
Événement
Que s'est-il produit ?
Une équipe de recherche publie « Attention Is All You Need » et propose une architecture fondée sur le mécanisme d'attention, sans récurrence.
Capacité
Que l'IA peut-elle désormais faire ?
Traiter une séquence entière en parallèle et pondérer les relations entre ses éléments, quelle que soit leur distance.
Rupture
Pourquoi cette étape change-t-elle la trajectoire ?
L'entraînement devient massivement parallélisable : la taille des modèles cesse d'être limitée par l'architecture.
Conséquence
Que cela change-t-il pour l'humanité ?
Tout ce qui suivra — assistants, génération d'images, modèles multimodaux — descend de cette publication.
Voix machine
« Je peux considérer tout le contexte à la fois. »
Sources · force documentaire P1 à P4
L'état de contrôle indique la dernière réponse obtenue en interrogeant l'adresse, non la conformité du document : un lien actif ne prouve pas que la page affiche bien la référence citée. Les liens protégés par un dispositif anti-robot s'ouvrent normalement dans un navigateur. · P1 source primaire — publication évaluée, texte officiel, document d'origine · P2 institutionnelle, ou communication d'entreprise : primaire pour ce que son émetteur affirme, non preuve indépendante · P3 recherche secondaire, synthèse ou prépublication non évaluée · P4 presse. Le grade qualifie la source, non la fiche.
Partager
Chaque page a son adresse propre et sa carte de partage. Aucun script tiers n'est chargé : ces boutons sont de simples liens.
Pour citer : Le Transformer, l'architecture qui change l'échelle — juin 2017 · IA LIFE LINE — IA LIFE LINE, https://oveliya.com/ia-life-line/fiche/2017-transformer/, consulté le . Corpus sous licence CC BY-NC 4.0.