DeepType: Natural Language Understanding by Abstraction
DeepType: compréhension du langage naturel par l'abstraction
Résumé
Entity linking is the task of recovering the underlying identity of a word phrase a word in a document: for instance what does the word "France" refer to in "France beat Brazil 3-0 in the 1998 final" (a country? an army? a sports team? a football team? etc.)? This is difficult as it requires to understand the meaning of the words in their full context. And yet, Entity Linking is of critical importance for search engines such as Google, translation, online stores, in intelligent assistants such as Siri or Alexa, or even to the stock market through automated trading systems. Neuro-Symbolic Artificial Intelligence is a subfield of Artificial Intelligence (AI) that is especially relevant to this task. This subfield seeks to combine the the strength of Symbolic Artificial Intelligence with the recent breakthroughs from Neural methods, by for instance enabling an AI to browse the web to answer a question without having to memorize all the facts ahead of time. This thesis presents a corpus of breakthrough advances for Entity Linking and Neuro-Symbolic Artificial Intelligence. We establish the first benchmark to measure human performance at Entity Linking. We then develop DeepType, the first system to propose a representation of entities that takes advantage of the hierarchy of concepts in human knowledge bases to train a deep neural network for Entity Linking. We prove that using our simplified concept hierarchies rather than the prior entity-centric approach yields a representation that is more compact and has a performance ceiling that is equal or higher to human accuracy. Though DeepType sets a new state of the art, the trained neural network is below the performance ceiling and falls short of human performance. We thus created DeepType 2, the first superhuman AI entity linker. This feat was achieved using type interactions a novel way to characterize entities by studying the relations they have with other entities in a document. A limitation of DeepType 2 is the reliance of type-interactions on structured knowledge bases such as Wikidata, which are sometimes flawed or unavailable in low-resource languages. We address this in DeepType 3, by creating the Neural Relational Database (NeRD), a method that teaches the AI to characterize entities through their relation with others via structured or unstructured data. With these four milestone results, this thesis provides a benchmark to measure performance for Entity-Linking, and AI algorithms that outperform the state of the art, are first to achieve superhuman performance, and enable us to scale and generalize to other domains where learning implicit relations between abstract concepts is required.
La désambiguïsation et l'Entity Linking sont des tâches où le but est de retrouver le sens et l'identité d'un mot ou d'une expression au sein d'un document: par exemple que signifie le mot "France" dans la phrase "La France a battu le Brésil 3-0 dans la finale de 1998" (un pays? une armée? une équipe de football? etc.)? Cette question est difficile car elle requiert de connaitre le sens des mots dans leur contexte. Et pourtant, l'Entity Linking est une composante clé des moteurs de recherche type Google, pour la traduction automatisée, le fonctionnement de magasins en ligne, des assistants virtuels comme Siri ou Alexa, ou même au fonctionnement de la bourse due à son utilisation dans des systèmes de négociation automatisés. L'Intelligence Artificielle Neuro-Symbolique est sous-ensemble de l'Intelligence Artificielle (IA) qui est particulièrement pertinent à l'Entity Linking. Le but de ce sous-domaine est de combiner les atouts de l'Intelligence Artificielle Symbolique avec les avancés venant des méthodes basées sur les réseaux neuronaux. Par exemple, un système Neuro-Symbolique permet à un réseau neuronal d'accéder à des informations symbolique sur Internet en lui donnant accès à un explorateur web pour répondre à des questions plutôt qu'en espérant que le réseau neuronal ait mémorisé à l'avance tous les éléments de réponse possible. Cette thèse présente un corpus d'avancé significative pour l'Entity Linking et l'Intelligence Artificielle Neuro-Symbolique. En premier temps nous élaborons la première étude mesurant la performance humaine en Entity Linking et servant désormais comme référence. Dans un deuxième temps avons développons DeepType, le premier système basé sur une représentation d'entité qui utilise la hiérarchie des concepts présents dans des ontologies fabriquées par des humains, afin d'entraîner un réseau neuronal profond pour l'Entity Linking. Nous montrons que de remplacer chaque entité par son emplacement dans une hiérarchie simplifié des concepts, plutôt qu'en utilisant directement les entités, donne lieu à une représentation plus compacte et ayant un plafond de performance qui un égale ou supérieure à celui des humains dans notre étude. Bien que DeepType établisse un nouvel état de l'art, le réseau neuronal entraîné n'est pas à la hauteur de la performance humaine ni celui du plafond potentiel de la représentation choisie. Par conséquence nous avons créé DeepType 2, la première IA surpassant l'humain en Entity Lining. Cette avancée est principalement grace aux interactions de types une nouvelle façon de representer une entité en observant les relations entre celle-ci et les autres entités dans un document. Une limitation restante de DeepType 2 est sa dépendence des interactions de types sur une ontologie structurée (e.g. Wikidata), qui peut contenir des erreurs ou être incomplète dans certaines langues ou domaines moins représentés sur Internet. Nous proposons une solution à ce problème dans DeepType 3 en créant une base de Donnée Relationnelle Neuronale (NeRD): il s'agit d'une technique permettant d'apprendre à une IA comment representer des entités par leur relations avec d'autres entités en se servant de manière équivalente de données structurées ou non-structurées. A travers ces quatre résultats clés, cette thèse propose une nouvelle référence humaine pour mesurer la performance en Entity Linking, et des algorithmes d'IA qui établissent un nouvel état de l'art, sont les premiers à surpasser l'humain en Entity Linking, et permettant une meilleur croissance et generalization vers des nouveaux domaines d'applications où l'apprentissage dépend sur des relations implicites entre des concepts.