Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone fine-tuning without episodic meta-learning dominates for few-shot learning image classification

Leçons tirées du défi NeurIPS 2021 MetaDL : le réglage fin du backbone sans méta-apprentissage épisodique domine pour la classification d'images d'apprentissage en quelques prises de vue

Adrian El Baz , Ihsan Ullah (1, 2, 3) , Edesio Alcobaça , André C. P. L. F. Carvalho , Hong Chen , Fabio Ferreira , Henry Gouk , Chaoyu Guan , Isabelle Guyon (4, 1, 2, 3) , Timothy Hospedales , Shell Hu , Mike Huisman , Frank Hutter , Zhengying Liu , Felix Mohr , Ekrem Öztürk , Jan N van Rijn , Haozhe Sun (1, 3, 2) , Xin Wang , Wenwu Zhu

1 LISN - Laboratoire Interdisciplinaire des Sciences du Numérique
2 Université Paris-Saclay
3 TAU - TAckling the Underspecified
4 Inria Saclay - Ile de France

Although deep neural networks are capable of achieving performance superior to humans on various tasks, they are notorious for requiring large amounts of data and computing resources, restricting their success to domains where such resources are available. Metalearning methods can address this problem by transferring knowledge from related tasks, thus reducing the amount of data and computing resources needed to learn new tasks. We organize the MetaDL competition series, which provide opportunities for research groups all over the world to create and experimentally assess new meta-(deep)learning solutions for real problems. In this paper, authored collaboratively between the competition organizers and the top-ranked participants, we describe the design of the competition, the datasets, the best experimental results, as well as the top-ranked methods in the NeurIPS 2021 challenge, which attracted 15 active teams who made it to the final phase (by outperforming the baseline), making over 100 code submissions during the feedback phase. The solutions of the top participants have been open-sourced. The lessons learned include that learning good representations is essential for effective transfer learning.

Bien que les réseaux de neurones profonds soient capables d'atteindre des performances supérieures aux humains sur diverses tâches, ils sont connus pour nécessiter de grandes quantités de données et de ressources informatiques, limitant leur succès aux domaines où ces ressources sont disponibles. Les méthodes de méta-apprentissage peuvent résoudre ce problème en transférant des connaissances de tâches connexes, réduisant ainsi la quantité de données et de ressources informatiques nécessaires pour apprendre de nouvelles tâches. Nous organisons la série de challenges MetaDL, qui offre aux groupes de recherche du monde entier la possibilité de créer et d'évaluer expérimentalement de nouvelles solutions de méta-(deep)learning pour des problèmes réels. Dans cet article, rédigé en collaboration entre les organisateurs du concours et les meilleurs participants, nous décrivons la conception du challenge, les ensembles de données, les meilleurs résultats expérimentaux, ainsi que les méthodes les mieux classées du challenge NeurIPS 2021, qui a attiré 15 équipes actives qui ont atteint la phase finale (en surpassant la ligne de base), en faisant plus de 100 soumissions de code pendant la phase de feed-back. Les solutions des meilleurs participants ont été mises en open-source. Les leçons apprises incluent que l'apprentissage de bonnes représentations est essentiel pour un apprentissage par transfert efficace.

Mots clés: Automated Machine Learning; meta-learning; challenge; few-shot learning; competition

Domaines: Réseau de neurones [cs.NE]; Apprentissage [cs.LG]; Vision par ordinateur et reconnaissance de formes [cs.CV]; Intelligence artificielle [cs.AI]

Adrian El Baz, Ihsan Ullah, Edesio Alcobaça, André C. P. L. F. Carvalho, Hong Chen, et al.. Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone fine-tuning without episodic meta-learning dominates for few-shot learning image classification. NeurIPS 2021 Competition and Demonstration Track, Dec 2021, On-line, United States. ⟨hal-03688638⟩