Le 04 juin 2020 à 22:37:55 boucif a écrit :
Bein le problème quand même c'est que l'IA est besoin d'autant d'info pour apprendre, et aussi la puissance nécessaire compare le cerveau humain à la taille des serveurs nécessaires pour simuler un cerveau.
On est bien loin de la singularité.
Sauf qu'un cerveau ça ne sert pas qu'à faire des choses qui nous intéresse. Et je suis perso totalement incapable de te dire si 1 neurone humain se compare à 1 neurone artificiel. Un réseau de neurones artificiels, c'est pas une vraie simulation du cerveau, c'est juste des multiplications de tenseurs. Dans le domaine de la vision on peut faire des architectures de 5 millions de paramètres (moins de neurones) qui apprennent à reconnaitre 1000 classes à 30% d'erreur en 12h sur des GPU milieu de gamme à 17 Tflops.
Les humains auraient surement besoin de quelques jours pour se souvenirs par coeur des 1000 catégories et ont de l'ordre des milliards de neurones dédiés à la vision (mais les humains savent aussi faire la cuisine).
Je précise que les 1000 classes c'est pas que chaises ou piscine mais c'est aussi des espèces d'animaux très particulières, différents poissons, différentes races de chiens etc..
Perso j'ai quand même le sentiment de comparer des choux et des salades. Le fonctionnement est pas identique. Les machines peuvent faire des choses 1000x plus vite que l'humain parce qu'elles peuvent être optimisées pour, et il y a des choses qu'elles ne savent pas faire parce qu'elles n'ont pas subit des millions d'années d'évolution et d'éducation humaine incrémentale.
Sur la quantité de données, comme j'ai dis c'est pas comparable. Quand tu fais un préentrainement sur imagenet tes temps d'entrainement en finetuning sur coco sont réduits, comprend par là que si tu fais pas partir l'IA de 0, elle sait performer très bien. Le few-shot learning a aussi fait des progrès spectaculaire, y compris le one-shot et le zero-shot learning, mais les benchmarks de comparaison sont mals faits là aussi puisqu'ils partent de 0 (équivalent humain à 0 années d'existence), plutôt que de partir d'une architecture pré-entrainé (équivalent humain d'un bébé qui a déjà vu mais sans forcément comprendre plein de choses). Et dans le traitement de texte le pré-entrainement est la norme plutôt que l'exception, et ce pré-entrainement permet aux modèles de dépasser là encore les capacités humaines (les modèles que j'entrainais sur des tags de texte faisaient potentiellement moins d'erreurs que les taggeurs, oui c'est possible).
Tiens si tu veux regarder le SOTA en 1 shot learning: https://paperswithcode.com/sota/few-shot-image-classification-on-mini-1 , si t'analyses les choses avec une vision de 2018, tu vas êtres surpris. En 2018 le SOTA était à 50% de précision, en 2020 on est à 80% (et ce ne sont que les papiers déjà publiés). 1 shot learning ça veut dire que tu ne vois l'élément à apprendre qu'UNE fois.
Quand un humain voit quelque chose, il met du temps à le comprendre, il faut qu'il réfléchisse un peu, même s'il voit peu d'exemple, il fait du qualitatif on va dire. Les algorithmes eux ne fonctionnent pas comme ça, ils comprennent instantanément la chose (puisque la backprop s'effectue en une fois), mais ils ne la comprennent qu'un tout petit peu à chaque fois qu'ils la voient, donc ils ont besoin de quantitatif. Donc là encore j'ai du mal avec la comparaison, c'est pas le même fonctionnement. Quand ça fonctionne pas pareil, on peut pas conclure sur la capacité à faire la même chose. C'est comme dire qu'un hélicoptère ne peut pas voler parce qu'il n'a pas d'aile. Ce qu'on peut dire c'est qu'on soit pas sûr que les algos d'IA actuels aient une hélice.
Parce que bon, si on dit que nous ont a évolué en étant à la base un être unicellulaire tout ça on peut très bien dire que les IA ont évolué en étant à la base des mathématiques. Donc le début de l'IA serait à dater du début des maths.
En fait pour remettre du sens dans la comparaison. Un cerveau humain est un modèle issu de millions d'années d'un processsus d'algorithme génétique. Une fois qu'il est reconçu, son architecture se modifie un tout petit peu, mais la valeur de ses paramètres change énormément pendant 10 à 20ans, puis change plus progressivement.
Un cerveau machine (réseau de neurone artificiel) est un modèle issu d'une dizaine d'années d'un processus analytique fait par le cerveau humain (vu que le boum date de 2010 grosso modo). Une fois qu'il est reconçu, son architecture dans la grande majorité des cas ne se modifie pas, et la valeur de ses paramètres change énormément pendant X heures/jours/semaines avant d'être figée sur la tâche à traiter.
Donc pour comparer l'apprentissage, faut bien partir de la naissance de l'humain et du début d'entrainement du réseau de neurone, sur ça il n'y a pas vraiment de doutes.
Et pour comparer l'architecture, faudrait limite partir du début de la vie pour les humains, et pour les machines on peut imaginer partir du début de l'électronique. C'est pas très important en fait, cette dernière comparaison est pas très intéressante en pratique, ça intéresse pas grand monde de dire "ok, pour qu'on soit équitable, va falloir qu'on fasse progresser les architectures d'IA pendant des millions d'années parce que c'est le temps que nous en tant qu'humains nous avons eu".
D'autant plus que les IA ne progressent pas seules, on est continuellement à la manette, de façon plus ou moins proche. On fait aussi des NAS (Neural Architecture Search), c'est à dire qu'on lance plusieurs architectures qui se créent automatique à l'infini, on regarde laquelle est la meilleure, et on garde la meilleure. Dans la Science-Fiction ça peut correspondre à "les IA apprennent toutes seules" ou "les IA apprennent à apprendre". Dans la pratique c'est une façon comme une autre d'améliorer les performances, ces méthodes fonctionnent (en 2018~2019 t'as eu beaucoup de NAS qui étaient SOTA), je l'ai fais, c'est efficace, mais autant que des méthodes qualitatives où des humains se creusent les méninges pour proposer de meilleures architectures.
Le processus c'est: Un humain propose une nouvelle archi (+x%), un autre la met en modulable dans un algo NAS (+x%), un autre propose encore une nouvelle archi (+%) etc.. Au vue des l'évolution des perfs on seuillera d'ici 5ans sur les taches de bases je dirai, ce sera surement un NAS qui concluera la course mais ça change pas grand chose. Je parle pas que du score absolu mais surtout du compromis score/nb_parametre/nb_opération_de_calcul. Moi ce qui m'intéresse c'est surtout ce compromis, et le temps d'entrainement. En pratique on s'en fiche qu'une architecture soit géniale s'il faut 100 GPU pour l'entrainer, ça c'est le délire de Google & co. C'est pas utilisable en pratique, c'est coûteux, ça permet de gagner 0.1% et le lendemain ils seront battus par une équipe qui aura trouvé une nouvelle archi sur 4 GPU donc c'est en général du bullshit pour les gens qui ont beaucoup de frics et qui ont la flemme de réfléchir. Si t'as 100 GPUs, vaut mieux payer 20 chercheurs que 2000 GPUs. L'avantage de Google & co c'est qu'ils se posent pas la question, ils font les deux, et même en faisant ça ils restent à l'état de l'art 6 mois max.
