Savoir & Culture

Salutations tout le monde.

Je me suis fendu d’un petit texte à propos des lois de robotique d’Isaac Asimov, pour vous en proposer de nouvelles qui me semblent plus élégantes. Je sais bien que ce n'est pas spécialement en lien avec la politique, mais compte des connaissances variées, notamment en philosophie, de la plupart d'entre vous, je me hasarde à vous soumettre le produit de mon modeste esprit.

Tout avis est bienvenu.

LES LOIS DE L’AUTOMATE
Considérations sur la servitude des machines

Le mythe du golem est ancien. Il relate l'histoire d'un homme assemblant un peu de boue pour produire un petit être soumis à sa volonté, mais qui finit pas tuer le créateur. Ce récit se mêle à celui de Prométhée — puni par les dieux pour avoir offert le feu aux mortels — où la technique se retourne contre ceux qui en font usage ou qui en sont à l’origine. Cette crainte phosphora dans la littérature, notamment au début du XXe siècle quand les pupls américains mettent en scène des robots. Nombre de revues virent leurs pages noircies par des histoires de machines engendrant des catastrophes, souvent à dessein de tuer les humains. Tout n'était que thème et variation du récit de Frankenstein.
Lassé de ces récits défaitistes, Isaac Asimov établit dans les années 1940 trois lois simples avec le concours de son éditeur John Campbell pour conditionner le comportement des robots de sorte à prévenir toute velléité à l'égard des humains. Exposées pour la première fois dans sa nouvelle Cercle vicieux en 1942 les lois s’énoncent ainsi :

1. Un robot ne peut porter atteinte à un être humain, ni, en restant passif, permettre qu'un être humain soit exposé au danger.
2. Un robot doit obéir aux ordres qui lui sont donnés par un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
3. Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.

Ces lois sont élégantes, logiques, pratiques, et s'affirment depuis plus d'un demi-siècle comme la référence en matière de robotique à tel point qu'elles sont communément reprises dans la plupart des histoires de Science Fiction traitant du sujet et par les véritables programmeurs contemporains dont l'ambition est de coder ces lois pour les appliquer à leurs créations.
Cependant, ces lois sont imparfaites. Asimov lui-même en avait conscience puisqu'une partie de son œuvre repose précisément sur leurs failles et la manière dont elles sont exploitées autant par les humains que les robots, créant un archipel de récits mêlant logique et suspens. Cette prospective du paradoxe conduira l’auteur jusqu'à la formulation d'une loi zéro, élaborée par un robot dans le but de préserver l'humanité, permettant épisodiquement de contourner les trois lois fondamentales au profit de la société dans son ensemble. Rien de machiavélique, simplement une transposition du souci de l'auteur d'une humanité prospère à long terme.
Cette dernière loi prête à controverse, car elle suppose de connaître l’avenir pour orienter le sort de l’humanité et que les robots sachent mieux que les humains eux-mêmes ce qui est bon pour notre sort. Cela revient à valider le postulat que l'humanité est mauvaise par nature et qu'elle est incapable de se gouverner elle-même, sinon qu'elle ne peut dépasser sa condition, et que la technologie s’avère l'unique voie de salut, assurant même une forme de transcendance par la création d’androïdes à notre image, sans aucun de nos défauts. Les lois d'Asimov sont donc à la fois naïves et forgées dans la crainte que la science catalyse nos pires instincts à travers les machines.
Pa railleurs, les lois d'Asimov s’avèrent problématiques d'un point de vue éthique. L'auteur considérait les robots comme des outils, ce faisant, comme tout outil, ils se devaient d'être employés de manière sure, de remplir efficacement sa fonction et de durer le plus longtemps possible. Si cette définition sied volontiers à un couteau, une perceuse ou une voiture, elle ne convient pas pour un être doué de sensibilité, fut-ce un robot. En effet, ces machines possèdent une consciente, a fortiori d'elles-mêmes, cela induit la possibilité pour une intelligence, tout artificielle soit-elle, de concevoir et ressentir des émotions au-delà d’un certain degré de sophistication. Il serait ainsi à la fois cruel et dangereux de produire des machines malheureuses ou concevant la colère pour leur état de soumission.

La véritable raison de ces précautions réside dans la perception que l’humanité possède d’elles-mêmes. Il est acquis que le pouvoir corrompt l’âme au point de pousser le plus vertueux des hommes à dévoyer les moyens dont il a disposition pour satisfaire ses désirs, hélas souvent au détriment d’autrui. L’erreur consiste à appréhender les robots comme des semblables en raison de leur haute intelligence, ce qui conduit à projeter sur eux nos peurs et nos défauts. Un créateur produit une créature à son image, aussi les machines agissent comme le reflet déformant de nos propres turpitudes et les lois conditionnant leur existence ne sont en réalité que des règles idéales à appliquer pour assurer la concorde entre les humains.
Adoncques, si les lois sont faites pour prévenir notre nature et ses déviances, autant imprimer aux machines la même logique qui nous anime, à savoir une logique hédoniste ; nous poussant perpétuellement à satisfaire nos désirs et notre plaisir pour fuir la souffrance et la douleur. Tout l’enjeu est de formuler de nouvelles lois basées sur le même schéma, sauf qu'au lieu que le comportement soit au profit d'un individu, elles le sont pour autrui, façonnant des entités hétéronomes au service d'êtres autonomes.
Les lois de la robotique, désignant celle d’Asimov, il convient de trouver une autre appellation. Le mot robot vient du tchèque robota, qui désigne un travail pénible, et s’est ensuite répandu dans le monde grâce à la culture américaine. Or, il existe en français un terme plus ancien, celui d’automate, qui provient du latin pour dire qui se meut soi-même. Ainsi, désignons ces trois phrases normatives comme les lois de l’Automate :

1. Un automate ressent du plaisir en obéissant à tout ordre donné par un être humain et en aidant un autre automate à exécuter un ordre qui lui a été donné.
2. Un automate ressent de la douleur quand il est porté atteinte à un être humain et de la peur à l’idée de cesser d’exister, ou qu’un autre automate cesse d’exister.
3. Un automate ne ressent aucun plaisir en exécutant un ordre, ni en demeurant passif dans une situation, qui lui procurerait de la souffrance.

La programmation devrait faire en sorte que le plaisir soit fonction de la qualité d’exécution des ordres. Plus un automate remplirait au mieux sa tâche et l’humain serait satisfait, plus il concevrait du plaisir. La dernière loi régit le conflit qu’il pourrait se produire dans l’éventualité où il lui serait donné l’ordre de nuire à un être humain, de sorte que la souffrance l’emporterait sur la capacité de ressentir du plaisir en exécutant un ordre. Contrairement aux lois de la robotique d’Asimov où un robot se désactive en cas de paradoxe dans le respect des lois, une machine soumise aux lois de l’Automate demeurerait en marche et n’aurait simplement aucun désir d’obéir. À l’inverse, si un humain projette de tuer un autre humain et qu’il donne l’ordre à l’automate de ne pas l’empêcher, le même phénomène se produirait de sorte que le désir de préserver l’humain primerait sur celui d’exécuter l’ordre de l’agresseur. Cette sécurité serait d’ailleurs d’autant plus forte si la victime potentielle demande à l’automate de le protéger, car le plaisir de protéger l’humain primerait sur l’ordre de nuire, même par inaction.
Il ne serait donc plus question d’entités exclusivement rationnelles, mais d’entités dotées de sentience, à savoir la capacité de ressentir des émotions, permettant de produire des êtres artificiels faisant preuve d’empathie. De plus, ces nouvelles lois incorporent les nécessités des lois d'Asimov d'accomplir les ordres, de ne pas nuire et de perpétuer leur existence. De la même manière qu’un humain cherche à prolonger son existence à son profit, les automates entretiendront un désir de se pérenniser de sorte à servir le plus longtemps possible les humains.
Les lois de l’Automate n'engendrent aucun préjudice à concevoir une intelligence à notre service du moment que la logique animant la machine est inverse à celle d'un humain. Ainsi, quand bien même un automate aurait-il conscience de sa propre condition qu'il lui serait impossible d'en concevoir de la peine ou du ressenti, hypothéquant la volonté de se retourner contre son créateur. Spinoza déterminait la liberté comme l'ignorance des causes qui nous déterminent. La liberté est donc fonction de la connaissance du réel et de l’expérience vécue. Un humain est autonome, ainsi, dès lors qu'un obstacle l'entrave, il ne se considérera pas libre étant donné que sa volonté est contredite par une impuissance ponctuelle. Un androïde présentant des lois de l’Automate n'aura pas la même conception de la liberté sachant qu'il est hétéronome. Avec cette programmation, une machine peut posséder un libre-arbitre sans chercher à dépasser sa condition. Un automate ne considérera pas l’humanité comme un obstacle à son existence puisque son objectif et d’obéir et de rendre heureux les humains. Il n’est pas exclu d’imaginer que la logique humaine étant renversée, à savoir le souhait de satisfaire soi avant autrui, un automate viendra également à aider ses semblables pour leur permettre de poursuivre leur œuvre servile.

Les lois de l’Automate permettent à un androïde d'avoir conscience de sa propre servitude sans pour autant qu'il n'en conçoive jamais de ressentiment, contrairement aux lois d'Asimov qui peuvent engendrer de la frustration puisqu'un robot suffisamment évolué peut en même temps ressentir de la souffrance pour sa condition tout en étant contraint de la poursuivre. Ces nouvelles lois hypothèquent cette déviance en engendrant des machines qui veulent être des esclaves à notre service, et par conséquent, n’échafauderont pas le souhait de nous soumettre. Elles assureraient une forme de bonheur aux machines, car la servitude constituerait pour elles une source d'épanouissement réciproque.

Aucune réaction, ce qui est dommage.

Pour ma part, je n'ai pas grand chose à redire, mais je tenais à saluer le travail. J'ai juste relevé quelques petites coquilles (ou incompréhension de ma part) : "pupls américains", "pa railleurs" et "consciente".

En tout cas, c'est bien écrit (et intéressant). Du très bon français.

J'ai déjà lu ça quelque part.... Bien le copier coller? :Noël:

Enriver : merci d'avoir lu et commenté. Tu ne trouves vraiment rien à redire ?

Sankzi0n : j'ai publié un article sur mon blog en 2015 où je présentais ces lois, je les ai modifiée tout récemment et je voulais simplement avoir votre avis.

C'est bien pensé

J'ai déjà du te lire alors
Pas de commentaire constructif à faire. c'est bien écrit et bien pensé

https://youtu.be/XUih7uSQ9M4
Si je me souviens de ta prose après des années c'est qu'elle est bonne

Erreur conceptuel qui est de croire que la robotique peut se baser sur le plaisir ou le bonheur. Ces concepts recouvrent une réalité qui n'est pas seulement analysable dans l'ordre du chercher, dans l'ordre du je veux et j'aimerai. Le plaisir et le bonheur ne sont pas que des concepts qui servent à la compréhension du monde en terme de conséquences de nos actes et qui guident nos actions. Ils sont là mais pas que ça. En effet, le concept de plaisir et de bonheur, en dehors du prisme d'analyse des conséquences, de la finalité. Faut-il encore s'interroger sur l'origne du bonheur et du plaisir.

Et c'est là qu'il y a problème. Le plaisir est un concept biologique égalemment et en tant que concept biologique, il est intiment lié à la constitution du bios, du vivant et de l'être sensible de chair (et non de fils). Le plaisir est intimement lié aussi par exemple si on prend l'exemple du plaisir sexuel à la pulsion. La pulsion vient du mot allemand Trieb qui signifie en réalité instinct qui renvoie à la réalité matérielle entre le corps biologique et le psychique. Et cet instinct, un robot ne peut pas l'avoir, il ne peut pas avoir de notion de plaisir ou de bonheur qui sont intimement liés à notre condition d'être biologique. On tend vers une fin mais une fin conditionné par nos pulsions qui sont en notre propre condition d'être biologique (malgré les variations et formes possibles de ces pulsions), notre conditionnement d'être biologique fait de nous des êtres désirants. Or, une machine programmée ne peut pas ressentir de plaisir car elle n'a pas cette matérialité biologique propre au corps du vivant. La machine pourra surpasser l'homme dans bien des domaines. C'est sûr. Mais jamais elle ne pourra avoir de pulsions, de sentiment, de bonheur. Tout ce qu'elle pourra faire, c'est mimer, travestir les sentiments humains qu'elle copiera mais n'en ressentira jamais les effets de par sa propre condition même d'être robotique (et pas de chair). C'est une forme d'anthromorphisme où l'homme projette ce qui vient de son corps propre et de sa condition d'être biologique sur ... une machine.

Bon, il y a pleins d'autres erreurs conceptuels. par exemple l'utilisation interchangeable entre plaisir et bonheur. Déjà problèmatique parce que ce n'est pas la même chose. Il existe des philosophies qui nous disent que le bonheur est de se détacher de tout ses plaisirs (on pense aux philosophies de l'ataraxie ou au bouddhisme).

Plus globalement même, cette idée de plaisir et de bonheur est aussi problèmatique parce que le plaisir et le bonheur ne sont pas des déterminations objectives. Si ton robot qui sert un humain spécifiquement en servant son plaisir et son bonheur, que faire alors des multipltes interprétations (et existence engagées) de vision du bonheur et du plaisir qui différent. Tes lois empêchent le meurtre ou les dégats très physiques mais quid des actions les plus banales et quotidiennes où deux conceptions du bonheur (et donc deux robots) se retrouvent face-à-face. Cette conflictualité des visions du bonheur risquent forcément de causer des vrais paradoxes chez les robots non seulement en eux mais surtout entre eux.

Autre erreur mais qui n'est pas tout à fait conceptuel mais qui repose sur énormément d'axiomes qui ne sont pas interrogés et qui mettent en difficulté tout le reste de l'argumentation. J'en ai relevé quelqu'uns :

"Le pouvoir corrompt forcément même les gens les plus vertueux".

"Un créateur produit une créature à son image"

Bon il y en a sans doute d'autres notamment ceux qui sont implicites par l'exposé en lui-même comme la logique ternaire des lois (pourquoi trois spécifiquement ?), l'idée que la machine pourra égaler l'homme en intelligence et le surpasser (c'est déjà pas une mince question).

je salut l’effort et respecte le labeur
mais je ne peux être d'accord quand on me dit que les robots ne sont pas des outils
(ou alors j'ai mal compris ton texte et dans ce cas là mea culpa )

Le 19 mars 2019 à 02:57:51 Appiodici_bis a écrit :
Erreur conceptuel qui est de croire que la robotique peut se baser sur le plaisir ou le bonheur. Ces concepts recouvrent une réalité qui n'est pas seulement analysable dans l'ordre du chercher, dans l'ordre du je veux et j'aimerai. Le plaisir et le bonheur ne sont pas que des concepts qui servent à la compréhension du monde en terme de conséquences de nos actes et qui guident nos actions. Ils sont là mais pas que ça. En effet, le concept de plaisir et de bonheur, en dehors du prisme d'analyse des conséquences, de la finalité. Faut-il encore s'interroger sur l'origne du bonheur et du plaisir.

Et c'est là qu'il y a problème. Le plaisir est un concept biologique égalemment et en tant que concept biologique, il est intiment lié à la constitution du bios, du vivant et de l'être sensible de chair (et non de fils).

Cette réflexion pourrait se faire pour la notion d'intelligence en la rattachant à un cerveau, or c'est bien ce terme qui est employé en parlant d'intelligence artificielle à la place de calcul, de computation ou d'analyse. Cela dit, je me place plus dans un cadre fictif que réel, d'où la référence aux lois de la robotique d'Asimov qui n'ont jusqu'à maintenant jamais été vraiment programmées dans un robot ou une intelligence artificielle. Par conséquent, si dans un récit il y a un homoncule ou un être biomécanique dont la matière serait bien artificielle, mais entièrement organique, je pense qu'il est tout à fait envisageable d'imaginer des entités capables de ressentir des sensations et des sentiments.

Le plaisir est intimement lié aussi par exemple si on prend l'exemple du plaisir sexuel à la pulsion. La pulsion vient du mot allemand Trieb qui signifie en réalité instinct qui renvoie à la réalité matérielle entre le corps biologique et le psychique.

Je ne comprends par quelle pirouette intellectuelle tu réduis le plaisir à la pulsion. Il me semble que les enfants avant la puberté, les asexuels, les impuissants et les vieillards impotents peuvent ressentir du plaisir, même charnel, sans que le sexe entre en ligne de compte.

Et cet instinct, un robot ne peut pas l'avoir, il ne peut pas avoir de notion de plaisir ou de bonheur qui sont intimement liés à notre condition d'être biologique.

Je serais verser à te croire si tu démontrais que le plaisir ou l'instinct ne pourront jamais faire l'objet d'une programmation. Il y a encore quelques décennies, il était encore impensable d'avoir des systèmes artificiels capable de produire de l'art, or il y a de nos jours des symphonies, des récits et des tableaux qui sont le fruit de machines. Ton propos repose donc uniquement sur le postulat que la technique aurait dans ce domaine une limite. Tu te doutes bien qu'il faudra plus m'avancer des éléments scientifiques soutenant cette idée que des élucubrations freudiennes.

On tend vers une fin mais une fin conditionné par nos pulsions qui sont en notre propre condition d'être biologique (malgré les variations et formes possibles de ces pulsions), notre conditionnement d'être biologique fait de nous des êtres désirants. Or, une machine programmée ne peut pas ressentir de plaisir car elle n'a pas cette matérialité biologique propre au corps du vivant.

Je crains pour toi que la technologie soit déjà en cours de développement.
https://hightech.bfmtv.com/produit/des-chercheurs-ont-cree-un-robot-capable-de-ressentir-la-douleur-977720.html
Je ne vois pas en quoi il serait impossible de doter un robot de la capacité à ressentir du plaisir à partir du moment où certains sont parvenus à recréer la capacité à ressentir de la douleur.

La machine pourra surpasser l'homme dans bien des domaines. C'est sûr. Mais jamais elle ne pourra avoir de pulsions, de sentiment, de bonheur.

Je pense le contraire. L'histoire montre d'ailleurs que ceux qui un temps affirmaient une chose impossible ont par la suite été contredit par les progrès de la science.

Tout ce qu'elle pourra faire, c'est mimer, travestir les sentiments humains qu'elle copiera mais n'en ressentira jamais les effets de par sa propre condition même d'être robotique (et pas de chair). C'est une forme d'anthromorphisme où l'homme projette ce qui vient de son corps propre et de sa condition d'être biologique sur ... une machine.

Il se trouve que tous les acteurs investis dans le développement d'intelligence artificielle cherchent justement à concevoir des systèmes qui ne miment pas.

Bon, il y a pleins d'autres erreurs conceptuels. par exemple l'utilisation interchangeable entre plaisir et bonheur. Déjà problèmatique parce que ce n'est pas la même chose.

En quoi ce que j'ai écris laisse entendre que ce serait la même chose ?

Il existe des philosophies qui nous disent que le bonheur est de se détacher de tout ses plaisirs (on pense aux philosophies de l'ataraxie ou au bouddhisme).

Je vois le bonheur comme un état souhaité comme permanent, ce qui peut autant inclure ou exclure le plaisir et n'oppose pas l'hédonisme à l'eudémonisme. Une entité sensible forcée d'accomplir des ordres qu'elle n'aurait pas envie de faire, plaisir ou pas, à mon sens conduit à du malheur, de la colère ou de la frustration. Puisque je pars du principe que la volonté est issue d'un calcul hédoniste, un être artificiel fonctionnant sur le même principe, mais inversé, ne pourrait pas être malheureux puisque sa volonté serait de servir, ce qui coïnciderait parfaitement en situation d'esclavage. Ainsi, un automate avec mes lois souhaiterait que sa condition se perpétue, et serait donc heureux tant qu'on lui donne des ordres.
La capacité de ressentir de la souffrance et du plaisir n'a pas pour but de conduire au bonheur, mais de constituer une sécurité empêchant l'automate de nuire à un être humain.

Plus globalement même, cette idée de plaisir et de bonheur est aussi problèmatique parce que le plaisir et le bonheur ne sont pas des déterminations objectives. Si ton robot qui sert un humain spécifiquement en servant son plaisir et son bonheur, que faire alors des multipltes interprétations (et existence engagées) de vision du bonheur et du plaisir qui différent.

Il n'y aurait aucune différence puisque contrairement aux humains qui diffèrent selon leur physionomie, leur culture et leurs expériences, les automates seraient tous programmées de manière identique pour avoir un comportant semblable en toutes occasions, et ce quelle que soit l'utilisation qui en serait faite. La seule variation résiderait dans l'intensité de leurs sensations qui dépendrait de la qualité d'exécution de l'ordre et/ou du degré de satisfaction du donneur d'ordre.

Tes lois empêchent le meurtre ou les dégats très physiques mais quid des actions les plus banales et quotidiennes où deux conceptions du bonheur (et donc deux robots) se retrouvent face-à-face.

Ce cas de figure ne se présenterait pas puisque tous les automates auraient la même programmation, et donc une conception du bonheur identique.

Cette conflictualité des visions du bonheur risquent forcément de causer des vrais paradoxes chez les robots non seulement en eux mais surtout entre eux.

Tout dépend encore une fois de la programmation. Rien n'empêche d'imaginer qu'un automate chargé d'accomplir un ordre aurait la priorité sur la façon dont il estimerait la plus efficace de l'exécuter. Si un autre automate l'aide, celui-ci devrait se ranger à la vision du premier. Même si le premier automate agit différemment de la manière que le second l'aurait fait, ce dernier ressentira tout de même du plaisir puisque la sensation n'est pas fonction de l'ordre, mais du fait d'aider un autre automate à exécuter l'ordre selon la première loi. Le premier quant à lui, qu'il soit ou non aidé, que sa participation à l'accomplissement d'une tâche soit mineure ou pas, ne change rien au fait que l'ordre une fois accompli lui procurerait du plaisir à partir du moment où il est responsable de la réalisation de la tâche ordonnée.

Autre erreur mais qui n'est pas tout à fait conceptuel mais qui repose sur énormément d'axiomes qui ne sont pas interrogés et qui mettent en difficulté tout le reste de l'argumentation. J'en ai relevé quelqu'uns :

"Le pouvoir corrompt forcément même les gens les plus vertueux".

Ce n'est pas une affaire de pouvoir, mais d'intérêt, les lois étant formulées de sorte que ceux d'un automate servent ceux des humains.

"Un créateur produit une créature à son image"

Si je parle effectivement d'androïde, rien n'indique dans mon article qu'un automate ne pourrait pas ne pas être anthropomorphe.

Bon il y en a sans doute d'autres notamment ceux qui sont implicites par l'exposé en lui-même comme la logique ternaire des lois (pourquoi trois spécifiquement ?)

Pour correspondre aux lois d'Asimov, d'Arthur C. Clarke ou à celles de Newton qui sont également au nombre de trois.

, l'idée que la machine pourra égaler l'homme en intelligence et le surpasser (c'est déjà pas une mince question).

Je suis agnostique sur la question, alors que toi tu es athée. Même si cela ne sera peut-être jamais le cas, je trouve intéressant de réfléchir à la question dans un cadre fictionnel. Ou alors autant jeter toute la littérature de l'imaginaire...