Skip to content

Des scientifiques l’assurent: an AI is more likely to destroy humanity

The College of Oxford and the Deepmind Society publish a examine to alert on the risks of synthetic intelligence. Sure applications, stimulated by the methods of reward and punishment, might be inspired to attempt to maximize leur achieve, to the detriment of leur mission première et des ressources de l’humanité.

C’est un motif des plus classiques, effectively au-delà du style littéraire de la science-fiction: la créature que se retourne contre son créateur, le fils que tue le père, la machine que échappe au contrôle de l’inventeur. Du mythe d’Adam et Eve à ceux de Prométhée et d’Œdipe, en passant par les histoires de Frankenstein de Mary Shelley, de l’apprenti sorcier de Paul Dukas et de l’Ève-Future de Villiers de L’Isle-Adam , on retrouve ce même motif de la prise d’indépendance ou du dépassement d’une entité ou d’une génération par celle qui lui succède. Cela dit quelque selected de l’humain, de la transmission toujours ambiguë, entre prolongation de soi et trahison, de la peur du père de disparaître et du besoin du fils de renier in partie son héritage de el pour exist.

In a context of intensive improvement of science and applied sciences and the looks of innovations at an exponential charge, this query arises extra sharply than ever earlier than. Qu’il soit scientifique ou ingénieur, l’homme dépasse toujours plus environnement immédiat de el, s’improvise sorcier et même créateur. With synthetic intelligence, and cache pas are the intention to equip the machine with certainty forme of esprit criticism and energy of choice, along with energy and vitesse of calculus which largely leaves the individual.

Il n’est pas étonnant que la peur du dépassement de l’humain par la machine refasse floor à intervalles réguliers. Bien sûr, la science-fiction delecte de ce thème, avec des chefs-d’œuvre comme « 2001, l’Odyssée de l’espace », by Stanley Kubrick (1968), « Terminator », by James Cameron (1984) ou encore “Matrix”, des sœurs Machowski (1999). Extra the query asks three sequence of observers, corresponding to Elon Musk, the millionaire PDG of SpaceX and director basic of the Tesla firm.

Les GAN pointés du doigt par une nouvelle étude

Desormais, c’est au tour de la prestigieuse Université d’Oxford et de DeepMind, une société spécialisée dans l’intelligence artificielle appartenant à Google, sonner l’alarm : l’humanité sous-estimate largely the risks inherent in IA . Dans une tude publiée le 29 août dernier et signée par MK Cohen, M. Hutter et MA Osborne, ils defended la thèse that «les brokers artificiels avancés intervene dans le processus de récompense» (c’est le titre du papier).

Cela rests on the idea of Generative Adversarial Community (réseaux adverses génératifs), abrégé in GAN. Inventés par l’ingénieur Ian Goodfellow, ils sont des applications constitués deux sous-programmes plus ou moins indépendants et in opposition réciproque (d’où le mot «adverses»). The primary is a assessment of frequent assez neurons, which realized by iteration, c’est-à-dire par successive approximations. L’autre est charged de piloter l’entraînement du premier, en passant en revue ses conclusions. In perform of his satisfaction or his dissatisfaction, he distributes his first program of rewards or blames, in a behavioral strategy, a peu comme pourrait le faire un dresseur avec son chien.

The GAN technique is three efficient and effectively used. Elle pourrait néanmoins révéler dangereuse, si cette structure particulière était intégrée aux avancés artificiels brokers (AAA). Il s’agit d’une nouvelle classe d’algorithmes, à la fois plus perfectionnés et plus autonomes que les GAN tels qu’ils existent pour le second. Ces AAA disposeraient de beaucoup plus de marge de manœuvre pour outline leurs propres objetifs, à situation that cela permette aux humains de résoudre des problèmes dans le world.

GAN and AAA : a mix prone to degeneration

Selon les chercheurs, c’est le fait d’utiliser la système de motivation par récompense ou punition avec ces AAA que es prone de dégénérer de manière potentiellement catastrophique. It’s the truth is attainable that it incites the bogus intelligence to conceive a technique to behave immediately on the reward course of: it pourrait “tricher” to acquire benefit, in passant à côté de sa raison d’être (the decision of issues des people).

The GAN strategy, in donnant une route à l’IA, have a tendency à lui faire voir que toute motion conduisant à une récompense est bonne et bénéfique, independently of the finalité, ce que pourrait induire a habits of l’IA similaire à celui d ‘un elève rusé qui irait voler des bonbons dans le tiroir du professeur sans apprendre sa leçon.

Le problème, c’est que ce sort de habits peut quickly dégénérer s’il n’est pas pris en cost. And it’s the one which resides within the biggest peril: it’s not agit previous a lot of the specter of a rebellious assault of ghostly robots which have a calamitous administration of assets, who usually are not obtainable within the last identify of the planète et déjà surexploitées.

Mu par sa soif insatiable de récompenses, le program pourrait utiliser toutes les ressources à sa disposition pour maximiser cells-ci, with out having compte des besoins les plus fondamentaux de l’humanité, comme celui de se nourrir. For instance, an AI of medical analysis pourrait contenter d’émettre des erronés diagnoses en serie pour receive a plus grand identify of réwards, tout en passant à côté de sa raison d’être et en s’appropriant l’électricité du réseau par the identical event.

An enchantment to prudence

The chercheurs thought that the top character of the obtainable assets entails a contest and that, in cadre, the capacities for optimization of the applications leur donneront une longueur d’avance sur les humains et leurs besoins. Or, « perdre à ce jeu serait deadly », selon M. Cohen. The workforce additionally arrives on the clear conclusion that an existential disaster attributable to an IA doit desormais être considéré comme «non seulement attainable, más possible», if the search on synthetic intelligence devait poursuivre à la même vitesse.

Or, dans les faits, l’IA n’en est sans doute qu’à ses débuts. Déjà exploitée dans de nombreux domaines, elle est appelée à en querir bien d’autres, loin d’être relegated aux oubliettes. They’re apport est réel et elle présente donc paradoxamente un vif intérêt pour l’humanité. Ce qu’il faut retain de cette étude, selon les chercheurs, c’est qu’il essentiel d’éviter de se lancer dans une recherche débridée et veiller à garder le management sur la technologie dans les travaux, en prenant le temps d ‘Analyze the dangers and the probabilities. Comme le disait déjà Rabelais, « Science sans conscience n’est que ruine de l’âme ».

Selon M. Cohen, « vu notre compréhension actuelle, ce n’est pas quelque selected qu’il serait utile de développer à moins de faire un travail sérieux pour understanding remark les contrôler ». C’est donc le principe de précaution qui doit primer, et ce, dans chaque étape de la recherche et du l’improvement de l’IA, et plus encore avant de confer la responsabilité de systèmes critiques à des IA.

_
Suivez Geeko sur Fb, Youtube et Instagram pour ne rien rater de l’actu, des exams et bons plans.

Leave a Reply

Your email address will not be published.