Résumé

Le débat sur les armes totalement autonomes n’a cessé de s’intensifier depuis que la question a pris une ampleur internationale il y a quatre ans.[1] Des avocats, éthiciens, militaires, défenseurs des droits humains, scientifiques et diplomates ont débattu dans divers contextes pour savoir si des armes qui choisiraient et attaqueraient des cibles, sans qu’un contrôle humain significatif soit exercé sur les attaques individuelles, étaient légales et souhaitables. Alors que la technologie militaire se dirige vers une autonomie toujours plus grande, des opinions divergentes persistent, mais on assiste à une montée de l’inquiétude face à la façon dont ces armes pourraient révolutionner la guerre telle qu’on la connaît. Ce rapport veut éclairer et faire progresser ce débat en analysant plus en profondeur les dangers des armes totalement autonomes et en plaidant pour une interdiction préventive.

En décembre 2016, les États parties à la Convention sur certaines armes classiques (CCAC) se réuniront à Genève pour la Cinquième conférence d’examen de ce traité. Ils décideront de futures mesures contre les « systèmes d’armes létaux autonomes » (SALA), terme par lequel ils désignent ces armes. Poussés à agir par les efforts de la Campagne contre les robots tueurs, les États parties à la CCAC ont tenu depuis 2014 trois réunions d’experts informelles sur les SALA. Lors de la Conférence d’examen, les États parties devraient se mettre d’accord pour établir un Groupe d’experts gouvernementaux. La formation de cet organe formel obligerait les États à dépasser le stade des discussions et ferait naître l’attente d’un aboutissement. Celui-ci devrait prendre la forme d’une interdiction juridiquement contraignante des armes totalement autonomes.

Afin de rallier des soutiens en faveur de l’interdiction, ce rapport répond aux critiques qui défendent cette technologie en voie de développement et remettent en cause l’appel à l’interdiction préventive. Identifiant 16 critiques clés, le rapport réfute chacune de façon détaillée. Il repose sur une étude approfondie des arguments de tous bords. En particulier, il examine les publications universitaires, les déclarations de diplomates, les enquêtes publiques, les rapports de l’ONU et le droit international. 

Le rapport constitue l’actualisation d’un article de mai 2014 intitulé « Advancing the Debate on Killer Robots » (« Faire avancer le débat sur les robots tueurs »), l’élargissant pour couvrir de nouvelles questions qui ont émergé ces deux dernières années.[2] Le rapport en profite pour éclairer les principales menaces que représentent les armes totalement autonomes et explique les avantages et la faisabilité d’une interdiction.

Le premier chapitre de ce rapport se penche sur les dangers qu’engendrent les armes totalement autonomes, du point de vue juridique et non juridique. Ces armes auraient beaucoup de mal à respecter le droit international humanitaire et relatif aux droits humains, et créeraient une lacune du point de vue de la responsabilité. En outre, la perspective que des armes puissent prendre des décisions « de vie ou de mort » suscite l’indignation du point de vue moral. Même les avantages militaires attendus de ces armes pourraient engendrer des risques injustifiables.

Le second chapitre plaide pour une interdiction préventive de la conception, de la production et de l’utilisation des armes totalement autonomes. Sur les nombreuses alternatives proposées, seule une interdiction absolue serait réellement à même de répondre à toutes les préoccupations exposées dans le premier chapitre. Cette interdiction devrait être adoptée le plus tôt possible, avant que cette technologie révolutionnaire et dangereuse ne fasse son entrée dans les arsenaux. Les précédents issus des négociations et des instruments de désarmement passés démontrent que l’interdiction est réalisable et qu’elle serait efficace.

Recommandations

À la lumière des dangers que constituent les armes totalement autonomes et de l’impossibilité de les contrer autrement que par une interdiction, Human Rights Watch et l’International Human Rights Clinic (IHRC) de la faculté de droit de Harvard appellent les États à :

• Adopter un instrument international et juridiquement contraignant qui interdit la conception, la production et l’utilisation d’armes totalement autonomes ;
• Adopter des lois ou politiques nationales qui instaurent l’interdiction de la conception, de la production et de l’utilisation d’armes totalement autonomes ;
• Engager des discussions formelles sous les auspices de la CCAC, en commençant par la formation d’un Groupe d’experts gouvernementaux, afin de discuter des paramètres d’un éventuel protocole, avec l’objectif ultime d’adopter une interdiction.

 

I. Les dangers des armes totalement autonomes

Les armes totalement autonomes soulèvent de nombreuses inquiétudes. Elles auraient du mal à respecter le droit international et leur capacité à agir de façon autonome interfèrerait avec la responsabilité légale. Non seulement de telles armes franchiraient un seuil moral, mais les risques humanitaires et sécuritaires engendrés l’emporteraient sur les éventuels bénéfices militaires. Les critiques qui ne prennent pas ces problèmes au sérieux se fondent sur des arguments spéculatifs portant sur l’avenir de la technologie et notamment sur la présomption erronée selon laquelle l’évolution technologique permettra de résoudre tous les dangers qu’impliquent ces armes.

Dangers du point de vue juridique

Assertion n°1 : Les armes totalement autonomes pourront sans doute un jour respecter le droit international humanitaire, notamment les principes clés de distinction et de proportionnalité.

Réfutation : La difficulté de programmer les machines pour leur conférer les attributs humains que sont la raison et la faculté de jugement montre bien que les armes totalement autonomes seront certainement incapables de respecter de façon fiable le droit international humanitaire.

Analyse : Certains arguments adverses soutiennent que les armes totalement autonomes pourraient respecter les principes clés de distinction et de proportionnalité, à un moment donné dans l’avenir. Leur argument est que les partisans de l’interdiction « oublient de prendre en compte les évolutions probables de la technologie des systèmes d’armes autonomes ».[3] D’après ces détracteurs, non seulement la technologie militaire « s’est perfectionnée bien au-delà de la simple capacité à repérer un individu ou un objet », mais selon toute probabilité, les progrès de l’intelligence artificielle se poursuivront aussi.[4] Par conséquent, tout en reconnaissant l’existence de « questions non résolues » et de « problèmes considérables »,[5] les critiques se contentent de la conviction que des solutions sont « théoriquement réalisables ».[6] Toutefois, il est peu judicieux de poursuivre en se fondant uniquement sur la supposition que de telles armes pourraient un jour se conformer aux exigences du droit international humanitaire, à savoir les critères de distinction et de proportionnalité.

Difficultés rencontrées pour le critère de distinction

Pour les armes totalement autonomes, il serait extrêmement difficile, sinon impossible, de distinguer de façon fiable les cibles légales des cibles illégales, comme l’exige le droit international humanitaire.[7] S’il est probable que des progrès seront accomplis dans le développement des capacités de détection et de traitement de l’information, le fait de distinguer un combattant actif d'un civil ou d’un soldat blessé ou qui se rend va bien au-delà de ces aptitudes. En effet, la distinction dépend aussi de la capacité qualitative à juger de l’intention humaine, ce qui implique une interprétation du sens d’indices subtils comme le ton de la voix, les expressions du visage, le langage corporel, et ce dans un contexte bien précis. Les humains ont la capacité unique d’identifier d’autres êtres humains et ont donc des facultés qui les rendent aptes à comprendre les nuances de comportements imprévus, d’une façon dont les machines, qui doivent être programmées à l’avance, sont tout simplement incapables. La réplication du jugement humain exercé lors de la détermination de la distinction est un problème épineux – surtout sur les champs de bataille contemporains, où les combattants cherchent souvent à masquer leur identité. Il n’est pas crédible de simplement supposer qu’il pourra être résolu.

Obstacles dans la détermination de la proportionnalité

Les obstacles empêchant les armes totalement autonomes de respecter le principe de distinction seraient encore plus importants dans le cas du principe de proportionnalité, qui exige de trouver un équilibre délicat entre deux facteurs : les pertes civiles éventuelles et l’avantage militaire attendu. La détermination du critère de proportionnalité est réalisée non seulement en développant un plan de bataille global mais aussi pendant les opérations militaires réelles, lorsque des décisions doivent être prises sur le déroulement ou l’arrêt de n'importe quelle attaque donnée. Un détracteur conclut qu’« il ne fait aucune doute que les systèmes d’armes autonomes pourraient être programmés [...] pour déterminer la probabilité de pertes civiles dans la zone ciblée ».^[8] Tout en reconnaissant qu’« il est peu probable, dans un avenir proche, que [...] des ‘machines’ puissent être programmées pour évaluer de façon fiable l’avantage militaire probable d’une frappe », il soutient que « les algorithmes calculant l’avantage militaire pourraient en théorie être programmés de façon à devenir des systèmes d’armes autonomes ».^[9]

Il existe de nombreux motifs pour mettre chacune de ces conclusions en doute. Comme nous l’avons déjà abordé, il reste très discutable qu’une arme totalement autonome puisse jamais distinguer de façon fiable les cibles légitimes des illégitimes. Lorsqu’on évalue le critère de proportionnalité, ce n’est pas seulement la légitimité de la cible qui est en question, mais également les pertes civiles attendues – un calcul qui exige de déterminer le statut d’une attaque et son impact sur toutes les entités et objets entourant la cible.

Pour ce qui est de prédire l’avantage militaire attendu, même les critiques admettent que « cela sera très difficile [pour une machine] car les déterminations de l’avantage militaire sont toujours contextuelles ».^[10] L’avantage militaire doit être déterminé « au cas par cas », or un programmeur ne pourrait jamais prendre en compte à l’avance le nombre infini de circonstances imprévisibles qui peuvent survenir lors d’un déploiement militaire.^[11]

Même si les facteurs avantage militaire et pertes civiles attendues pouvaient être quantifiés correctement par une arme totalement autonome, elle resterait incapable de trouver un équilibre qualitatif entre les deux. Le critère généralement accepté pour évaluer la proportionnalité est de savoir si un « commandant militaire raisonnable » aurait lancé une attaque donnée.^[12] Pour évaluer la proportionnalité d’une attaque par une arme totalement autonome, la question pertinente serait donc de savoir si le système d’armes a effectué une détermination de cible raisonnable au moment de la frappe.

Même si certains détracteurs se concentrent sur l’action du commandant humain en amont de l’attaque,^[13] la proportionnalité de n’importe quelle attaque donnée dépend des circonstances du moment de l’attaque, et non pas du moment où une arme est conçue ou déployée. Un commandant soupesant les éléments de proportionnalité devrait se fier aux prédictions du programmeur et du fabricant sur la façon dont fonctionnera l’arme totalement autonome lors d’une attaque future. Quelles que soient les précautions qui ont été prises, un programmeur ou un fabricant a peu de chances d’anticiper précisément les réactions d’une machine face aux conditions changeantes et imprévisibles de chaque scénario possible. La décision de déployer une arme totalement autonome n’équivaut pas à la décision d’attaquer. Au moment de déterminer les attaques, une telle arme n’échapperait pas seulement au contrôle d’un humain exerçant son propre jugement, mais serait incapable d’exercer par elle-même une véritable faculté humaine de jugement (voir Assertion n°12).

Il serait difficile de créer des machines capables de satisfaire le critère du commandement militaire raisonnable. On ne peut pas s’attendre à ce qu’elles agissent de façon « raisonnable » au moment de déterminer des attaques dans des circonstances imprévues ou changeantes. Selon l’Encyclopédie Max Planck du droit international, « [l]e concept de caractère raisonnable est fortement lié à la raison humaine » et il est « généralement perçu comme ouvrant la porte à plusieurs considérations d’ordre éthique ou moral, davantage que juridique ».^[14] Deux opposants au traité d’interdiction proposé notent que « [l]a proportionnalité [...] est d’une part une question technique, la conception de systèmes capables de mesurer les pertes civiles prévues, mais d’autre part c’est aussi une question éthique, la pondération des variables en jeu ».^[15] La plupart des gens auraient des objections contre l’idée que les machines pourraient ou devraient faire des déterminations éthiques ou morales (voir Assertion n°6). Pourtant c’est là précisément ce qu’exige le critère du commandement militaire raisonnable. En outre, le caractère raisonnable élude toute « définition objective » et dépend de la situation.[16]

Si les analyses de proportionnalité laissent une « marge de jugement assez importante »,^[17] le type de jugement qui est nécessaire lorsqu’on décide comment soupeser les pertes civiles et l’avantage militaire dans des situations non anticipées serait difficile à répliquer chez des machines.Comme l’a expliqué Christof Heyns dans son rapport de 2013, lorsqu’il était rapporteur spécial de l’ONU sur les exécutions extrajudiciaires, sommaires ou arbitraires, évaluer la proportionnalité nécessite « une faculté de jugement typiquement humaine ».^[18] D’après le Comité international de la Croix-Rouge (CICR), les jugements émis pour déterminer si une attaque donnée est proportionnée « doivent surtout être une question de sens commun et de bonne foi » – des qualités que, beaucoup en conviendront, les machines ne possèderont jamais, quelle que soit la façon de les programmer.^[19]

Même si les possibilités des technologies futures restent incertaines, il semble extrêmement improbable qu’elles puissent jamais répliquer l’ensemble des attributs propres aux humains nécessaires pour respecter les règles de distinction et de proportionnalité. L’adhésion au droit international humanitaire exige d’appliquer qualitativement son jugement à ce qu’un scientifique décrit comme « une combinaison presque illimitée de contingences »[20] Certains experts « se demandent si l’intelligence artificielle, qui a toujours semblé être à notre portée dans quelques années à peine, sera réellement suffisamment efficace un jour ».[21]

Assertion n°2 : L’utilisation d’armes totalement autonomes pourrait être limitée aux situations spécifiques où ces armes pourraient se conformer au droit international humanitaire.

Réfutation : Les hypothèses envisageant que les armes totalement autonomes puissent être utilisés légalement dans des cas restreints ne peuvent pas légitimer ces armes, puisqu’elles seraient, selon toute probabilité, utilisées plus largement.

Analyse : Certains détracteurs, écartant les problèmes juridiques posés par les armes totalement autonomes, soutiennent que leur utilisation pourrait être restreinte à des situations spécifiques où elles pourraient se conformer au droit international humanitaire. Ces critiques soulignent qu’il y aurait une grande utilité militaire, et un faible risque pour les civils, si on utilisait ces armes dans le désert, pour attaquer des cibles militaires isolées,[22] dans des opérations subaquatiques grâce à des sous-marins robotisés,[23] dans l’espace aérien pour intercepter des roquettes[24] et pour des frappes contre « des lanceurs mobiles de missiles à ogives nucléaires, lorsque des millions de vie seraient en jeu ».^[25] Mais ces arguments adverses sous-estiment la menace qui pèsera sur les civils une fois que les armes totalement autonomes apparaîtront dans les arsenaux militaires. 

Rien de plus facile que de décrire une situation hypothétique où l’usage d’une arme largement critiquée pourrait peut-être respecter les règles générales du droit international humanitaire. Avant l’adoption de la Convention sur les armes à sous-munitions, les partisans des armes à sous-munitions soutenaient souvent que les armes pourraient être lancées seulement sur une cible militaire, dans un désert dont toute autre population serait absente. En fait, une fois que les armes sont produites et stockées, leur utilisation se limite rarement à ce genre de scénarios restrictifs. L’usage généralisé des armes à sous-munitions dans des zones peuplées, comme en Irak en 2003 et au Liban en 2006, illustrent bien la réalité de ce problème.[26] De telles possibilités théoriques ne sauraient donc légitimer les armes qui présentent des risques humanitaires significatifs lorsqu’elles sont utilisées dans des situations moins exceptionnelles – c’est le cas notamment des armes totalement autonomes.

Assertion n°3 : Les préoccupations soulevées par le fait que personne ne pourrait être tenu responsable des attaques effectuées par les armes totalement autonomes sont d’importance limitée ou pourraient être réglées par le droit existant.

Réfutation : Des obstacles juridiques et pratiques insurmontables empêcheraient de tenir qui que ce soit responsable des préjudices illégaux causés par les armes totalement autonomes.

Analyse : D’après certains détracteurs, la question de la responsabilité des actions des armes totalement autonomes ne devrait tout simplement pas faire partie du débat sur ces armes. Ce serait une erreur de « sacrifier les bénéfices réels apportés par les systèmes de machines, à savoir la réduction des pertes sur le terrain de bataille [...], juste pour satisfaire un principe posé a priori, selon lequel il doit toujours y avoir un être humain qui pourra être tenu responsable ».^[27] D’autres détracteurs arguent que « le seul fait qu’un humain ne soit pas en position de contrôler un fait d’armes particulier ne signifie pas qu’aucun humain n’est responsable des actions du système d’arme autonome ».^[28] Pourtant, la responsabilisation représente bien davantage qu’un « principe posé a priori », pour citer les deux critiques. Les mécanismes existants de responsabilité légale sont mal adaptés, peu adéquats pour traiter les préjudices illégaux que les armes totalement autonomes ne manqueront pas de causer. Ces armes ont le potentiel de commettre des actes illégaux pour lesquels personne n’aura à rendre de comptes.[29]

La responsabilisation des criminels sert de multiples objectifs moraux, sociaux et politiques, en plus d’être une obligation légale. Du point de vue des actions politiques, elle dissuade les violations futures, favorise le respect de la loi et fournit aux victimes des voies de recours. Il s’agit de la justice rétributive, qui apporte aux victimes la satisfaction de savoir que quelqu’un a été puni pour le préjudice subi, et de la justice compensatoire, qui rétablit les victimes dans la condition où elles étaient avant que ce tort leur ait été infligé.^[30] Aussi bien le droit international humanitaire que le droit international relatif aux droits humains exigent que ceux qui violent la loi en rendent compte devant la justice.  Quant au droit international humanitaire, il établit le devoir de poursuivre les responsables d’actes criminels commis pendant les conflits armés.[31] Le droit international relatif aux droits humains établit le droit au recours pour toute atteinte aux droits humains (voir Assertion n°5). La valeur de cette responsabilisation est largement reconnue, y compris par les chercheurs et les États.[32] Malheureusement, les actions des armes totalement autonomes tomberaient dans une lacune de responsabilité.

Les armes totalement autonomes ne pourraient pas être tenues responsables de leurs propres actes illégaux. Tout crime repose sur deux éléments : un acte et un état psychique. Une arme totalement autonome serait capable de commettre un acte criminel (tel un des actes définis comme élément d’un crime de guerre), mais elle ne serait pas caractérisée par l’état psychique (l’intention, notamment) nécessaire pour faire de cette action un crime qu’on peut juger. En outre, une arme ne relèverait pas de la compétence des tribunaux internationaux, qui s’exerce seulement sur les personnes physiques.^[33] Même si cette compétence était étendue, les armes totalement autonomes ne pourraient pas être punies puisque ce sont des machines qui ne peuvent pas ressentir la souffrance ni saisir ce qu’elle signifie.^[34] La simple déprogrammation d’un robot « condamné », incapable d’intérioriser la culpabilité morale, ne satisferait pas les victimes, qui aspirent à ce que le coupable soit puni.[35]

Dans la plupart des cas, les êtres humains échapperaient à leur responsabilité pour les actes illégaux des armes totalement autonomes. En effet, on ne pourrait pas attribuer aux humains la responsabilité directe de ces actes injustifiés puisque les armes totalement autonomes, ayant par définition la capacité d’agir de façon autonome, pourraient, de façon indépendante et imprévisible, lancer une attaque à tort et à travers, contre des civils ou des personnes hors de combat. Dans ce genre de situations, la personne au poste de commandement ne serait pas directement responsable des actions spécifiques du robot puisqu’elle ne les aurait pas ordonnées. De même, un programmeur ou un fabricant ne pourrait pas être directement tenu responsable pénalement s’il n’avait pas spécifiquement eu l’intention, voire n’aurait pas pu prévoir, que le robot allait commettre des actes injustifiés. Ces personnes ne pourraient être considérés comme directement responsables des actions d’un robot que si elles l’avaient déployé avec l’intention de commettre un crime, comme le meurtre volontaire de civils, ou si elles avaient conçu le robot spécifiquement pour commettre des actes criminels. 

D’importants obstacles apparaîtraient pour identifier le commandant indirectement responsable des armes totalement autonomes, en vertu de la doctrine de la responsabilité du commandement. Selon cette doctrine juridique, les supérieurs sont responsables au cas où ils savaient, ou auraient dû savoir, qu’un subordonné a commis un crime, et ne l’ont pas prévenu ni puni. La nature autonome de ces robots, d’un certain point de vue, les rendrait juridiquement analogues à des soldats humains, donc la doctrine pourrait s’appliquer. Cependant la théorie de la responsabilité du commandement met la barre haut en matière de responsabilisation. Avec la responsabilité du commandement, il s’agit de prévenir un crime, pas un accident ou un défaut de conception. Or les robots ne seraient pas dotés de l’état psychique qui pourrait faire de leurs actes illégaux des crimes.

Indépendamment de la question de savoir si l’acte constituait un crime, étant donné que ces armes seraient conçues pour fonctionner de façon indépendante, un commandant n’aurait pas forcément des raisons de penser – ou les connaissances technologiques nécessaires – que le robot s’apprêtait à commettre un acte illégal donné. Même s’il était au courant de la possibilité d’un acte illégal, le commandant serait bien souvent incapable de le prévenir, par exemple si les communications étaient coupées, si le robot agissait trop rapidement pour être arrêté ou si la reprogrammation était trop ardue pour un non-spécialiste. De plus, comme nous l’avons déjà noté, il est impossible de punir un robot. Pour résumer, les armes totalement autonomes n’auraient pas leur place dans le modèle de responsabilité pénale conçu pour les êtres humains. Leur utilisation engendrerait un risque d’actes illégaux et de dommages civils considérables dont personne ne pourrait être tenu pénalement responsable.

Une alternative serait de rendre le programmeur ou le fabricant civilement responsable des actes non anticipés d’une arme totalement autonome. Les poursuites au civil peuvent être un moyen utile d’assurer aux victimes une compensation et un certain sentiment de justice, ainsi que de dissuader, dans une certaine mesure, même si elles n’ont pas la dimension de condamnation sociale attachée à la responsabilité pénale. Cependant il existe d’importants obstacles pratiques et juridiques qui empêchent de tenir pour responsable le programmeur ou le fabricant d’une arme totalement autonome.

Du point de vue pratique, la plupart des victimes auraient du mal à porter plainte contre un programmeur ou un fabricant parce que ce type de procès coûterait certainement très cher, serait très long et dépendrait de l’assistance d’experts capables de traiter les questions juridiques et techniques complexes qu’impliquent l’utilisation d’armes totalement autonomes.

Du point de vue juridique, les obstacles aux poursuites judiciaires civiles sont encore plus infranchissables. La doctrine de l’immunité souveraine empêche les États d’être poursuivis pour l’acquisition ou l’utilisation d’armement, particulièrement dans les situations de guerre à l’étranger.^[36] Par exemple, le gouvernement des États-Unis est supposé disposer de l’immunité face aux plaintes au civil.^[37] Du coup, les fabricants ayant un contrat avec l’armée américaine sont à l’abri des poursuites s’ils ont conçu une arme conforme au cahier des charges fourni par le gouvernement et s’ils n’ont pas délibérément induit l’armée en erreur. Ces fabricants sont également protégés des plaintes civiles liées aux actes commis en temps de guerre. Même si ces règles n’existaient pas, un plaignant aurait du mal à établir en droit qu’une arme totalement autonome était défectueuse en vue d’un procès sur la responsabilité relative au produit.^[38]

Quant au régime d’indemnisation « sans faute », il ne résoudrait pas la lacune en matière de responsabilité. Dans un tel régime, seule une preuve du préjudice est requise, et non pas une preuve du défaut.[39] Les victimes seraient donc indemnisées pour les dommages infligés par une arme totalement autonome, sans avoir à surmonter tous les obstacles liés à l’établissement de la preuve du défaut. On a toutefois du mal à imaginer que beaucoup de gouvernements accepteraient d’instaurer un tel régime juridique. Même si c’était le cas, indemniser des victimes pour leur préjudice n’est pas la même chose qu’attribuer une responsabilité légale, qui établit la faute morale, a un effet de dissuasion et de punition et reconnaît les victimes comme des personnes à qui on a fait du tort. La responsabilisation, au sens propre, ne peut être atteinte par la seule indemnisation.^[40]

Assertion n°4 : La clause de Martens ne restreindrait pas l’utilisation des armes totalement autonomes.

Réfutation : Puisque les lois existantes ne traitent pas spécifiquement des problèmes inédits posés par les armes totalement autonomes, la clause de Martens impose que les « principes de l'humanité » et les « exigences de la conscience publique » soient pris en compte dans l’analyse de leur légalité. Or au regard ces deux critères, des éléments préoccupants font pencher la balance vers l’interdiction de ce type de technologie.

Analyse : Certains détracteurs rejettent la valeur de la clause de Martens dans la détermination de la légalité des armes totalement autonomes. Comme il apparaît dans le Protocole additionnel I des Conventions de Genève, la clause de Martens exige que :

Dans les cas non prévus par le présent Protocole ou par d'autres accords internationaux, les personnes civiles et les combattants restent sous la sauvegarde et sous l'empire des principes du droit des gens, tels qu'ils résultent des usages établis, des principes de l'humanité et des exigences de la conscience publique.[41]

Les critiques avancent que la clause de Martens « n’agit pas comme un principe global qui doit être pris en compte dans tous les cas », mais n’est qu’un « mécanisme de sécurité destiné à combler les lacunes du droit ».[42] Selon eux, vu la rareté des lacunes juridiques, la probabilité que les armes totalement autonomes violent la clause de Martens, mais pas le droit des traités ou le droit coutumier, est « extraordinairement faible ».[43] Pourtant, l’absence de loi spécifique portant sur les armes totalement autonomes signifie bien que la clause de Martens s’appliquerait : or ces armes poseraient de graves problèmes au regard de cette disposition.

Pour savoir si la clause de Martens est pertinente dans le cas des armes totalement autonomes, la question clé est de déterminer dans quelle mesure ce type d’armes serait « couvert » par le droit des traités existant. Comme l’expliquait le tribunal militaire des États-Unis à Nuremberg, avec la clause de Martens, « les usages établis entre nations civilisées, les lois de l’humanité et les exigences de la conscience publique prennent le statut de références du droit, qui devront être appliquées lorsque les dispositions spécifiques [du droit existant] ne couvrent pas les cas précis pouvant se produire en temps de guerre ».[44] La Cour internationale de Justice a affirmé que le fait que la clause « continu[ait] à exister et à être applicable ne [faisait] aucun doute » et qu’elle avait « prouvé qu’elle constituait un moyen efficace de contrer l’évolution rapide de la technologie militaire ».[45] Les armes totalement autonomes étant des formes de technologie qui évoluent rapidement, le droit existant ne s’appliquera à elles, au mieux, que de façon générale.[46]

Le vocabulaire simple de la clause de Martens élève les « principes de l’humanité » et les « exigences de la conscience publique » au rang de normes juridiques indépendantes, à l’aune desquelles les nouvelles formes de technologie militaire doivent être évaluées.[47] À partir de là, toute arme entrant en conflit avec ces normes est donc probablement illégale. Au minimum, en tout cas, les exigences de la conscience publique et les principes de l’humanité peuvent « servir d’orientation fondamentale pour interpréter les règles coutumières ou les traités internationaux ».[48] Si on considère la clause de Martens de ce point de vue, alors « [e]n cas de doute, les règles internationales, en particulier celles qui relèvent du droit humanitaire, doivent être analysées de façon à être en accord avec les normes générales de l’humanité et les exigences de la conscience publique ».[49] Étant donné les doutes d’importance qui pèsent sur la capacité des armes totalement autonomes à se conformer aux exigences du droit (voir Assertion n°1), la moindre des choses est de prendre en compte les critères de la clause de Martens au moment d’évaluer la légalité de ces armes.

Les armes totalement autonomes posent de graves problèmes si l’on se réfère aux principes de l’humanité et aux exigences de la conscience publique. Le CICR a décrit les principes de l’humanité comme une exigence de compassion et une capacité à protéger.[50] Comme nous l’analysons plus loin, dans la partie Assertion n°7, les armes totalement autonomes seraient dépourvues d’émotions humaines, notamment de compassion. Les difficultés que ces armes rencontreraient pour respecter le droit international humanitaire suggèrent qu’elles ne pourraient pas protéger correctement les civils. L’opinion publique peut jouer un rôle pour révéler et façonner la conscience publique. Or la plupart des gens trouvent choquante et inacceptable la perspective de déléguer des décisions de vie ou de mort à des machines. Par exemple, une enquête internationale de 2015, après avoir interrogé 1 002 personnes de 54 pays différents, a constaté que 56 % d’entre elles s’opposaient à toute conception et utilisation de ces armes.[51] La première raison donnée pour justifier ce rejet, citée par 34 % des personnes interrogées, était que « les humains devraient toujours être ceux qui prennent les décisions entraînant la vie ou la mort ».[52] Une enquête nationale réalisée aux États-Unis en 2013 a conclu que 68 % des personnes interrogées qui s’étaient exprimées sur le sujet étaient opposées à l’évolution vers ces armes (dont 48 % fortement opposées).[53] Il est intéressant de constater que les militaires en activité faisaient partie de ceux qui avaient le plus d’objections : 73 % ont exprimé leur opposition vis-à-vis des armes totalement autonomes. Ce type de réactions montre que les armes totalement autonomes iraient à l’encontre de la clause de Martens.

Il est déjà arrivé que les problèmes que posaient certaines armes pour se conformer aux principes exprimés dans la clause de Martens justifient de nouveaux traités de désarmement. Par exemple, la clause de Martens a fortement influencé les discussions et débats précédant la rédaction du Protocole IV de la CCAC sur les lasers aveuglants, qui ont interdit de façon préventive le transfert et l’utilisation d’armes au laser dont l’objectif, ou un des objectifs, est de causer une cécité permanente.^[54] La clause de Martens avait alors été invoquée, non seulement dans les rapports de la société civile sur le sujet, mais aussi par les experts participant à une série de réunions organisées par le CICR pour en parler.^[55] Ils ont convenu, à une grande majorité, que « [les lasers aveuglants] iraient à l’encontre des exigences des usages établis, de l’humanité et de la conscience publique ».^[56] En fin de compte, le sentiment partagé d’horreur face à la perspective des armes aveuglantes a aidé à faire pencher la balance dans le sens d’une interdiction, même s’il n’y avait pas de consensus sur le fait que de telles armes étaient illégales en vertu des principes fondamentaux du droit international humanitaire.^[57] Le Protocole sur les lasers aveuglants a établi un précédent international pour interdire des armes de façon préventive en se fondant, au moins en partie, sur la clause de Martens.^[58] Invoquer cette clause dans le contexte des armes totalement autonomes serait tout aussi approprié.

Assertion n°5 : Le droit international humanitaire est le seul ensemble de lois en vertu duquel on peut évaluer les armes totalement autonomes, puisqu’elles seront employées lors de conflits armés.

Réfutation : Une évaluation des armes totalement autonomes doit examiner leur capacité à respecter tous les ensembles de lois du droit international, y compris le droit international relatif aux droits humains, étant donné que ces armes pourront être utilisées en dehors des situations de conflit armé. Les armes totalement autonomes pourraient violer le droit à la vie, le droit au recours et le principe de dignité, tous garantis par le droit international relatif aux droits humains.

Analyse : Les discussions sur les armes totalement autonomes se sont surtout concentrées sur leur usage pendant les conflits armés et leur légalité au regard du droit international humanitaire (voir Assertion n°1). Le plus gros du débat diplomatique autour de ces armes s’est déroulé dans le cadre du forum de la CCAC sur le droit international humanitaire. Même si les États ont abordé les implications des armes totalement autonomes du point de vue des droits humains, lors des réunions de la CCAC et au sein du Conseil des droits de l’homme, la question de l’utilisation probable de ces armes en dehors des guerres a souvent été ignorée.^[59] Le droit relatif aux droits humains, qui s’applique en temps de paix comme en temps de guerre, devrait donc attirer davantage l’attention puisqu’il serait pertinent dans toutes les circonstances où les armes totalement autonomes pourraient être employées.[60]

Une fois au point, les armes totalement autonomes pourraient être adaptées à divers contextes de non-conflit qui peuvent être regroupés sous le terme général de maintien de l’ordre. Les agents de police locaux pourraient employer de telles armes dans la lutte contre la criminalité, la gestion des manifestations publiques, le contrôle des émeutes et tout autre effort d’application de la loi et de maintien de l’ordre. Les États pourraient également utiliser ces armes dans leurs efforts de lutte contre le terrorisme, qui ne tombe pas dans la catégorie du conflit armé tel que défini par le droit international humanitaire. Si les armes totalement autonomes sont utilisées dans un contexte de maintien de l’ordre, il en découle que le droit international relatif aux droits humains s’applique.

Or les armes totalement autonomes auraient le potentiel de porter atteinte au droit à la vie, qui est codifié dans l’article 6 du Pacte international relatif aux droits civils et politiques (PIDCP) : « Le droit à la vie est inhérent à la personne humaine. Ce droit doit être protégé par la loi ».^[61] Le Comité des droits de l’homme, organe associé au PIDCP, le décrit comme « le droit suprême » car il constitue un prérequis pour tous les autres droits.^[62] On ne peut y déroger, même dans les situations d’urgence publique qui menacent l’existence d’une nation. Le droit à la vie interdit le meurtre arbitraire. Le PIDCP déclare en effet : « Nul ne peut être arbitrairement privé de la vie ».^[63] 

Le droit à la vie restreint notamment l’usage de la force dans les situations de maintien de l’ordre, y compris celles où des armes totalement autonomes pourraient être déployées.^[64] Dans son observation générale n°6, le Comité des droits de l’homme souligne le devoir des États de prévenir les meurtres arbitraires que pourraient commettre leurs forces de sécurité.^[65] Le meurtre n’est admis par la loi que s’il répond à trois conditions de circonstance et d’intensité portant sur l’usage de la force : il doit être nécessaire pour protéger une vie humaine, constituer un dernier recours et être appliqué de façon proportionnelle à la menace. Les armes totalement autonomes auront beaucoup de mal à respecter les critères qui restreignent l’emploi légal de la force, puisque ces critères exigent des évaluations qualitatives de situations spécifiques. Ces robots ne pourraient pas être programmés à l’avance pour évaluer chaque situation car il existe une infinité de scénarios possibles, dont la plupart ne pourraient pas être anticipés. D’après de nombreux experts en robotique, il est également très improbable, dans un avenir proche, que des robots puissent être conçus de façon à être dotés de certaines qualités humaines, comme le jugement et la capacité à s’identifier avec les humains, qui permettent de respecter les trois critères.^[66] Si une arme totalement autonome décidait suite à une interprétation erronée qu’il convient d’employer la force, cela entraînerait un meurtre arbitraire, en violation du droit à la vie.

En tant que droit inaliénable, le droit à la vie continue à s’appliquer pendant les conflits armés.^[67] En temps de guerre, le meurtre arbitraire se réfère aux actes de tuer qui sont illégaux en vertu du droit international humanitaire. Dans son commentaire du PIDCP qui fait autorité, Manfred Nowak, ancien rapporteur spécial de l’ONU sur la torture, définit les meurtres arbitraires lors des conflits armés comme étant les actes de tuer « allant à l’encontre des lois humanitaires de la guerre ».^[68] Comme on l’a démontré dans la partie Assertion n°1, il existe de sérieux doutes sur la question de savoir si les armes totalement autonomes pourraient respecter un jour les règles de distinction et de proportionnalité. Les armes totalement autonomes auraient le potentiel de tuer arbitrairement et donc de violer le droit qui sous-tend tous les autres, le droit à la vie.

L’usage d’armes totalement autonomes risque également d’aller à l’encontre du droit au recours. La Déclaration universelle des droits de l’Homme (DUDH) a établi ce droit et l’article 2(3) du PIDCP exige que les États parties « garanti[ssent] que toute personne dont les droits et libertés reconnus dans le présent Pacte auront été violés disposera d'un recours utile [...] ».^[69] Le droit au recours implique que les États veillent à ce que tout individu rende compte de ses actes. Il comprend le devoir de poursuivre des personnes pour leurs graves violations du droit relatif aux droits humains et de punir celles qui seront reconnues coupables.^[70] Le droit international impose la responsabilisation des criminels afin de dissuader les actes illégaux futurs et punir les actes passés, ce qui permet de reconnaître la souffrance des victimes. Dans le cas d’une arme totalement autonome, par contre, il est peu probable qu’on puisse obtenir une réelle responsabilisation (voir Assertion n°3).

Les armes totalement autonomes pourraient aussi violer le principe de dignité que reconnaît le préambule de la DUDH.^[71] Étant des machines inanimées, les armes totalement autonomes ne pourraient réellement comprendre ni la valeur de la vie individuelle ni la signification de sa perte, donc ne devraient pas être autorisées à prendre des décisions de vie ou de mort (voir Assertion n°6).

Dangers autres que juridiques

Assertion n°6 : Les problèmes moraux posés par les armes totalement autonomes soit ne sont pas pertinents, soit pourraient être surmontés.

Réfutation : Des acteurs très divers ont soulevé des objections morales fortes et convaincantes contre les armes totalement autonomes. Ces objections portent surtout sur le manque de jugement et d’empathie de ces armes, l’atteinte à la dignité et l’absence d’un agent doué de sens moral.

Analyse : Certains détracteurs écartent la question de la moralité des armes totalement autonomes, la considérant comme non pertinente. Selon eux, le caractère approprié ou non des armes totalement autonomes est une question juridique et technique, plutôt que morale. Un critique notamment écrit que « la question clé reste de déterminer si un système d’armes particulier peut être utilisé ou non conformément aux règles et obligations du droit humanitaire international, et non pas en présence ou en absence d’un agent humain doué de sens moral ».^[72] Un autre détracteur avance que la moralité ne serait pas un problème puisque les robots pourraient être programmés pour agir conformément à l’éthique et donc constitueraient des agents doués de sens moral.^[73] Pourtant les questions posées par la moralité des armes totalement autonomes sont fondamentales et d’une grande portée.

Des acteurs très divers ont soulevé de fortes objections d’ordre moral et éthique contre les armes totalement autonomes. L’indignation morale exprimée par des États, des rapporteurs spéciaux, des lauréats du Prix Nobel, des dignitaires religieux ainsi que par le public montre que la question de savoir si les armes totalement autonomes doivent être utilisées un jour va bien au-delà du droit. Plusieurs États ont avancé qu’il existait une obligation morale de maintenir un contrôle humain sur les armes.^[74] Un document émis par le Vatican en 2015, présentant l’analyse la plus approfondie à ce jour des objections éthiques contre les armes totalement autonomes, expliquait : « Il est fondamentalement immoral d’utiliser une arme dont nous ne pouvons pas totalement contrôler le comportement ».^[75] L’année précédente, le Chili affirmait que le fait que les humains exercent sur les armes un contrôle significatif était un « impératif éthique » plutôt qu’une question technologique.^[76] D’après Christof Heyns, alors rapporteur spécial de l’ONU sur les exécutions extrajudiciaires, la question de savoir si les armes totalement autonomes sont moralement acceptables est une « préoccupation majeure », et « aucun autre argument ne peut justifier l’emploi d’[armes totalement autonomes], quel que soit leur degré de compétence technique ».^[77] Heyns et Maina Kiai, rapporteur spécial sur le droit de réunion pacifique et d’association, ont tous deux appelé à une interdiction de ces armes.^[78] Des lauréats du Prix Nobel ont insisté sur la nécessité de donner un aperçu des « dangers moraux et juridiques que représente le fait de créer des robots tueurs et appel[é] à un débat public sur le sujet avant qu’il ne soit trop tard ».^[79]  Selon la Nobel Jody Williams, qui est membre de la Campagne contre les robots tueurs (Stop Killer Robots) : « Où va l’humanité si certaines personnes pensent que c’est normal de céder à des machines le pouvoir de décider de la vie ou de la mort d’êtres humains » ?^[80] Une déclaration œcuménique de dignitaires religieux appelant à l’interdiction a souligné les préoccupations morales et éthiques, affirmant que « les robots de guerre [étaient] un affront à la dignité humaine et au caractère sacré de la vie ».^[81] Les enquêtes menées aux États-Unis et à l’échelle internationale ont montré que ces préoccupations morales étaient communes à toutes les populations du monde.^[82]

Pour ceux qui se soucient des problèmes moraux posés par les armes totalement autonomes, aucun perfectionnement technologique ne pourra jamais résoudre la faille fondamentale que représente le fait de déléguer à une machine une décision entraînant la vie ou la mort. Les arguments fondés sur la moralité se sont concentrés sur trois questions clés : le manque de qualités humaines nécessaires pour prendre une décision morale, la menace envers la dignité humaine et l’absence d’agent doué de sens moral.

Toute action de tuer orchestrée par une machine est sans doute intrinsèquement mauvaise, puisque les machines sont incapables d’exercer un jugement humain et de ressentir de la compassion. À cause de l’extrême valeur d’une vie humaine, la décision de prendre une vie délibérément est extrêmement grave. Parce que les humains sont doués de raison et d’intelligence, ils sont, de façon unique, qualifiés pour prendre la décision morale d’employer la force dans une situation particulière. Les êtres humains possèdent un « jugement prudent », la capacité d’appliquer des principes généraux à des situations particulières, en interprétant et donnant un « esprit » aux lois, plutôt qu’en appliquant aveuglément un algorithme.^[83] Aucun robot, quelle que soit la quantité d’informations dont il dispose, n’est doué de jugement prudent de la même façon que les humains. En outre, alors que les humains, d’une certaine façon, intériorisent la valeur de toute vie qu’ils choisissent de prendre, ce n’est pas le cas des machines.^[84] « Les décisions de vie ou de mort dans les conflits armés peuvent exiger de la compassion et de l’intuition », ce dont les êtres humains sont capables, mais pas les robots.^[85] Cela permet à l’empathie humaine d’agir comme un autocontrôle dans l’acte de tuer, mais seulement lorsque ce sont des humains qui prennent les décisions pertinentes.

Par ailleurs les armes totalement autonomes posent un problème moral car elles menacent le principe de la dignité humaine. Le préambule de la Déclaration universelle des droits de l’Homme affirme que « [...] la reconnaissance de la dignité inhérente à tous les membres de la famille humaine et de leurs droits égaux et inaliénables constitue le fondement de la liberté, de la justice et de la paix dans le monde ».^[86] (Pour les autres arguments relevant des droits humains, voir Assertion n°5.) En imputant une dignité intrinsèque à tous les êtres humains, la DUDH implique que tout le monde est doté d’une valeur qui mérite le respect.^[87] Les armes totalement autonomes, étant des machines inanimées, ne pourraient saisir ni la valeur de la vie individuelle ni la signification de sa perte. Leur permettre de déterminer des actions privant des personnes de la vie serait donc contraire au principe de dignité. En effet, comme le note un auteur, « la valeur de la vie humaine pourrait être diminuée si des machines sont en position de décider, de façon fondamentalement indépendante, qui doit être tué lors d’un conflit armé ».^[88] Dans son rapport de 2013 au Conseil des droits de l’homme, Christof Heyns, alors rapporteur spécial sur les exécutions extrajudiciaires, a déclaré : « Le fait de déléguer ce processus déshumanise encore plus les conflits armés et empêche toute possibilité de délibération, même lorsque cela est possible. Les machines n’ont pas de morale et ne sont pas mortelles, et à ce titre ne devraient pas avoir un pouvoir de vie et de mort sur les êtres humains ».^[89]

Les armes totalement autonomes posent également problème vis-à-vis de leur capacité à agir de façon morale. D’après un expert en robotique, l’action morale ne serait pas un souci : de telles machines pourraient être programmées pour fonctionner sur la base d’algorithmes « éthiques » qui transformeraient un robot autonome en « machine morale », donc en « agent autonome doué de sens moral ».^[90]  Un « régulateur éthique » déterminerait une prise de décisions morale lors des étapes de ciblage et de mise à feu.^[91] Mais cet argument n’est pas convaincant, et ce pour deux raisons. Premièrement, il est extrêmement improbable qu’un tel protocole voie jamais le jour.^[92] Deuxièmement, et de façon plus fondamentale, « le problème de l’agent doué de sens moral ne sera pas résolu en dotant les systèmes d’armes autonomes d’un jugement moral artificiel, même si une telle capacité était possible sur le plan technologique ».^[93]  Les « agents réellement doués de sens moral » sont capables « de conscience, d’intention et de libre arbitre ».^[94] Les armes totalement autonomes, par contre, agiraient en fonction de leurs algorithmes et ne seraient donc pas des agents doués de sens moral. Les agents réellement doués de sens moral « peuvent être tenus responsables de leurs actions, ils peuvent être en faute – précisément parce que leurs actions, au sens propre, eux seuls les décident ».^[95] Les armes totalement autonomes, elles, seraient incapables d’assumer une responsabilité morale de leurs actions, donc ne pourraient pas atteindre le statut d’agent doué de sens moral qui est exigé pour être en position de prendre des vies humaines.^[96]

En conclusion, aucune amélioration technologique ne pourrait permettre de surmonter les objections contre les armes totalement autonomes. Comme l’a écrit un expert : « L’autorité de décider de déclencher l’usage de la force létale [...] doit demeurer la responsabilité d’un être humain, qui a le devoir de prendre une décision pesée et éclairée avant de prendre des vies humaines ».^[97]

Assertion n°7 : Les armes totalement autonomes ne subiraient pas l'influence négative des émotions humaines.

Réfutation : Les armes totalement autonomes ne seraient pas dotées des émotions qui peuvent protéger les civils et les soldats, telles que la compassion et la répugnance à tuer.

Analyse : Les détracteurs avancent que le fait que les armes totalement autonomes n’aient pas d’émotions humaines pourrait présenter des avantages militaires et humanitaires. Les armes ne seraient pas sensibles à des facteurs tels que la peur, la colère, la douleur et la faim, qui peuvent brouiller le jugement, distraire les humains de leurs mission militaire ou les pousser à attaquer des civils.[98] Même si certaines de ces remarques ont leurs mérites, il faut objecter que le rôle joué par d’autres émotions humaines en temps de guerre peut en fait être favorable à la protection humanitaire lors des conflits armés.

Les êtres humains sont capables d’empathie et de compassion, et dans l’ensemble réticents à prendre la vie d’un autre humain. Un officier de l’armée américaine à la retraite qui a réalisé des recherches approfondies sur le fait de tuer en temps de guerre a conclu qu’« il exist[ait], chez homme, une résistance intense à l’action de tuer un autre homme. Une résistance si forte que, dans de nombreux cas, les soldats sur le champ de bataille mourront avant d’avoir pu la surmonter ».[99] Un autre auteur écrit :

Un des facteurs les plus forts qui limite la cruauté en temps de guerre a toujours été l’inhibition naturelle des êtres humains qui les empêche de tuer ou blesser les autres hum         ains. De fait, cette inhibition naturelle est si forte que la plupart des gens préfèreraient mourir plutôt que tuer quelqu’un.^[100]

Des études du comportement des soldats lors des conflits passés ont apporté des preuves qui corroborent ces conclusions.^[101] Les émotions humaines sont donc un important inhibiteur qui empêchera de tuer les gens illégalement ou inutilement.

Les études se sont essentiellement concentrées sur la réticence des troupes à tuer les combattants ennemis, mais il est raisonnable de supposer que les soldats se sentent encore plus réticents à tuer les tiers assistant au conflit armé, notamment les civils et les soldats hors de combat, c’est-à-dire blessés ou qui se rendent. Contrairement aux humains, les armes totalement autonomes ne ressentiraient pas ces émotions et inhibitions morales qui aident à protéger les personnes ne constituant pas des cibles légales lors d’un conflit armé. D’après un expert : « Se débarrasser de l’inhibition vis-à-vis de l’acte de tuer en se servant de robots pour le faire efface le plus puissant facteur psychologique qui incite à la retenue à la guerre. N’étant plus restreinte par l’inclination naturelle des soldats, celle de ne pas tuer, la guerre serait d’une efficacité inhumaine ».^[102]

En raison de leur manque d’émotions ou de conscience, les armes totalement autonomes pourraient être les outils parfaits de dirigeants cherchant à oppresser leur peuple ou à attaquer les civils de pays ennemis. Même les troupes les plus endurcies peuvent finalement se retourner contre leur chef s’il leur ordonne de faire feu sur leur propre peuple ou de commettre des crimes de guerre. Par contre, un dirigeant abusif qui pourrait compter sur des armes totalement autonomes n’aurait pas à craindre que ses forces armées résistent lorsqu’on leur demande de se déployer contre certaines cibles.

Pour toutes les raisons qui précèdent, les émotions devraient plutôt être considérées comme un facteur crucial de retenue, lors des conflits armés, plutôt que comme des influences irrationnelles et des obstacles à la raison.

Assertion n°8 : En cas d’interdiction préventive des armes totalement autonomes, des avantages militaires seraient perdus.

Réfutation : De nombreux bénéfices potentiels apportés par les armes totalement autonomes soit pourraient être obtenus au moyen de systèmes alternatifs, soit engendreraient des risques injustifiables. 

Analyse : Les critiques pensent qu’une interdiction préventive des armes totalement autonomes impliquerait de renoncer aux avantages militaires de cette technologie qu’ils mettent en avant. D’après ces détracteurs, les armes totalement autonomes pourraient avoir de nombreux bénéfices. Elles pourraient fonctionner avec une plus grande précision que d’autres systèmes.[103] Elles pourraient remplacer des soldats sur le terrain et donc épargner leur vie.[104] Des armes totalement autonomes pourraient traiter les données et fonctionner plus rapidement que celles contrôlées par des humains, lors des phases de ciblage et/ou d’attaque.[105] Par ailleurs, une fois déployées, elles pourraient aussi opérer même sans ligne de communication.[106] Enfin, les armes totalement autonomes pourraient être déployées à plus grande échelle et à plus bas prix que les systèmes d’armes qui nécessitent un contrôle humain.[107] Cependant, non seulement ces caractéristiques ne sont pas propres aux armes totalement autonomes, mais elles présentent leurs propres risques.

D’autres armes apportent les mêmes avantages que les armes totalement autonomes. Par exemple, les armes semi-autonomes, elles aussi, ont le potentiel d’être très précises. Elles peuvent suivre les cibles avec une technologie comparable à celle des futures armes totalement autonomes. Certes, les systèmes d’armes semi-autonomes existants ont déjà des fonctionnalités autonomes intégrées, conçues pour augmenter la précision des attaques.[108] Mais contrairement aux équivalents autonomes, ces systèmes conservent une commande humaine pour la décision de faire feu.

En outre, même si les armes totalement autonomes pourraient réduire les pertes militaires en remplaçant les soldats humains sur le champ de bataille, les armes semi-autonomes en font déjà autant. L’emploi d’armes semi-autonomes implique un contrôle humain de l’usage de la force, mais ne nécessite pas une présence humaine sur le terrain, de sorte que les opérateurs peuvent rester en sécurité dans un endroit éloigné. Les armes semi-autonomes, notamment les drones armés, posent de leur côté beaucoup de problèmes, qui devront être résolus, mais ceux-ci sont davantage liés à la façon dont les armes sont utilisées, plutôt qu’à la nature de leur technologie. Les armes totalement autonomes, par contre, présentent des dangers quelle que soit la façon dont elles sont utilisées, puisque les humains ne prennent plus la décision de faire feu.

Dans toutes les situations qui exigent d’être rapide, comme la défense antimissile, les systèmes automatiques pourraient contrer des menaces aussi efficacement et de façon plus prévisible que les systèmes totalement autonomes. Si l’automatisation et l’autonomie sont deux extrémités d’un même spectre, les armes automatiques fonctionnent dans un environnement plus structuré et « mettent en œuvre une séquence d’opérations préprogrammée ».[109] 

Parce que les armes totalement autonomes auraient le pouvoir de réaliser des déterminations complexes dans des environnements moins structurés, leur vitesse pourrait amener les conflits armés à dégénérer, échappant à tout contrôle. Arguant que les armes totalement autonomes pourraient devenir une nécessité pour les États qui cherchent à rester au même niveau que leurs adversaires, deux opposants à l’interdiction de ces armes écrivent que « les combats futurs pourraient [...] se dérouler à un rythme si élevé que les opérateurs humains ne pourront tout simplement pas suivre. Il est vrai que les systèmes d’armes avancés pourraient bien créer un environnement trop complexe à diriger pour les humains ».[110] Indépendamment de la vitesse des armes totalement autonomes, leur capacité à opérer sans ligne de communication après avoir été déployées pose problème parce que ces armes pourraient faire des choix indépendants peu judicieux sur l’usage de la force, sans qu’une supervision humaine soit possible.

Comme les armes totalement autonomes pourraient fonctionner à des vitesses élevées et sans contrôle humain, leurs actions ne seraient pas non plus tempérées par la compréhension humaine des risques politiques, environnementaux et humanitaires au moment où elles lancent une attaque. Elles auraient donc le potentiel de déclencher diverses conséquences non voulues, dont beaucoup pourraient altérer fondamentalement les relations entre les États ou la nature des conflits en cours.

Comme aucun pays ne voudra être à la traîne dans ce domaine technologique militaire potentiellement avantageux, la mise au point de ces armes révolutionnaires mènerait à une course à l’armement. De fait, certains officiers supérieurs ont déjà exprimé leur inquiétude vis-à-vis des progrès de la technologie des armes autonomes dans d’autres nations, ce qui montre bien le besoin de maintenir une position dominante en matière de capacités d’intelligence artificielle.[111] En cette première phase de recherche sur ces armes, les armées les plus avancées technologiquement ont sans doute encore l’avantage, mais les experts prédisent qu’au fur et à mesure que les coûts baisseront et que la technologie se répandra, les armes autonomes seront produites massivement. Une lettre ouverte signée par plus de 3 000 experts en intelligence artificielle et en robotique déclare :

Si une des principales puissances militaires fait de grandes avancées dans la conception d’armes douées d’intelligence artificielle (AI), une course à l’armement mondiale sera quasi inévitable. Et le point de chute de cette trajectoire technologique est évident : les armes autonomes deviendront les kalashnikovs de demain. Contrairement aux armes nucléaires, elles ne demandent pas de matières premières coûteuses ou difficiles à obtenir. Devenues alors omniprésentes et bon marché, elles pourront être produites massivement par toute puissance militaire importante[112].

Une course à l’armement dans le domaine des armes totalement autonomes présenterait des risques importants. L’augmentation rapide du nombre d’armes totalement autonomes pourrait accentuer la possibilité que survienne un conflit majeur. Si les armes totalement autonomes fonctionnaient de façon collective, par exemple en essaims, alors le dysfonctionnement d’une seule d’entre elles pourrait déclencher une action militaire massive, suivie d’une réaction similaire.[113] De plus, afin de rester au même niveau que leurs ennemis, des pays seraient poussés à utiliser des armes totalement autonomes de moindre qualité, avec des fonctionnalités non testées ou obsolètes, augmentant le risque d’erreurs potentiellement catastrophiques. Même si posséder des armes totalement autonomes pourrait générer un avantage militaire immédiat pour certains pays, une fois que la technologie se répandra, ils devraient se rendre compte qu’il sera de faible durée. Au final, les coûts financiers et humains de la conception de telles armes feraient que chaque pays se retrouverait dans une situation pire qu’avant, ce qui constitue un bon argument pour une interdiction préventive.

 

II. Arguments pour une interdiction préventive des armes totalement autonomes

Les dangers des armes totalement autonomes exigent que les États prennent des mesures pour interdire leur conception, leur production et leur utilisation. Les critiques proposent de se fier au droit existant, aux inspections des armements, à la réglementation ou aux exigences du contrôle humain, mais une interdiction est la seule option qui résoudrait tous les problèmes posés par ces armes. La communauté internationale ne devrait pas attendre pour agir : le génie va bientôt sortir de la bouteille. Les précédents montrent qu’une interdiction serait réalisable et efficace.

Avantages d’une interdiction

Assertion n°9 : Un nouvel instrument juridique international n’est pas nécessaire, le droit international humanitaire existant sera suffisant.

Réfutation : Non seulement un nouveau traité aiderait à clarifier le droit international humanitaire existant, mais il porterait également sur les étapes de conception et de production des armes totalement autonomes, outre leur utilisation.

Analyse : Les opposants à un nouveau traité sur les armes totalement autonomes affirment souvent que « les principes existants du droit international sont suffisants pour circonscrire l’usage de ces armes ».[114] Ils avancent que toute utilisation problématique des armes totalement autonomes serait déjà illégale puisqu’elle violerait le droit international humanitaire actuel. Si on en croit deux auteurs, « la question pour la communauté juridique [serait de déterminer] si les systèmes d’armes autonomes sont conformes aux normes juridiques que les États ont mis en place ».^[115] Reconnaissant que ces armes posent des problèmes nouveaux, un autre auteur note que, « lorsque des litiges et des erreurs surviendront, les avocats et les parties lésées devront se montrer créatifs pour se frayer un chemin dans le réseau de mécanismes juridiques [que propose le droit international] ». Pourtant lui aussi conclut qu’un nouvel instrument juridique ne serait pas nécessaire.^[116] Le droit international humanitaire existant, toutefois, n’a pas été conçu dans le but – et ne permet pas – d’aborder correctement les questions soulevées par un type d’arme aussi révolutionnaire. Par conséquent, il devrait être complété par un nouveau traité établissant une interdiction.

Un nouveau traité international clarifierait les obligations des États et exposerait de façon plus détaillée les conditions de conformité. Il minimiserait les questions de légalité en normalisant les règles entre les différents pays et en réduisant la nécessité de faire des déterminations au cas par cas. Une plus grande clarté juridique amènerait une mise en œuvre plus efficace car les pays comprendraient mieux quelles sont les règles. Grâce à une convention d’interdiction, l’illégalité des armes totalement autonomes deviendrait claire même pour les pays qui n’effectuent pas d’inspection légale des armes modifiées ou nouvelles (voir Assertion n°10). Enfin, de nombreux États n’ayant pas signé le nouveau traité seraient néanmoins enclins à respecter l’interdiction à cause de la stigmatisation attachée à ces armes.

Un traité consacré aux armes totalement autonomes pourrait également aborder des aspects de la prolifération qui ne sont pas couverts par le droit international humanitaire traditionnel, qui se concentre sur l’usage des armes à la guerre. En particulier, un tel instrument pourrait interdire de les concevoir et de les produire. Éliminer ces activités empêcherait les armes totalement autonomes de se propager, même dans le cas des acteurs, étatiques ou non, qui ont peu de respect pour le droit international humanitaire ou une capacité limitée à faire respecter l’interdiction. En outre, cela aiderait à éviter une course à l’armement en mettant fin à la recherche sur ces armes avant qu’elle n’aille trop loin (voir Assertion n°8).

Enfin, une nouvelle loi pourrait résoudre les problèmes liés à la lacune de responsabilité (voir Assertion n°3). En effet, un traité qui bannirait les armes totalement autonomes en toutes circonstances pourrait exiger que toute personne violant cette règle soit tenue responsable des actions commises par les armes en question.

Même si le droit international humanitaire fixe déjà des limites pour les armes problématiques et leur usage, les gouvernements ayant le sens des responsabilités ont déjà constaté par le passé qu’il était nécessaire de compléter les cadres légaux existants pour les armes qui par nature, représentent de graves menaces humanitaires. Des traités consacrés à des types d’armes spécifiques existent : c’est le cas des armes à sous-munitions, des mines antipersonnel, des lasers aveuglants, des armes chimiques et des armes biologiques. Les armes totalement autonomes ont le potentiel de soulever un degré de préoccupation comparable, voire supérieur, donc devraient faire l’objet d’un complément similaire dans le cadre du droit international.

Assertion n°10 : Les inspections des nouveaux systèmes d’armes peuvent éliminer les dangers des armes totalement autonomes.

Réfutation : Les inspections des armements ne sont ni universelles, ni harmonisées, ni conduites de façon rigoureuse, et ne traitent pas les impacts des armes en dehors du contexte des conflits armés. Une interdiction résoudrait ces carences dans le cas des armes totalement autonomes.

Analyse : Certains détracteurs avancent que réaliser des inspections des armements, dans le cas des armes totalement autonomes, suffirait à réglementer suffisamment les armes. Les inspections des armes évaluent la légalité du futur usage d’une nouvelle arme lors des phases de conception, de mise au point et d’acquisition. Elles sont parfois appelées « inspections article 36 » car elles sont exigées par l’article 36 du Protocole additionnel I des Conventions de Genève. Cet article énonce :

Dans l’étude, la mise au point, l’acquisition ou l’adoption d’une nouvelle arme, de nouveaux moyens ou d’une nouvelle méthode de guerre, une Haute Partie contractante a l’obligation de déterminer si l’emploi en serait interdit, dans certaines circonstances ou en toutes circonstances, par les dispositions du présent Protocole ou par toute autre règle du droit international applicable à cette Haute Partie contractante.[117]

Selon certains arguments adverses, notamment émis lors des débats de la CCAC, une interdiction n’est pas nécessaire car toute arme totalement autonome qui violerait le droit international serait forcément rejetée par les inspections de l’armement, et par conséquent ne devrait pas être mise au point ni utilisée.[118] Cependant, tous les États ne réalisent pas d’inspection de leur armement, ceux qui le font peuvent suivre des normes variables et les inspections ont souvent une portée trop restreinte pour traiter correctement tous les dangers que représentent les armes totalement autonomes. Les propositions visant à résoudre les carences des inspections des armements devraient être envisagées dans un autre cadre de débat afin de ne pas détourner l’attention des discussions des armes totalement autonomes.

Actuellement, moins de 30 pays sont connus pour avoir instauré des processus nationaux d’inspection.[119] Tous les États ne sont pas parties au Protocole additionnel I et la question de savoir si les inspections d’armes sont exigées par le droit international coutumier est encore débattue.[120] Le manque d’universalité de la pratique signifie qu’il est possible que certains États puissent développer ou acquérir des armes totalement autonomes sans examiner une seule fois la légalité de ces armes.

Même si tous les États effectuaient des inspections, laisser les pays décider individuellement s’il convient ou non de mettre ces armes au point ne manquera pas d’aboutir à des résultats incohérents. La complexité des armes totalement autonomes, dont l’inspection devra porter à la fois sur des composants de matériel militaire et informatiques, accentuerait d’ailleurs cette absence d’harmonisation.[121] En outre, aucun organe de suivi international n’est mandaté pour vérifier que tous les pays conduisent des inspections et se conforment aux résultats[122]. Par ailleurs les possibilités d’inspections externes sont limitées en raison du manque général de transparence dans les processus d’inspection de l’armement.[123] Les États ne sont pas obligés de publier les résultats de leurs inspections et on ne connaît aucun cas de pays ayant rendu publiques des informations sur une inspection qui aurait rejeté une arme proposée.[124]

Sans la pression extérieure que génère un suivi international, les États sont peu encouragés à effectuer des inspections rigoureuses de leur armement. De même qu’il n’existe aucun cas publié de rejet d’une arme, on ne connaît aucun exemple d’État qui aurait mis fin à la conception ou à la production d’une arme parce qu’elle n’aurait pas été acceptée lors d’une inspection.[125] Le coût que représente le type d’examens complexes nécessaires pour inspecter des armes totalement autonomes constituerait un autre facteur dissuadant d’entreprendre des tests rigoureux.

Indépendamment de l’efficacité des inspections de l’armement, leur objectif principal, comme le montre la référence de l’article 36 à la « guerre », est de garantir la conformité vis-à-vis du droit international dans le contexte des conflits armés. Le guide du CICR pour examiner les nouvelles armes renvoie à ce cadre, notant qu’un tel examen « contribuera à donner l’assurance que les forces armées d'un État sont en mesure de conduire des hostilités conformément à ses obligations internationales ».[126]

Ce cadre ne prend pas en charge les implications éthiques et liés aux droits humains de l’usage des armes. Les armes totalement autonomes pourraient par ailleurs aller à l’encontre du droit relatif aux droits humains à cause de leur usage potentiel en dehors des conflits armés, dans des situations de maintien de l’ordre au niveau national (voir Assertion n°5).[127] On a vu également que puisqu’elles utiliseraient la force sans contrôle humain significatif, de telles armes poseraient de graves problèmes éthiques (voir Assertion n°6). Or aucun de ces risques ne serait pris en compte lors d’une inspection militaire des armes.[128]

Reconnaissant les failles des inspections d’armes existantes, certains États ont appelé à les améliorer.[129] Par exemple, à la réunion d’experts sur les systèmes d’armes létaux autonomes de la CCAC en 2016, les États-Unis ont proposé que les États parties à la CCAC rédigent « un document final, non juridiquement contraignant, décrivant un processus exhaustif d’inspection d’armes ».[130] Cet ensemble de bonnes pratiques, cependant, fonctionnerait au volontariat, ayant moins d’autorité qu’un instrument juridiquement contraignant.

Même si renforcer les inspections d’armes et les standardiser au niveau international sont des objectifs louables, les réunions de la CCAC portant sur les armes totalement autonomes ne sont pas le lieu approprié pour ce type de débats. La nécessité d’améliorer les inspections ne concerne pas seulement, ni spécifiquement, les armes totalement autonomes.[131] En fait, les débats sur les inspections des armes, dans le contexte des armes totalement autonomes, ont plutôt tendance à détourner l’attention des graves problèmes que posent la conception et l’utilisation de ces armes.
 

En fait, une interdiction internationale des armes totalement autonomes qui engage ses signataires résoudrait les carences des inspections d’armes dans ce contexte. Par ailleurs, cette interdiction simplifierait et normaliserait les inspections d’armes en éliminant les derniers doutes sur la possibilité que l’usage d’armes totalement autonomes viole le droit international.

Assertion n°11 : Une réglementation prendrait en charge les problèmes posés par les armes totalement autonomes mieux que ne le ferait une interdiction.

Réfutation : Une interdiction des armes totalement autonomes qui engage ses signataires réduirait la probabilité que ces armes soient employées abusivement, serait plus facile à appliquer et accentuerait la stigmatisation attachée aux violations.

Analyse : Certains détracteurs s’opposent à une interdiction catégorique des armes totalement autonomes parce qu’ils préfèrent un cadre règlementaire, qui permettrait d’utiliser une telle technologie dans les limites de certains paramètres prédéfinis.[132] Ce cadre pourrait par exemple limiter l’usage des armes totalement autonomes à des types de lieux ou d’objectifs particuliers. Ces critiques suggèrent qu’une telle approche aurait l’avantage de ne pas avoir de portée trop vaste, puisqu’elle adapterait plus précisément les restrictions à l’état en cours de la technologie des armes totalement autonomes. Les réglementations pourraient prendre la forme d’un instrument juridiquement contraignant ou d’un ensemble de normes informelles élaborées au fur et à mesure.[133] Quelle que soit sa forme, cependant, une réglementation ne serait pas aussi efficace qu’une interdiction.

Une interdiction absolue, juridiquement contraignante, des armes totalement autonomes fournirait plusieurs avantages distincts par rapport aux contraintes réglementaires formelles ou informelles. Elle optimiserait la protection des civils dans les conflits puisqu’elle serait plus exhaustive qu’une réglementation. Une interdiction serait également plus efficace puisque, bannissant l’existence des armes, elle serait plus facile à appliquer. De plus, une interdiction augmenterait la stigmatisation des armes totalement autonomes, créant une norme largement reconnue et influençant même ceux qui ne signent pas le traité.

Par contre, sous un régime réglementaire, une fois que des armes totalement autonomes apparaîtraient, elles seraient la proie de ceux qui voudraient les employer abusivement. Même si les réglementations restreignaient l’usage des armes totalement autonomes à certains lieux ou objectifs spécifiques, une fois que les armes auront fait leur apparition dans les arsenaux nationaux, les pays pourront être tentés de les employer de façon inappropriée dans le feu de l’action ou dans des circonstances désespérées (voir Assertion n°2). De plus, l’existence des armes totalement autonomes ouvrirait la porte à leur acquisition par des régime répressifs ou des groupes armés non étatiques, qui pourraient ne pas respecter les restrictions ainsi qu’altérer ou contourner les systèmes informatiques visant à réguler le comportement de l’arme. Ils pourraient utiliser les armes contre leur propre peuple ou contre les civils d’autres pays, avec des conséquences atroces.

L’application des réglementations sur les armes totalement autonomes, comme pour toutes les armes réglementées, ne manquerait pas d’être difficile et laisserait une marge à l’erreur, accroissant le risque d’attaques de civils. Plutôt que d’avoir la certitude que tout usage des armes totalement autonomes est illégal, les pays, les organisations internationales et les ONG seraient obligées d’assurer un suivi de l’utilisation de ces armes afin de déterminer dans, chaque cas, si elle est conforme à la réglementation. Les débats sur la portée des réglementations et leur application ne manqueraient pas de naître.

Les difficultés du contrôle de l’usage des armes totalement autonomes à travers des réglementations juridiquement contraignantes, toutefois, seraient encore plus prononcées si les gouvernements adoptaient une option non contraignante. Ceux qui soutiennent les bonnes pratiques plaident pour « laiss[er] d’autres processus, moins formels, prendre l’initiative, pour véritablement permettre à des normes largement partagées de fusionner dans un domaine très difficile ».[134] Dans la mesure où une approche « moins formelle » est une approche non contraignante, il est très improbable de pouvoir exercer une contrainte significative sur les gouvernements – notamment ceux qui ont déjà tendance à violer la loi – surtout sous la pression d’un conflit armé. De même, il est irréaliste de s’attendre à ce que les gouvernements, comme l’espèrent certains détracteurs, résisteront à leurs « instincts de secret et de réserve vis-à-vis des technologies d’armement » pour contribuer à un dialogue normatif sur l’usage approprié des armes totalement autonomes.[135] Si les pays comptent sur la transparence et attendent que « les normes fusionnent », qui plus est dans un « domaine très difficile », comme l’admet l’auteur,[136] ce type d’armes sera probablement déjà mis au point et déployé, et il sera alors probablement trop tard pour les contrôler.

Assertion n°12 : La garantie d’un contrôle humain pendant la conception et le déploiement des armes autonomes devrait suffire à résoudre les problèmes qu’elles posent.

Réfutation : Afin d’éviter les dangers des armes totalement autonomes, les êtres humains doivent exercer un contrôle significatif lors de la sélection et de la mise à feu des cibles pour les attaques individuelles. Seule l’interdiction des armes totalement autonomes peut effectivement garantir qu’un tel contrôle significatif soit exercé par les humains.

Analyse : S’il semble y avoir un large consensus sur le fait que toutes les armes devraient opérer avec au moins un certain degré de « contrôle humain », [137] certains opposants soutiennent que ce contrôle n’a pas besoin d’être exercé directement, sur chaque attaque individuellement.  D’après eux, le contrôle humain lors des phases de conception et de déploiement suffirait à devancer les problèmes liés aux armes totalement autonomes puisque ces armes fonctionneraient de façon prévisible.[138] Pourtant, des armes placées sous un contrôle aussi limité ne fonctionneraient probablement pas selon les attentes : or on ne peut qualifier le contrôle humain de significatif si des imprévus sont possibles.[139] Un contrôle humain significatif est essentiel pour éviter les dangers liés aux armes totalement autonomes.

Si le contrôle humain sur les armes était restreint aux phases de conception et de déploiement, l’imprévisibilité du fonctionnement des armes serait presque impossible à éviter. Les programmeurs ne pourraient pas toujours être sûrs de la façon dont ces armes de pointe, aux codes complexes, agiraient sur le terrain. Comme l’ont noté certains chercheurs, « aucun individu ne peut prédire l’effet d’une commande donnée avec une certitude absolue, puisque des portions de programmes très lourds pourraient interagir de façon inattendue et non testée ».[140] En outre, les actions de ces armes pourraient être influencées par des facteurs qui dépassent la programmation. Les armes pourraient compter sur des processus dynamiques d’apprentissage, ou qui adaptent les informations existantes à un usage dans de nouveaux environnements.[141] L’imprévisibilité des armes, qui seraient contrôlées par des humains seulement lors des phases précédant l’attaque, montrerait que ce contrôle n’est pas significatif.

L’absence de contrôle humain significatif conduirait à au moins trois des dangers fondamentaux engendrés par les armes totalement autonomes soulignés dans ce rapport. Premièrement, comme les humains ne pourraient pas préprogrammer les armes totalement autonomes pour réagir de façon prévisible aux situations imprévisibles, ces armes auraient beaucoup de mal à respecter le droit international humanitaire ou relatif aux droits humains, ce qui exige l’exercice d’un jugement humain (voir Assertions n°1 et 5). Deuxièmement, limiter le contrôle humain aux phases de conception et de déploiement conduirait à une lacune de la responsabilisation car les programmeurs et les commandants ne pourraient pas prédire à ces stades comment les armes agiraient sur le terrain et donc échapperaient à leur responsabilité dans la majorité des cas (voir Assertion n°3). Troisièmement, les armes totalement autonomes seraient incapables de respecter des cadres éthiques préprogrammés, vu leur caractère intrinsèquement imprévisible[142] et renoncer au contrôle humain sur les décisions d’utiliser la force dans des situations spécifiques franchirait un seuil moral (voir Assertion n°6).[143]

Le contrôle des humains doit être exercé sur les attaques individuelles pour être significatif et répondre à plusieurs des préoccupations soulevées au sujet des avancées technologiques dans les systèmes d’armes. Ainsi exercé, le contrôle favoriserait la légalité des armes en facilitant l’exercice d’un jugement humain dans des situations spécifiques imprévisibles. Il permettrait d’imposer une responsabilité juridique en établissant un lien entre un acteur humain et les dommages causés par une arme. Enfin, le contrôle humain significatif sur les attaques individuelles garantirait que la moralité joue un rôle dans les décisions impliquant la vie ou la mort d’êtres humains.

Opportunité et faisabilité d’une interdiction

Assertion n°13 : Il est prématuré d’interdire les armes totalement autonomes puisque des progrès technologiques sont possibles.

Réfutation : Ces armes extrêmement problématiques devraient être bannies de façon préventive afin de prévenir de graves préjudices humanitaires, et ce avant qu’il ne soit trop tard, conformément au principe de précaution.

Analyse : Les opposants soutiennent qu’il est prématuré d’interdire préventivement la mise au point, la production et l’utilisation des armes totalement autonomes. Ils avancent que :

La recherche sur les possibilités de prise de décision d’une machine autonome, pas seulement dans le domaine des armes mais pour de nombreuses activités humaines, n’existe que depuis quelques dizaines d’années. Nous ne devrions pas exclure à l’avance les possibilités d’aboutissements technologiques positifs – dont la mise au point de technologies de guerre qui pourraient réduire les risques pour les civils en rendant le ciblage plus précis et les décisions de faire feu plus contrôlées.[144]

Cette position dépend en partie de la conviction selon laquelle la technologie pourra résoudre les problèmes juridiques que posent les armes totalement autonomes – ce qui, comme l’explique l’Assertion n°1, paraît improbable, au mieux incertain. En même temps, elle ignore les autres dangers que présentent ces armes et qui ne sont pas liés aux perfectionnements technologiques, notamment la lacune de responsabilité, les objections morales et la possibilité d’une course à l’armement (voir Assertions n°3, 6 et 8).

Étant donné la foule d’inquiétudes causées par les armes totalement autonomes, elles devraient être interdites préventivement, avant qu’il ne soit trop tard pour changer de cap. Il est difficile d’arrêter une technologie une fois qu’il y a eu des investissements de grande échelle. La tentation d’utiliser une technologie déjà au point et intégrée aux arsenaux militaires serait trop forte. La plupart des pays seraient réticents à y renoncer, surtout si leurs adversaires la possédaient aussi.

En outre, si les recherches étaient autorisées actuellement, les armées déploieraient les armes totalement autonomes dans des circonstances complexes que l’intelligence artificielle ne pourrait pas encore surmonter. Ce n’est qu’une fois que les armes auront fait face à des situations non anticipées, auxquelles elles n’ont pas été programmées pour réagir, que la technologie pourrait être modifiée pour résoudre ces problèmes. Lors de cette période, l’arme commettrait probablement des erreurs dans la gestion de telles situations, ce qui pourrait causer des dommages importants aux civils et même aux forces amies.

La prédominance des préoccupations humanitaires et l’incertitude liée à la technologie font qu’il est approprié d’invoquer le principe de précaution, un principe du droit international. La Déclaration de Rio de 1992 énonce : « En cas de risque de dommages graves ou irréversibles, l'absence de certitude scientifique absolue ne doit pas servir de prétexte pour remettre à plus tard l'adoption de mesures effectives visant à prévenir la dégradation de l'environnement ».^[145] Si la déclaration de Rio applique le principe de précaution à la protection de l’environnement, ce principe peut aussi être adapté à d’autres situations.

Les armes totalement autonomes présentent les trois éléments essentiels du principe de précaution : la menace de dommages graves ou irréversibles, l’incertitude scientifique et la disponibilité de mesures rentables permettant de prévenir les dommages. La mise au point, la production et l’utilisation des armes totalement autonomes représente bien une menace envers les civils qui serait à la fois grave et irréversible, puisque cette technologie révolutionnerait les conflits armés et serait difficile à éliminer une fois inventée et utilisée. Quant à l’incertitude scientifique, c’est ce qui qualifie le mieux les débats autour de ces armes. Leurs partisans avancent qu’il n’y a aucune preuve que le problème ne pourrait pas être résolu par des corrections technologiques – mais il n’y a pas non plus de preuve que cela fonctionnerait. Enfin, si les négociations et l’application du traité engendreraient des coûts, ces dépenses ne seraient rien au regard des dommages énormes qu’ils pourraient éviter.

Il existe des précédents d’interdiction préventive d’une catégorie d’armes. Comme nous l’avons évoqué dans la partie Assertion n°4, en 1995, les États parties à la CCAC ont adopté une interdiction sur les lasers aveuglants avant même que ces armes n’aient commencé à être employées sur le terrain.^[146] Pendant les négociations, certains pays avaient exprimé au sujet des lasers aveuglants nombre de préoccupations similaires à celles qu’inspirent les armes totalement autonomes. Les négociations ont conduit à la naissance d’un nouvel instrument, le Protocole IV de la CCAC, qui s’est avéré efficace. En partant de ce modèle, les États devraient se mettre d’accord sur une interdiction similaire sur les armes totalement autonomes. Bien que ces deux types d’armes présentent des différences, la nature révolutionnaire des armes totalement autonomes renforce les arguments pour une interdiction préventive, au lieu de les affaiblir.[147]

Assertion n°14 : Une définition des armes totalement autonomes est nécessaire avant de pouvoir résoudre les problèmes qu’elles posent.

Réfutation : Une compréhension commune de ce qu’on entend par « armes totalement autonomes » (ou « systèmes d’armes létaux autonomes ») existe déjà dans une large mesure. Historiquement, il est souvent arrivé que les négociations sur le désarmement se mettent d’accord sur les définitions juridiques précises d’un traité après avoir résolu des questions plus substantielles.

 

Analyse : Certains opposants avancent que les discussions ne peuvent pas évoluer vers des négociations de traité tant qu'on ne dispose pas d’une définition détaillée de ce que sont les « armes totalement autonomes », que les États parties à la CCAC appellent aussi « systèmes d’armes létaux autonomes » (SALA).[148] Par exemple, un auteur note qu’« il ne semble y avoir aucun consensus sur la définition exacte des SALA [...]. C’est pourquoi de nombreux États [...] n’ont pas soutenu la proposition de certains États qui appelaient à interdire les SALA de façon préventive ».[149] Selon un autre, « interdire ce genre de systèmes avant de disposer d’un large consensus sur une définition ne serait pas pragmatique ».[150] Une compréhension commune, toutefois, devrait suffire pour faire avancer les débats.

La plupart des pays qui ont pris publiquement position sur cette question semblent être d’accord sur les éléments fondamentaux qui constituent une arme totalement autonome.  Premièrement, ils estiment que les armes totalement autonomes, malgré la rapidité des recherches, demeurent une technologie émergente qui n’existe pas encore.[151] Deuxièmement, ils sont d’accord pour dire qu’une arme totalement autonome correspondrait, comme le nom l’indique, à une technologie formant une arme ou létale.[152]

Troisièmement, la plupart des États qui se sont penchés sur le sujet décrivent les armes totalement autonomes comme des armes fonctionnant en l’absence de contrôle humain. La terminologie employée variait, de « contrôle humain significatif »[153]  à « degrés appropriés de jugement humain »,[154] ou encore « implication d’un être humain »,[155] mais il semble y avoir un accord presque universel sur le fait que les armes totalement autonomes sont celles qui échappent au contrôle humain. Plus précisément, même si on débat encore pour savoir de quelles fonctions exactement est absent le contrôle humain, un consensus émerge autour de l’idée qu’on parle d’arme totalement autonome lorsque les fonctions de combat clés, en particulier la sélection et l’attaque des cibles, ne sont pas contrôlées par l’être humain.[156]

Historiquement, au cours des négociations des traités de désarmement, on constate que les compréhensions communes ne deviennent des définitions juridiques détaillées qu’à la fin du processus. Pour le traité sur l’interdiction des mines,[157] la Convention sur les armes à sous-munitions[158] et le Protocole IV de la CCAC sur les armes à laser aveuglant, les objectifs, la portée et les obligations du traité en cours de négociation ont été déterminés avant les définitions définitives. L’ébauche initiale de la Convention sur l’interdiction des mines avait circulé avec une définition des mines antipersonnel tirée du Protocole II amendé de la CCAC.[159] Cette définition n’était qu’un point de départ et a été revue dans les versions ultérieures du texte. Elle était encore débattue lors de la conférence finale de négociation du traité.[160] De même, l’histoire des négociations de la Convention sur les armes à sous-munitions a débuté par une déclaration dans laquelle les États, lors d’une conférence internationale, s’étaient engagés à adopter une interdiction des « armes à sous-munitions qui causent des préjudices inacceptables aux civils ».[161] Même si les États ont débattu de la définition d’« armes à sous-munitions » lors des réunions diplomatiques qui ont suivi, ils ne sont pas parvenus à fixer la définition à adopter pour « armes à sous-munitions » avant les négociations finales.[162] Les documents de travail et les ébauches de protocoles issus des réunions du Groupe d’experts gouvernementaux de la CCAC portant sur les lasers aveuglants révèlent la même tendance : la définition de travail ne contenait que les éléments fondamentaux de la définition finale, qui a été élaborée plus tard, au cours des négociations.[163]

Il existe déjà un consensus international suffisant sur les éléments clés définissant les armes totalement autonomes pour procéder aux négociations. Se perdre dans les détails d’une définition sans déterminer au préalable les objectifs de la négociation serait d’ailleurs improductif. Il serait plus efficace de décider les interdictions ou restrictions à imposer à la catégorie d’armes en général, avant de détailler à quelles armes exactement s’appliquent ces interdictions ou restrictions. La communauté internationale devrait donc se concentrer sur l’articulation des buts, de la portée et des obligations d’un futur instrument. La définition juridique définitive des armes totalement autonomes pourra être négociée à un stade ultérieur.

Assertion n°15 : De précieux progrès de la technologie des machines autonomes seront perdus si on interdit la conception d’armes totalement autonomes.

Réfutation : Une interdiction n’étoufferait pas les progrès de la technologie des machines autonomes puisqu’elle ne s’appliquerait pas à la technologie des systèmes totalement autonomes qui ne sont pas des armes, ni à celle des systèmes d’armes semi-autonomes.

Analyse : Certains critiques s’inquiètent de la trop vaste portée d’une interdiction des recherches. Ils expriment la préoccupation du fait que cela implique d’interdire « même la mise au point de technologies ou composants d’automation qui seraient susceptibles de conduire à des systèmes d’armes létaux totalement autonomes ».[164]  Ces opposants craignent par conséquent que l’interdiction empêche d’explorer des technologies autonomes bénéfiques comme les voitures sans conducteur.

En réalité, l’interdiction s’appliquerait uniquement aux recherches sur les armes totalement autonomes, c’est-à-dire des machines capables de choisir et d’attaquer des cibles sans contrôle humain significatif. Les activités de recherche et de mise au point seraient prohibées si elles étaient orientées vers une technologie qui ne pourrait être utilisée que pour les armes totalement autonomes ou qui serait explicitement conçue pour être utilisée à l’intérieur de ces armes. Une interdiction des recherches sur les armes totalement autonomes n’empêcherait en rien celles portant sur la technologie des robots totalement autonomes qui ne sont pas des armes, avec la possibilité de nombreuses applications positives non militaires.  

L’interdiction n’engloberait pas non plus la mise au point d’armes semi-autonomes, comme les drones armés télécommandés, qui existent déjà.

Vu à quel point il est important que les armes totalement autonomes n’entrent pas dans les arsenaux nationaux (voir Assertion n°13), une interdiction de leur mise au point devrait être adoptée même si sa portée est restrictive. Intégrer une telle interdiction dans un traité engagerait légalement les États parties à ne pas commander de recherches portant spécifiquement sur les armes totalement autonomes et à ne pas prendre de mesures pour convertir d’autres technologies totalement autonomes en armes de ce type. En stigmatisant la recherche tout autant que l’utilisation, cela créerait aussi une norme plus solide contre les armes totalement autonomes, donc pourrait même influencer les groupes armés, étatiques ou non, qui n’ont pas signé le traité.

Assertion n°16 : Une interdiction internationale des armes totalement autonomes n’est pas réaliste et ne serait pas efficace.

Réfutation : Les succès passés du désarmement, le soutien grandissant en faveur d’une interdiction et l’ampleur que prend le débat international sur le sujet suggèrent qu’une interdiction est non seulement réaliste, mais aussi la seule option efficace pour résoudre la question des armes totalement autonomes.

Analyse : Certains opposants qualifient d’« irréaliste » une interdiction absolue de la conception, de la production et de l’utilisation des armes totalement autonomes.^[165] Ils écrivent : « Notre désaccord concerne en partie les difficultés pratiques qui attendent les interdictions légales internationales portant sur les technologies militaires (nous pensons que de tels efforts échoueront probablement) ».^[166] D’autres critiques estiment que même si cette interdiction pouvait être adoptée, elle ne serait pas appliquée puisque soit les États ne la signeraient pas, soit ils ne la respecteraient pas.[167] Ces critiques oublient de considérer les parallèles qu’on peut faire avec les efforts de désarmement passés qui ont apporté des bénéfices humanitaires, ainsi que le soutien grandissant au fait conserver un contrôle humain significatif sur les décisions d’utiliser la force létale.

De solides précédents existent pour interdire les armes soulevant de graves préoccupations humanitaires. La communauté internationale a déjà adopté des interdictions juridiquement contraignantes sur les gaz létaux, les armes biologiques, les armes chimiques, les mines antipersonnel et les armes à sous-munitions, ainsi qu’une interdiction préventive sur les lasers aveuglants, qui en étaient encore au stade de recherche. Les opposants aux instruments portant sur les mines terrestres et les armes à sous-munitions avaient fréquemment déclaré qu’un traité d’interdiction ne serait jamais possible. Pourtant le succès rencontré par ces interdictions montre que leur scepticisme était infondé. Le nombre d’États qui signent ces traités et le respect des interdictions observé dans l’ensemble illustrent l’efficacité et la pertinence du processus de désarmement humanitaire pour protéger les civils des souffrances. 

Les efforts pour prendre en charge les dangers liés aux armes totalement autonomes suivent un chemin semblable aux instruments de désarmement humanitaire précédents. Avril 2013 a marqué le lancement de la Campagne contre les robots tueurs, qui appelle à une interdiction absolue de la conception, de la production et de l’utilisation des armes totalement autonomes. Cette campagne ressemble aux coalitions formées précédemment par la société civile, notamment la Campagne internationale pour interdire les mines et la Coalition contre les armes à sous-munitions.

Le soutien du public en faveur d’une interdiction a renforcé la position de cette campagne. En novembre 2016, plus de 3 000 experts en robotique et chercheurs en intelligence artificielle ont signé une lettre ouverte de 2015 appelant à interdire les armes totalement autonomes. D’après eux, « de même que la plupart des chimistes et des biologistes n’ont aucun intérêt à inventer des armes chimiques ou biologiques, la plupart des chercheurs en intelligence artificielle n’ont aucun intérêt à construire des armes douées d’intelligence artificielle – et ne veulent pas non plus que d’autres ternissent l’image de leur spécialité en le faisant, ce qui pourrait créer un réaction négative majeure contre l’intelligence artificielle de la part du public, coupant court à ses bénéfices sociaux futurs ».[168] Les enquêtes ont également révélé un important soutien en faveur de l’interdiction. Par exemple une enquête internationale menée en 2015 a constaté que 67 % des personnes interrogées pensaient que les armes totalement autonomes devaient être bannies à l’échelle mondiale (Voir Assertion n°4).[169]

Puis les gouvernements sont entrés dans le débat sur les armes totalement autonomes. Peu après le début de la pression exercée par la société civile, ils ont inscrit le sujet à l’ordre du jour de la CCAC, un point très important puisque le processus de la CCAC avait déjà abouti à l’interdiction préventive sur les lasers aveuglants et servi d’incubateur pour les interdictions des mines terrestres et des armes à sous-munitions. Depuis 2014, les États parties à la CCAC ont tenu trois réunions d’experts informelles qui se sont penchées de manière approfondie sur les questions entourant les systèmes d’armes létaux autonomes. Au cours de ces rencontres, de nombreux États ont reconnu la nécessité de prendre en charge le problème de ces armes d’une façon ou d'une autre. Quatorze États ont exprimé leur soutien explicite à l’interdiction.[170] Les États parties qui assistaient à la réunion d’experts de 2016 ont recommandé que la Cinquième conférence d’examen, qui doit se tenir en décembre 2016, envisage de mettre en place un Groupe d’experts gouvernementaux plus formel afin de faire progresser les discussions.[171]  Désormais, c’est le rôle de la Conférence d’examen que de veiller à ce que les États accélèrent le rythme et passent à l’étape suivante, vers un instrument qui bannira toute conception, production et utilisation des armes totalement autonomes.

Pour aboutir à un traité d’interdiction, il faudra certainement beaucoup de travail et de volonté politique. Mais les précédents et l’évolution récente suggèrent qu’une interdiction juridiquement contraignant des armes totalement autonomes serait le moyen le plus réaliste et le plus efficace de résoudre les dangers que représentent ces armes.

 

Remerciements

Ce rapport a principalement été rédigé, revu et corrigé par Bonnie Docherty, chercheuse senior auprès de la division Armes de Human Rights Watch et instructrice clinique senior à l’International Human Rights Clinic (IHRC). Joseph Crupi, Anna Khalfaoui et Lan Mei, étudiants à l’IHRC, ont apporté d’importantes contributions aux recherches, à l’analyse et à la rédaction du rapport. Steve Goose, directeur de la division Armes, et Mary Wareham, directrice du plaidoyer de cette division, ont revu et corrigé le rapport. Dinah PoKempner, avocate générale, et Tom Porteous, directeur adjoint des Programmes, ont également revu le rapport. La traduction en français a été réalisée par Zoé Deback, et revue par Peter Huvos.

Ce rapport a été préparé pour la publication par Marta Kosmyna, associée senior de la division Armes, par Fitzroy Hepkins, responsable administratif, et par Jose Martinez, coordonnateur senior. Russell Christian est l’auteur du dessin en couverture.