Back to
Événements
Publié le
Vendredi 18 Décembre 2015
Jeudi 14 Janvier 2016
11h45 à 14h30
Dans le cadre du cycle de débats mensuels "Mutations technologiques, mutations sociales", la quatrième rencontre "Le risque technologique à l'ère du tout numérique" a eu lieu le 14 janvier 2016.

Les avancées numériques et les transformations sociales résultantes ou motrices de ces innovations suscitent enthousiasmes, débats et controverses, tant sur leur portée que sur les opportunités ou les risques qu’elles recèlent. Pour éclairer ces questions, France Stratégie organise avec l’EHESS et Inria un cycle de débats mensuels Mutations technologiques, mutations sociales. Ce cycle propose d’instaurer un dialogue entre experts, suivi d’un débat engagé librement avec des personnalités de la décision publique, de la recherche, du monde associatif ou économique, spécialistes de ces sujets.

Cette rencontre, « Le risque technologique à l'heure du tout-numérique », a été introduite par Gérard Berry, professeur au Collège de France, chaire « Algorithmes, machines et langages », et Jean-Baptiste Fressoz, chargé de recherche au CNRS.

Compte rendu

À l’ère du tout numérique, les bugs informatiques peuvent avoir des conséquences graves dont l’évaluation collective est actuellement inexistante. Parce qu’ils sont dépourvus de processus d’autocorrection, les microprocesseurs sont par essence de formidables « amplificateurs d’erreur ». Or 98 % d’entre eux sont présents dans les objets et les machines sans nécessairement d'interface humaine. Du vote électronique au pilotage automatique des avions et à terme des automobiles, la qualité des logiciels est-elle adaptée aux enjeux des fonctionnalités qu’ils commandent ? Quel contrôle peut aujourd’hui exercer le corps social sur cette qualité et de quels moyens de régulation dispose-t-il pour réduire les risques ?

Aux origines du bug informatique : incompétence et réduction des coûts

Pour Gérard Berry, professeur au Collège de France, les bugs sont avant tout la conséquence d’une méconnaissance de l’essence même du sujet. Les techniques de développement comme les modes de surveillance actuellement employés en informatique relèvent encore trop fréquemment d’un raisonnement intellectuel hérité des sciences naturelles – centrées sur le triptyque « matière-énergie-onde » – et des logiques industrielles. Si la résolution des problèmes de sécurité et de sûreté informatique progresse si peu depuis quarante ans, c’est par défaut d’acculturation. L’enseignement de l’algorithmique et du traitement de l’information de même que la valorisation de cette expertise en entreprise sont très insuffisants. Dans l’industrie automobile par exemple, les tests de sécurité sont essentiellement fonctionnels parce que les logiciels sont encore considérés comme des composants physiques jusque dans leur nom (electronic control unit) ! Or le bug est par essence non fonctionnel. Il résulte d’une erreur d’écriture, d’une « panne humaine » comme le résume Gérard Berry. Un logiciel est par définition « hyper-rapide, strictement exact et stupide », c’est-à-dire incapable de s’auto-corriger. Une erreur unique sur des millions de lignes de code suffit donc à le faire buguer et la notion de probabilité d'erreur n'a pas de sens dans le domaine.

Comment réguler le « Far West numérique » ?

Dans ce contexte et à défaut de normes contraignantes ou d’obligation de transparence, certains secteurs (l’avionique, le ferroviaire) et certaines entreprises (Intel, après de douloureuses expériences) investissent massivement dans le développement et la sécurité informatique parce que le coût anticipé d’un bug constitue, pour elles, une incitation suffisante. D’autres en revanche (l’automobile par exemple) continuent de « surfer sur la tolérance du client » et l’absence notoire d’analyse sociale des risques et responsabilités.

Pour Jean-Baptiste Fressoz, historien des sciences au CNRS, l’histoire de la révolution industrielle propose rétrospectivement des éléments de réponse. Les grands principes de la régulation des risques technologiques naissent en France aux lendemains des controverses sociales provoquées dans les années 1820 par l’introduction des machines à vapeur et de l’éclairage au gaz. Outil traditionnel de la régulation, la surveillance policière se heurte à l’opposition des artisans et des industriels, dont l’horizon d’activité est rendu trop incertain par le risque d’interdiction. Poussée par Jean-Antoine Chaptal, alors ministre de l’Intérieur, l’autorisation administrative (au fondement de la règlementation toujours en vigueur des établissements classés) vient s’y substituer en transférant le pouvoir à un corps de contrôle qui saura parfois être accommodant. Vient ensuite la normalisation, qui a pour double avantage de sécuriser l’horizon d’activité des industriels et de « créer des individus responsables » que la justice pourra, le cas échéant, faire comparaître. Quant au principe de compensation, il date de la même période et vise, comme nos actuels droits à polluer, l’incitation à la sécurité par l’amende.

La connaissance et l’anticipation, clés de voûte d’une régulation efficace

Quel est le bilan de ces outils ? Pour Jean-Baptiste Fressoz, il est très mitigé. La régulation obtenue a davantage produit de la légitimation des activités industrielles que de la protection réelle des écosystèmes. Faut-il en conséquence appliquer les mêmes principes au numérique ? Oui estime Gérard Berry. Les entreprises doivent non seulement tester systématiquement leurs logiciels – pour supprimer les bugs ayant un impact sur la fonctionnalité « normale » - mais également et surtout effectuer des vérifications mathématiques automatisées pour parer les failles de sécurité qui permettent aux pirates d’entrer dans les systèmes. Cette dernière opération, seule à même de garantir formellement l’absence de bug, a cependant un coût élevé. Poser cette exigence a donc un préalable : l’analyse sociale des risques, l’acculturation et la clarification des responsabilités. Tant qu’il n’y a pas eu de procès, aucune règle ne détermine par exemple aujourd’hui qui du conducteur ou du constructeur automobile est responsable en cas de défaillance du système d’un organe commandé par informatique comme le contrôle moteur ou le freinage d’un véhicule. Même faille juridique pour le vote électronique en cas d’erreurs de comptage ou de bourrage électronique des urnes, ou pour le cloud computing en cas de perte de données ! Nous sommes en quelque sorte encore à l’ère de « l’impunité » et nous n’en sortirons que si les instances de régulation responsables et les citoyens-consommateurs décident (enfin) « d’entrer dans la compréhension » du sujet, si complexe soit-il. La règlementation Hadopi est en ce sens emblématique puisqu’elle vient, faute d’expertise, réguler une pratique, le téléchargement, au moment où celle-ci cède la place à une autre, le streaming ! Cet exemple parmi d’autres montre qu’à l’ère du numérique, c’est par la reconnaissance de l’informatique comme science et par l’anticipation que se réguleront efficacement les risques associés aux activités et aux modèles économiques émergents.

France Stratégie a lancé avec l'EHESS et l'Inria un cycle de débats mensuels "Mutations technologiques, mutations sociales.

 

 

Tous nos travaux sur  :