Boeing går ned og Uber -kollision viser, at passagersikkerhed er afhængig af virksomhedsløfter, ikke regulators test

Avancerede teknologier leverer fordele hver dag. Men, nogle gange kan interaktioner med teknologi gå galt og føre til katastrofe.

Den 10. marts, piloterne ombord på Ethiopian Airlines Flight 302 var ikke i stand til at rette en fejl i et af Boeing 737 Max 8s automatiserede systemer, resulterede i et nedbrud og dødsfald for alle passagerer og besætning. Et år tidligere, næsten til dagen, et andet automatiseret køretøj-ikke et fly, men en Uber selvkørende bil-ramte og dræbte Elaine Herzberg i Tempe, Arizona.

Som eksperter i hvordan mennesker og teknologier interagerer, vi ved, at det er umuligt helt at eliminere risiko i komplekse teknologiske systemer. Disse tragedier er resultatet af tilsynsmyndigheder og brancheeksperter, der overser kompleksiteten og risikoen ved interaktioner mellem teknologier og mennesker og i stigende grad er afhængige af virksomheders frivillige egenvurdering, frem for objektiv, uafhængige tests. Tragisk, det ser ud til at være sket med Boeings fly og Uber -bilen.

Risikofyldt forretning

Nedbruddet af Ethiopian Airlines Flight 302, såvel som Lion Air Flight 610 i 2018, sket på trods af tilsyn fra en af ​​de mest teknologisk dygtige regulatorer i verden. Flyrejser er bemærkelsesværdigt sikre i lyset af de potentielle risici.

Inden 737 Max 8 tog til luften, den skulle bestå en række inspektioner fra Federal Aviation Administration. I løbet af den proces, Boeing overbeviste FAA om, at det automatiserede system var sikrere, end det faktisk var, og at piloter ville have brug for meget lidt uddannelse på det nye fly.

FAA godkendte 737 Max 8 og dens flyvekontrolsystem til at flyve - og beholdt denne clearing ikke kun efter Lion Air -styrtet, men også i tre dage efter tragedien fra Ethiopian Airlines.

Fra fly til biler

Efterhånden som flyautomatiseringen stiger, det samme gælder for biler. Forskellige virksomheder tester autonome køretøjer på veje rundt om i landet - og med langt mindre tilsyn end luftfartsindustrien. Lokale og føderale regler er begrænsede, ofte for at fremme innovation. Føderale sikkerhedsretningslinjer for autonome køretøjer kræver, at de kun består de samme ydelsestest som enhver anden bil, som minimumsstandarder for brændstoføkonomi, sikkerhedssele -konfigurationer, og hvor godt de vil beskytte passagerer i et vælteruheld.

Der er ingen pålidelighedstest af deres sensorer, langt mindre deres algoritmer. Nogle stater kræver, at virksomheder rapporterer "frakoblinger"-når den såkaldte "sikkerhedschauffør" genoptager kontrollen over det automatiserede system. Men for det meste får de selvkørende bilfirmaer lov til at gøre, hvad de vil, så længe der er en person bag rattet.

I månederne før kollisionen i marts 2018, Uber var under pres for at indhente GM Cruise og Waymo. Ubers biler havde et følsomt objektgenkendelsessystem, som til tider ville blive bedraget af en skygge på vejen og bremse for at undgå en forhindring, der faktisk ikke var der. Det resulterede i en hård, stop-og-start-tur. For at udjævne tingene, Ubers ingeniører deaktiverede bilens nødbremsesystem. Virksomheden ser ud til at have antaget, at den eneste sikkerhedschauffør altid ville være i stand til at stoppe bilen i tide, hvis der virkelig var fare for at ramme noget.

Det er ikke det, der skete, da Elaine Herzberg krydsede vejen. Den selvkørende bil Uber, der ramte og dræbte hende, så hende med sine sensorer og kameraer, men var ikke i stand til at stoppe på egen hånd. Sikkerhedschaufføren ser ud til at være distraheret af sin telefon - i strid med Ubers politikker, selvom det er uklart, hvordan virksomheden orienterede sine sikkerhedschauffører om ændringen af ​​det automatiserede system.

Politiet selv

Tilsynsmyndigheder stoler på sikkerhedsvurderingspraksis, hvorved private virksomheder står inde for, at deres egne produkter overholder føderale standarder. De bedste forsikringer, de - og medlemmer af offentligheden - har for disse køretøjers sikkerhed og pålidelighed, er garantierne for de virksomheder, der har til hensigt at sælge dem.

Hvilke rapporter virksomheder giver, kan være slanke om hårde beviser, udråber antallet af reelle og simulerede kørte miles, uden detaljer om, hvordan bilerne klarer sig under forskellige forhold. Og bilfirmaer frigiver konstant nye modeller og opgraderer deres software, tvinger menneskelige chauffører til at lære om de nye funktioner.

Dette er desto mere irriterende, fordi der er langt flere biler på vejene, end der er fly i luften - 270 millioner biler registreret i USA alene, sammenlignet med 25, 000 kommercielle fly på verdensplan. Ud over, selvkørende biler skal håndtere ikke bare vejrforhold, men også interaktioner af nært hold med andre biler, fodgængere, cyklister og e-scootere. Sikkerhedschauffører får ikke nær den mængde uddannelse, som piloter laver, enten.

Arizona, hvor vi er baseret, er et populært sted for offentlig test af autonome køretøjer, dels på grund af et mere løst tilsyn end i andre stater. I Phoenix -området, imidlertid, der er en stigende offentlig bekymring for sikkerheden. Nogle borgere chikanerer autonome køretøjer i bestræbelserne på at afskrække dem fra at køre gennem deres kvarterer. Som en indbygger i Arizona fortalte The New York Times, den autonome bilindustri "sagde, at de har brug for eksempler fra den virkelige verden, men jeg vil ikke være deres virkelige fejl. "

Forbindelse med offentligheden, forny ansvarligt

In the absence of federal safety standards for autonomous vehicles, states and local governments are left to protect the public – often without the expertise and resources to do so effectively. In our view, this doesn't mean banning the technology, but rather insisting on corporate transparency and true regulatory oversight.

Engaging the public about what's happening and who is – and isn't – protecting their safety can help officials at all levels of government understand what their citizens expect, and push them to ensure that technological innovation is done responsibly.

Universities can play an important role in supporting responsible innovation on these issues. The Arizona State University Center for Smart Cities and Regions is working with the Consortium for Science, Policy and Outcomes to host public forums on self-driving cars in cities across the U.S. and Europe.

Airplane and car passengers need to trust their vehicles and understand what risks are unavoidable – as well as what can be prevented. Relying on industry to self-regulate when lives and public trust are at stake is not a viable path to ensure that rapidly emerging innovations are developed and deployed responsibly. To the riders, customers and others sharing the road and the skies, there is only one bottom line – and it doesn't have a dollar sign attached to it.

Denne artikel er genudgivet fra The Conversation under en Creative Commons -licens. Læs den originale artikel.