Aufmacherbild: (c) Google
Vor einigen Wochen kam ich mit ein paar Forschern auf ein Thema, dass alle verunsichert: was, wenn ein Auto das selber fährt in einer kritischen Situation die Frage entscheiden muss: wessen Leben ist mehr wert? Und dazu alles an Fakten hat, um diese Entscheidung zu treffen…
Das Schreckensszenario sieht so aus…
Wenn man mit Leuten, die schon einige Zeit dabei sind, über digitale Zukunftsszenarios spricht, so von Digisaurier zu Digisaurier, dann gibt es da ein paar sehr heftige Ängste was die Welt von morgen betrifft. Auch bei den Profis…
Ein solches Zukunfts-Szenario trifft das autonome Auto – also zum Beispiel das Google Auto: Eine junge Familie mit zwei kleinen Kindern sitzt in so einem selbstfahrenden Auto. In der Stadt. Ihnen kommt ein LKW entgegen der plötzlich von der Spur abkommt und leicht entflammbares Gut geladen hat. Es gibt keine Chance mehr auszuweichen oder zu bremsen. Der einzige Ausweg: der Gehweg. Aber da ist eine 80-jährige Frau unterwegs, die vermutlich mit tödlichem Ausgang überfahren werden würde beim Ausweichmanöver. Die Alternative: den Crash zulassen – aber LKW gegen Auto heißt: schlechte Überlebenschance für die Familie. Auf jeden Fall schwerste Verletzungen. Und das System hat nur Bruchteile von Sekunden, um zu entschieden, bevor das Entscheidungsfenster vorbei ist.
Die Kosten von Leben und Tod kann man ausrechnen…
Man kann das wirklich alles in Zahlen fassen, in Werte und Kosten – und dann kann eine mathematische Formel, ein Algorithmus in Sekundenbruchteilen solche Fragen entscheiden. Das wissen natürlich die Entwickler bei Google und Tesla, bei Audi und Mercedes die ein selbstfahrendes Auto entwickeln sollen. Nur die Ethik, die ist da schwer reinzupacken in diese Formel. Lediglich die Fakten sind klar – denn in einer mobilen Zukunft könnten die Fahrzeuge über alles Bescheid wissen. Car to car und car to infrastructure heißt das. Und Big Data ist das andere Stichwort. Zusammengenommen heißt das:
- Das Auto weiß, was der LKW gefährliches geladen hat
- Es kennt Konstruktion und Stabilität von PKW & LKW
- Es kann die Crashfolgen ausrechnen
- Es weiß, wer die alte Frau ist, die auf dem Gehweg unterwegs ist
- Es weiß, dass das kleine Auto vollbesetzt ist und…
- …es kann sogar verschiedene Szenarien ausrechnen, wie der Crash ausgeht und wie groß der Schaden jeweils wäre…
Alte Frau oder Familie? Wer will so etwas entscheiden? Wir Menschen reagieren irgendwie intuitiv, instinktiv – wir schätzen nicht ab ob falsch oder richtig. Aber was machen Algorithmen?
Die Mischung in der Entwicklung machts…
Kurz: Eine dramatische Entscheidung. Eine Wahl zwischen Pest und Cholera. Wird das Auto das Richtige entscheiden? Die Cloud das Korrekte veranlassen? Wird der Algorithmus Ethik einprogrammiert haben? Wie soll das alles gehen?
Das alles wird heute und morgen von der Qualität unserer Forscher und Entwickler abhängen. Und von der Zusammensetzung der Forschergruppen. Nicht nur in diesem Bereich.
Innovation, gute Ideen, positives Denken ist natürlich gefragt. Aber es gibt noch eine Gruppe die wichtig ist und die nicht selten aus der Abteilung Digisaurier kommt: Eine Gruppe, die man oft nicht mag in den Innovations-Schmieden dieser Welt. Die Nervensägen, die Bedenkenträger, die Angsthasen… Braucht man die? Ich habe eine extrem gute Antwort darauf gehört.
Ein Hoch auf die Nervensägen!
Ich saß bei verschiedenen Gelegenheiten mit vielen Experten und Forschern zusammen. Und einige lenkten meinen Blick auf den immer schon währenden Kampf bei Technologie und Innovation. Den Kampf zwischen denen, die nach vorne streben und denen die eher bremsen. Ein Satz ist mir im Gedächtnis geblieben…
„Es geht um den Kompromiss zwischen den beiden Kräften. Die müssen sich auf eine Geschwindigkeit einigen. Für erfolgreiche Innovation war immer schon dieser erfolgreiche Kompromiss entscheidend…“
Also: ein Hoch auf die Nervensägen?
Auf eine Art: Ja. Das was man den Deutschen – gerade bei Forschung und Entwicklung – im Gegensatz zu anderen Ländern oft vorwirft, ist die „Behäbigkeit“. Das gründliche immer wieder abwägen, bevor sie entscheiden. Aber wenn es um mehr geht, als die vernetzte Kaffeemaschine, dann ist das genauso wichtig, wie der Mut zu radikal anderen Ideen, zu Innovationen. Oder der Mut einfach mal anzufangen, auch wenn man noch nicht alles im Griff hat. Wenn also einer das völlig autonome Fahrzeug entwickeln will, dann sollte er auf die Balance achten. Das ist eine Frage der Ethik beim autonomen Fahren. Ein Frage der Ethik die sich beispielsweise die deutsche Automobilindustrie stellen muss. Denn im Zweifelsfall ist der eine Moment Nachdenken beim Entwickler wichtiger, als das eilige auf den Markt kommen. Einfach weil es schnell um Leben und Tod gehen kann. Und darum glaube ich, ist Deutschland gar nicht so schlecht in Sachen Forschung und Entwicklung, wenn es um Nachhaltigkeit und Ethik geht. Zum Beispiel in Sachen autonomes Fahren.
Ich will zu diesem Thema für einen weiteren Artikel auf www.digisaurier.de noch einiges recherchieren – wo stehen wir, wo geht es hin? Aber für so einen Text interessiert mich auch vor allem Eure und Ihre Meinung zu dem Thema. Wollen wir selbstfahrende Autos? Ist das eine völlig bescheuerte Idee? Dürfen Fahrzeuge oder Systeme solche wichtigen Dinge wirklich „entscheiden“? Ist die mathematische Entscheidung vielleicht sogar die bessere? Kommentare, Vorschläge? Lesetipps? Ich bin gespannt…
Ein paar Links haben wir auch für euch: zum Thema geschrieben haben Die Zeitung „Die Welt“, die FAZ unter der Überschrift „Fahren nach Zahlen“ und natürlich auch die Webseite Autonomes Fahren.
Aber nicht vergessen: ich brauche Eure und Ihre Meinungen, Lesetipps und Gedanken!
UPDATE: Ich habe einige der in Facebook entstandenen Diskussionen unten in den Bereich Kommentare als „Facebook-Dialog“ eingebunden, damit man die Gedanken auch hier auf einem Fleck finden kann.
Achja: wenn dieser Artikel spannend war – dann freuen wir uns als „Honorar“ über ein Like oder ein Teilen ;-)
Das geht mir dazu durch den Kopf (und nein, ich bin nicht zynisch, ich bin Autist):
Eine industrielle Ethik würde wohl eine Kosten-/Nutzenrechnung machen. Dann wäre das alte Muttchen dran. Solche Kosten-/Nutzenrechnungen können allerdings zu kurz „gedacht“ sein, denn vieles, was „noch hinten dran hängt“, muss sich zwangsläufig der Datenbank entziehen. Niemand kann wissen, auch kein Computer (keine Datenbank), ob die alte Frau nicht am nächten Tag eine Begegnung mit einem jungen Menschen hätte, die aus diesem jungen Menschen eine Person mit unermesslicher Bedeutung für die Menschheit machen würde. Und sie kann auch nicht im Voraus wissen, dass die Kinder, die im Wagen sitzen, keinesfalls den von den Daten berechneten Weg einschlagen und tüchtig was fürs Bruttosozialprodukt tun, sondern ihr sehr langes Leben als Hartz-IV-Empfänger next generation verbringen werden.
Eine logische Entscheidung wäre, dass ohne Ansehen der Personen immer die am unmittelbarsten Beteiligten betroffen wären. Also hier die Autoinsassen, die das Pech haben, auf der kritischen Route zu sein. Die alte Frau, die nicht im Weg ist, muss ungeschoren bleiben. Es sei denn, sie fällt einer davonfliegenden Autotür zum Opfer. Dann ist es eh wurscht.
Autonomes Fahren ist gut und wird kommen. Wir werden dadurch weniger Verkehrsunfälle erleben und der Verkehr wird flüssiger laufen. Aus meiner Sicht ist die Lösung für das Ethik-Thema die, die Entscheidung eben nicht dem Auto-Computer oder einer anderen technischen bzw. rechtlichen Instanz zu überlassen. Wenn ein neuer „Fahrer“ vom System erkannt wird, bekommt dieser vor der 1. Fahrt vom Bordcomputer ein paar Fragen gestellt, die er mit harten Entscheidungen beantworten muss. Das Auto lernt daraus, welche (ethische) Haltung und Aktionen in Sinne des Fahrers in solchen Situationen „angemessen“ sind. Der Fahrer ist damit auch nicht aus der Haftung raus, wenn das Auto sich im Notfall entsprechend seinem moralischem Kodex verhalten hat.
Ich habe auf meinem Blog „Kemperzone“ einen (nur leicht polemischen) Debattenbeitrag zum Thema „warum wir nie autonome Autos kriegen werden“ veröffentlicht:
http://zonenblog.blogspot.de/2015/08/warum-autonome-autos-niemals-realitat.html
Ich glaube, da sind noch extrem viele Probleme zu lösen, die schlechterdings nicht lösbar sind. Im Moment ist es noch so, dass bei jedem Auto der Fahrer dafür haftet, was das Auto tut. das dürfte auch die Verbreitung der autonomen Autos extrem hemmen, denn es gibt ja für einen Fahrer nix ätzenderes, als wenn er stundenlang seinem Auto beim Fahren zusehen muss, zur Untätigkeit verdammt, aber immer bereit und hellwach, um einzugreifen, wenn er eingreifen soll.
Sollte dieses Level mal überschritten werden, dann müssen Computer mit Menschen interagieren. Sie dürfen sie aber nie unterdrücken, sonst droht Skynet. Menschen billigt unsere Gesellschaft das Recht auf intellektuelle Fehlleistungen zu, und zwar in einem fein gesponnenen, über Jahrhunderte entwickelten Netz aus Abhängigkeiten. So gilt zum Beispiel in der deutschen Rechtssprechung ein Hund mehr als eine Katze. Das führt in der Praxis dazu, dass jemand, der mit seinem Auto einem Hund ausweicht und deshalb mehr Schaden anrichtet als wenn er den Hund überfahren hätte, nicht bestraft wird. Eine Katze dagegen muss er über den Haufen fahren, bevor er in den Gegenverkehr zieht. Wer das nervlich nicht drauf hat, so die Verkehrsrichter, der ist eben für den Verkehr nicht geeignet.
Wenn es darum geht, unschuldige Menschen einem höheren Ziel zu opfern, dann werden gesellschaftlich superdicke Bretter gebohrt. Ich erinnere mich an die langen, öffentlichen Debatten zum finalen Rettungsschuss und zum Recht, vollbesetzte Passgierflugzeuge abzuschießen, wenn Terroristen sie als Bombe benutzen wollen. Diese Entscheidungen sind seltene Einzelfälle, und sie müssen immer von einem Gremium von Menschen getroffen werden, die hinterher dafür gerade stehen. Das kann meines Erachtens ein von Menschen programmierter Algorithmus nicht leisten. Per Definitionem ist ein Menschenleben immer gleich viel wert, egal ob es ein Harvard-Stipendiat oder eine 85-jährige, bettlägrige Greisin ist. Eine Maschine, die nach – womöglich noch geheimen – Regeln über Wert und Unwert von Menschen entscheidet, würde unseren humanistischen Grundregeln widersprechen. Ganz abgesehen davon, ob ein vollautonomes Auto jemals so akkurat funktionieren wird, dass es ein Gewinn ist.
Hier noch ein interessanter Dialog von Hans-Joachim Jochen Jauch und Martin Goldmann auf dessen bei FB geteiltes Posting…
Hans-Joachim Jochen Jauch: Aus meiner Sicht ist die Lösung die, die Entscheidung nicht dem Auto-Computer oder einer anderen technischen bzw. rechtlichen Instanz zu überlassen. Wenn ein neuer „Fahrer“ vom System erkannt wird, bekommt dieser vor der 1. Fahrt vom Bordcomputer ein paar Fragen gestellt, die er mit harten Entscheidungen beantworten muss. Das Auto lernt daraus, welche (ethische) Haltung und Aktionen in Sinne des Fahrers in solchen Situationen „angemessen“ sind. Der Fahrer ist damit auch nicht aus der Haftung raus, wenn das Auto sich im Notfall entsprechend seinem moralischem Kodex verhalten hat.
Martin Goldmann: Interessanter Ansatz – aber bis dahin ist es noch ein weiter Weg. Erinnert mich ein wenig an die Gewissensprüfung damals beim Verweigern: Wie macht man dem Gegenüber klar, dass man halt nicht schießen will… Wie werden wir unsere moralischen Grundsätze einem Computer klar machen?
Spannend – ich sehe schon, das wirft viele Fragen auf.
Hans-Joachim Jochen Jauch: Mit wenigen Fragen (ca. 3) ist klar, ob ein „Fahrer“ Utilitarist ist oder libertär denkt. Bzw. ob er Egoist ist oder dem Altruismus zuneigt. Und natürlich könnte der Fahrer ständig das System um-kalibrieren. Sozusagen auch im Angesicht des möglichen Todes eine Last-Minute-Entscheidung treffen.
Martin Goldmann: Aber wie löst der Computer dann das Dilemma zwischen „ich fahr eine Oma über den Haufen“ und „ich zerstöre eine junge Familie“? (mich gruselt’s allein bei dem Gedanken)
Hans-Joachim Jochen Jauch: Das genau ist das Ergebnis der Fahrer-Befragung. Der Wille eines Utlitaristen wäre es, dass beim Unfall aus der Not betrachtet der kleinste Schaden und noch der größte Nutzen erreicht wird. Da steht dann die Oma schlechter da als die Familie. Die Philosophen haben über Jahrhunderte Lösungsansätze für moralische Probleme und Entscheidungen erarbeitet. Daraus wurden Normen und Gesetze entwickelt. Und in funktionierenden Gesellschaften gibt es einen Konsens, der das friedliche Zusammenleben ermöglicht. Aber am Ende sollte immer das Individuum die Entscheidungsfreiheit haben. Sonst haben wir ggf. einen totalitäre Gesellschaft.
Hans-Joachim Jochen Jauch: Noch etwas: Wenn wir dem Computer die Lösung eines Dilemmas überlassen, geben wir der Maschine zu viel Macht. Es könnte dann gut sein, dass sich Maschinen zu Utilitaristen entwickeln, die den Nutzen der Menschheit nicht mehr erkennen.
Martin Goldmann Ich muss irgendwie grad an Star Trek NG denken – und an gruselige Dystopien…
Hans-Joachim Jochen Jauch Nun, noch haben wir Menschen wegen der Unzulänglichkeit der „künstlichen Intelligenz“ die Chance, den Maschinen einen Willen „aufzuzwingen“ und die Entscheidungsbefugnis der Systeme zu limitieren. Aber jeder SF-Fans kann sich vorstellen, wohin die Reise gehen könnte. Es gibt da ein schönes Gedankenspiel: Das beste KI-System hat heute den Intelligenzquotienten eines Dorfdeppen. Und es hat (nur) über 60 Jahre IT-Entwicklung gebraucht, um das zu erreichen. Wie lange dauert es, bis Computer auf Albert Einstein-Niveau sind? Und werden sie dann auf diesem Niveau aufhören oder geht die KI-Entwicklung weiter? Wenn ja, was wird aus dem Menschen, die von Intellekt nicht mehr mithalten können? Werden die Maschinen sie wie Dorfdeppen behandeln?
Und noch ein paar spannende Gedankengänge von Richard Joerges und Martin Goldmann
Richard Joerges: Naja, meistens ist ja bei den fraglichen Crash-Szenarien jede Entscheidung falsch. Da ist es doch egal ob ich oder der Computer falsch entscheidet. Oder?
Martin Goldmann: Gute Frage. Allerdings: Falls Du Dich falsch entscheidest, kann man Dich danach zur Verantwortung ziehen. Den Computer nicht. Wer ist dann verantwortlich?
Richard Joerges: Nun, man könnte argumentieren, dass der Computer rational entscheidet und damit richtig. Der Mensch entscheidet emotional und damit häufig falsch. Stichwort Wildunfall: „Ich wollte nicht das Häschen überfahren, deshalb bin ich lieber in das entgegenkommende Auto gerauscht“…
Martin Goldmann: Häschen, ok – aber Menschen? Nee, so einfach isset nich :-)
Richard Joerges: Doch, so einfach ist es: Der Mensch entscheidet – so er überhaupt die Zeit dazu hat – emotional und damit falsch!
Martin Goldmann: Aber was ist richtig, was ist falsch?
Richard Joerges: Das ist eine philosophische Frage, die vermutlich schon die alten Griechen beschäftigt hat. Es gibt ja da verschiedene Strömungen… Aber es ist doch egal, denn vielleicht gibt es kein Richtig oder Falsch in dieser Hinsicht, sondern einfach nur Schicksal? Ich möchte jedenfalls nicht die Verantwortung dafür haben die Oma statt der jungen Familie überfahren zu haben…
Und noch ein paar Meinungen aus Facebook zum Thema:
Herman Achilles: Ich warte zunächst mal darauf, dass Züge (vollkommen) autonom fahren und das scheint trotz aktueller KI, auf einem überschaubaren Netz ohne Individualverkehr schon problematisch genug zu sein.
Thomas Kuhn: Darf es ein Mensch. Und mit welchem Recht? Und wer programmiert eigentlich den Computer, der im Crash-Fall entscheidet, wohin der Wagen fährt?
Hans-Joachim Jochen Jauch: Beim Thema „Autonomes Fahren“ werden die (Verkehrs-)Juristen und der Staat, zumindest in Deutschland, bezüglich der Grundregeln das Sagen haben. Jeder Algorithmus bzw. jedes (fahrer-konditionierte) System wird sich nach deren legislativen Vorgaben richten müssen – auch aus Versicherungsgründen. Damit wird die Frage, was eine Maschine darf, auf das menschliche Kollektiv, also die jeweilige Wertegemeinschaft, übertragen. Ein selbst-fahrender PKW wird sich damit zukünftig, z.B. in Bezug auf seine Notfall-Algorithmen, z.B. in Schweden anders verhalten als in Saudi Arabien.
Norbert Handke: Warum erwarten wir eigentlich von einer Maschine VIEL MEHR rationale Entscheidungen, VIEL MEHR Abwägungen und VIEL MEHR Wissen über potenzielle Handlungsfolgen als von uns selber? Reicht es nicht, wenn sie überall nur EIN WENIG besser ist?
Lorenz Steinke: Ich finde diese Diskussion interessant, aber auch problematisch. Interessant, weil sie ein wichtiges ethisches Thema anspricht. Problematisch ist sie, weil sie den Eindruck erweckt, Technik würde entscheiden können und einen eigenen Willen haben, was beides nicht der Fall ist. Die Technik entscheidet nicht, sie berechnet lediglich Unfallszenarien auf Basis der vom Hersteller (oder via Big Data) vorgegebenen Zahlen und führt dann das Unfallprogramm mit dem geringsten Impact aus. Problematisch ist der Irrtum einer sich entscheiden könnenden Technik, weil er beim Leser den Eindruck entstehen lässt, Technik würde über sein Leben entscheiden. Das ist Wasser auf die Mühlen aller Früher-war-alles-besser-Skeptiker. Und deren Gedankengang ist ebenso scheinbar schlüssig wie offensichtlich falsch: Die Entscheidung im Fall eines Unfalles zu sterben, hat man nämlich bereits in dem Moment getroffen, in dem man ins Fahrzeug gestiegen ist. Ob nun ein menschlicher Fahrer am Steuer sitzt oder eine CMOS-Logik die Routenführung übernimmt, ist dabei unerheblich. Mit dem Unterschied, dass eine Computersteuerung nicht mutwillig ihr Fahrvermögen durch Alkohol, Handytelefonieren oder Stress im Job herabsetzt und die eigenen Fähigkeiten auch nicht mit 80prozentiger Wahrscheinlichkeit überschätzt.
Da ist sicher was dran – und natürlich provoziert der Artikel auch diese Diskussion.Aber eines stimmt: im Artikel wird deutlich darauf hingewiesen, dass wir die Teams die solche Technik bauen (und die nachher auf Basis von Daten und Algorithmen entscheidet) in einer guten Mischung aus „nach vorne“ und „vorsicht Falle“ zusammenstellen sollte. Darum kommt die Diskussion ja auch beim Digisaurier und nicht bei Intelligente Welt ;-)
Sepp Reitberger: Ich finde die Diskussion sehr theoretisch. Wenn man hinter so einem Google-Auto herfährt, dann versteht man sehr schnell, dass in der Praxis weniger die Frage ist, wen das autonome Auto umfährt, sondern vielmehr, wer hinten reinbrettert.
Autonome Autos werden sich an die Straßenverkehrsordnung halten und damit in vielen Fällen VIEL langsamer fahren als Menschen.
Achso: Der Fall im Artikel. Der ist am allertheoretischsten. LKWs, vor allem solche mit Gefahrgut hinten drauf, werden die ersten sein, die vollautonom fahren. Die verlieren nicht die Kontrolle. Natürlich wird es trotzdem noch unfälle geben. Aber die Strategie und die ethische Grundentscheidung ist:
1. Unfälle vermeiden um jeden Preis.
2. Möglichst wenige Menschen verletzen.
Fertig.
Norbert Handke: Aber bis es soweit ist es noch ein weiter Weg. Wie oft schimpfen wir noch über die „Dummheit“ von Fahrkarten- oder Parkautomaten. Und seitdem ich jetzt ein „hochassistiertes“ Auto fahre, merke ich z.B., dass ich in beiden Fällen (bremsen/beschleunigen) viel schneller auf Spurwechsel voraus reagiere als der Automat.
Aber auch der Mensch überschätzt sich. Die Studenten in diesem Video haben wirklich geglaubt, dass sie selber erfolgreich ausgewichen sind und haben die „Unterstützung“ der Elektronik meist nicht bemerkt
(DLR Braunschweig). Genau hinschauen! https://www.youtube.com/watch?v=BqBYTs4uxEA