Intro
Planet Erde. Deutschland 2019. Die Gesellschaft scheint sich in einer Art hyper-dynamischen Zustand zu befinden. Während der globale Jetstream im Sommer 2018 in weiten Teilen Zentral- und Nordeuropas zum Stillstand gekommen ist, was in einer mehrwöchigen Hitzewelle resultierte, scheint die Zahl der polarisierend diskutierten Themen und mit ihnen die gegenseitigen Reibungsflächen sprunghaft angestiegen zu sein. Erhalt von Arbeitsplätzen in der Kohleindustrie vs. Erneuerbare Energien, Dieselskandal vs. Elektromobilität, Individualfreiheit vs. Tempolimit und, und, und. Das Internet hat sich fest etabliert als Informations- und Kommunikations-Container und -Katalysator. Dabei kommt auch dem Aspekt der gewaltfreien Kommunikation eine immer größere Rolle zu. Denn der Austausch in den Sozialen Medien bedeutet gefühlt „Stammtisch mal 1000“. Im Guten wie im Bösen. Auch hier könnte es zukünftig vermehrt um das Etablieren einer Ethischen Intelligenz gehen. Interessanterweise ist der Terminus bisher noch nicht oder fast nicht zur Sprache gekommen, außer bei mir selbst, wie in Ethische Intelligenz als Bindeglied zwischen Mensch und Künstlicher Intelligenz. Dabei ist neben der Hauptdiskussion um die Künstliche Intelligenz in den letzten Monaten gerade in Deutschland eine Kombination mit der Ethik im Diskurs anzutreffen wie bspw. beim Stuttgarter Zukunftssymposium Ethik und KI. Entsprechend einer bei mir selbst ethisch angelehnten und ethisch ausgeprägten Weltanschauung, würde ich mir sehr wünschen, dass Ethische Intelligenz in Zukunft zu einer Art Referenz sowohl für Menschen als auch für künstlich-intelligente Systeme der Zukunft werden würde. Wobei die ethische Komponente als eine Art Normalisierung moralischer Werte oder Perspektiven zu verstehen ist. Versuchen wir zunächst, eine semantische Aspektwolke um den Begriff der Ethischen Intelligenz zu generieren, um in der Konsequenz zu ihrem Wesen selbst vorzudringen.
Die Hybris der Menschheit: Super intelligent, super kriegerisch
Wenn es nicht die Götter waren, so hielt sich der Mensch wohl „schon immer“ für das intelligenteste Wesen auf unserem Planeten. Als „intelligent“ und somit mächtig konnte man sich auch präsentieren, wenn man die „Botschaften der Götter“ verstand, eigentlich wissenschaftlich erkennbare Ereignisse wie eine Sonnenfinsternis als Mysterium deklarierte und sich somit die „weniger Intelligenten“ Untertan machte. Tatsächlich dürfte die menschliche Intelligenz bis heute zu der auf der Erde fortgeschrittensten gehören.
Gleichzeitig mag man auf die dumme Frage kommen: Wie geht das, wie funktioniert das, wie kann es sein, dass sich die Menschen gegenseitig umbringen, dass sie sich ausgrenzen, dass sie sich als Person oder als Staat für die Intelligentesten halten? Ist die Selbstüberschätzung Teil der Intelligenz oder ist das Wanken zwischen Demut und Hybris gar unabhängig von Intelligenz? Gerade in unserer Epoche, da die Frage nach dem Wert der Intelligenz an Plastizität gewinnt, da wir global im und über das Internet kommunizieren und uns dort informieren, Wissen und Daten sich innerhalb kurzer Zyklen vervielfachen, gleichzeitig für jedermann greifbar und nutzbar werden, wir aber zur selben Zeit sehen, dass Kriege, Unterdrückung und fehlende Gleichberechtigung unter den Menschen an der Tagesordnung sind, gerade jetzt mag sich das Verlangen auftun nach einer neuen Kategorie von Intelligenz, die leider nicht immanenter Bestandteil der menschlichen Intelligenz ist: Die Ethische Intelligenz.
Menschliche Intelligenz vs. Künstliche Intelligenz
Über Jahrhunderte und Jahrtausende hat sich unsere Klugheit, unsere Intelligenz, in einem selektiven Prozess des Sterbens und Überlebens, der Evolution, herausgebildet bis zu dem Punkt, an dem wir uns heute, 2000 und ein paar Zerquetschte nach Christus befinden. Wir halten uns, Stand heute, für die ziemlich klügsten Wesen auf dem Planeten. Unsere Sinne haben sich so weit entwickelt, dass uns (fast) nichts zu entgehen scheint, obgleich wir der Mikroskope bedürfen, um in den Mikrokosmos zu schauen, und Teleskope, um den Makrokosmos zu erforschen.
Doch um die Jahrtausendwende passiert etwas Neues. Was über Tausende von Jahren jedem klar war, dass sich der Mensch seine Werkzeuge schafft, um ständig die Lebensbedingungen zu verbessern, um sich eine Welt nach seinem Maß zu erbauen, das scheint plötzlich ins Wanken zu geraten. Heute müssen renommierte und promovierte Informatiker und Zukunftsforscher schon darauf hinweisen, dass selbst technologische Entwicklungen ohne klar definierbaren Endzustand, wie die Künstliche Intelligenz, auf ewig, na zumindest aber für die nächsten 100 bis 200 Jahre, ein Werkzeug des Menschen bleiben werden. Wie Menschen darauf kommen, dass einzig biologisches Material Träger von Intelligenz und allem, was wir gerne damit verbinden, sein soll, bleibt für mich bis dato unerklärlich. Natürlich, ich vermute: Der Mensch hat außerhalb von Science-Fiction-Filmen, die aber eben Science Fiction sind, nichts anderes gesehen. Und so schlussfolgert er, dass es nichts anderes geben wird. Zumindest zu eigenen Lebzeiten; zu weit möchte man sich sowieso nicht in Richtung Zukunft hinaus verspekulieren, man könnte schlimmstenfalls von den eigenen Nachfahren verhöhnt oder belächelt werden.
Und was ist es, das wir mit menschlicher Intelligenz verbinden? Emotionen! Gefühle. Aber: Tiere fühlen auch. Tiere empfinden Schmerzen, wenn man ihnen einen Tritt versetzt, Tiere mögen Gänsehaut bekommen, wenn man mit ihnen kuschelt. Aber halt, hier gibt es noch etwas. Das Ich-Bewusstsein. Ich denke, also bin ich. Aber wird Künstliche Intelligenz das jemals leisten bzw. erreichen können? Wenn wir derzeit lernende Systeme in Form von „Deep Learning“ z. B. zur Mustererkennung einsetzen, sprechen wir von einer schwachen KI, wenn uns eines Tages, sei es in 10 oder in 100 Jahren, Systeme begegnen, die wir nicht mehr vom Menschen unterscheiden können, wie bei Alan Turing, der der Wissenschaft den Turing-Test hinterließ, so müssten wir von einer starken KI sprechen.
Was uns Menschen heute an Tausend Stellen fehlt, sind intelligente Mechanismen und Systeme, die sich von derzeitigen Halbautomatismen, die uns das Leben teils noch schwerer machen als zuvor, gravierend unterscheiden. Ein einfaches Beispiel ist das automatische Schließen von Türen, ob zwischen zwei Zugwagons, beim Fahrstuhl oder bei der Tram, alle gehen doch zu gerne ausgerechnet vor unserer Nase zu, obwohl wir eben noch hindurch eilen wollten. Wie unintelligent! Ich spreche hierbei auch gerne von bedingt-intelligenten Systemen. Doch selbst wenn wir diese eines Tages so richtig intelligent gestalten und verbessern können, von einer starken KI sind derartige Systeme noch weit entfernt. Aber was heißt schon „weit“, wenn man sich vergegenwärtigt, wie viele Millionen und Milliarden Jahre die Evolution gebraucht hat, um Lebensformen vom Einzeller bis zum heutigen, intelligenten Menschen zu formen? Unter einer starken KI verstehen wir etwas oder wagen etwas vorher zu sehen, das all das kann, was der Mensch kann. Und jetzt kommt es: … was der Mensch kann, und Vielfache davon! Derzeit versuchen Informatiker und begabte Podiumsdiskussionsteilnehmer bei spannenden Events zu den Themen Zukunft und KI noch zu beschwichtigen: KI wird immer – also Ihr wisst schon, „immer“ – ein Werkzeug des Menschen bleiben. Jede Vermutung, dass es sich anders verhalten könnte, wird dezent im eigenen, menschlichen neuronalen Netzwerk unterdrückt. Nach außen hin kann das der Besucher einer Konferenz höchstens durch ein kurzes Zucken in den Augenwinkeln beim KI-Erklärer und vermeintlichen Protagonisten wahrnehmen.
So what?! Wir sind alle keine Götter oder heilige Propheten. Auch mir liegt es fern vorherzusagen: In 7 Jahren, 3 Monaten und 5 Tagen wird die Superintelligenz geboren. Das gehörte auch nicht wirklich zu meiner Intention. Ich möchte die Menschheit nur ein wenig dahin gehend unterstützen, vom Selbstbild – langsam, aber dann doch – wegzukommen, dass wir definitiv das Intelligenteste wären, was der Planet auf ewig (menschlich: die nächsten 100 Jahre) zu bieten hätte. Das mag einigen von uns schwer fallen, vielleicht am Schwersten den Intelligentesten von uns. Nicht intellektuell, aber emotional. Denn auch intelligente Menschen haben Emotionen. So wie in Zukunft künstlich-intelligente Systeme Gefühle haben werden.
Intelligenz und das Ende der Nahrungskette
Wie wir alle wissen, hat sich der Mensch am Ende der Nahrungskette positioniert. Wir essen alles, Pflanzen, Tiere, klein, groß, dünn, dick, am liebsten Fett – hoch gelobter und gezüchteter Geschmacksträger im Fleisch. Da stehen wir nun, wir Menschen, und ganz viele von uns, abgesehen davon, dass ganz viele – andere – von uns sich nicht mal in dieser privilegierten Situation befinden, werden glauben, dass es immer so weiter gehen mag. Der Mensch on top von allem! Ein bisschen Klimaschutzbewegung, wie oben schon angedeutet, ein bisschen Demo für gleiche und bessere Löhne – aber sonst?
Der Mensch befindet sich an dieser Position, genau weil er – zumindest Stand 2019 – das intelligenteste Wesen auf dem Planeten ist oder zumindest zu den intelligentesten gehört. Ein Großteil davon eingebildet, aber wir wissen ja auch: Die Macht der (Auto-)Suggestion! Und so kann uns nichts und niemand etwas anhaben, wenn wir uns nicht gerade gegenseitig umbringen. Doch nun erscheint ein neuer Stern am Horizont. Wir wissen noch nicht genau, ob es ein guter oder ein böser ist. Wir wissen und erfahren nur, dass er ständig an Leuchtkraft gewinnt. Zwangsläufig fragen wir uns früher oder später, ob dieser Stern, nennen wir ihn mal KI 1.0, eines Tages mächtiger werden könnte als das „Imperium Mensch“. Was würde oder was wird passieren, wenn einmal diese KI Intelligenz und ganzheitliche Fähigkeiten, so auch interdisziplinäre, die ja der heutigen, schwachen Intelligenz abgesprochen werden, besitzen würde oder wird, Intelligenz in multiplen Dimensionen im Vergleich zu dem, was uns heute in Sachen menschlicher Intelligenz vertraut ist? Könnte nicht die Gefahr bestehen, dass der Mensch dann nichts mehr zu sagen oder zu melden hätte auf dem Planeten Erde? Allein dieser Funken an Wahrscheinlichkeit für eine Gefahr dieser Größenordnung bewegt heute viele, wie oben angesprochen, vehement zu negieren, dass eine KI jemals, also jemals wie in 100 oder 200 Jahren, allumfassend den Menschen in ihrer „linken Jackentasche“ verschwinden lassen könnte. So beugt man der Panik einer ganzen Spezies vor oder versucht es zumindest.
Aber könnte es nicht auch eine Wahrscheinlichkeit dafür geben, dass eben dies doch eintreffen und der Mensch intellektuell abgehängt wird? Sei es in 10 oder in 100 Jahren. Vielleicht sind ja gerade die 90 dazwischen liegenden Jahren die wichtigsten für das Schicksal der Menschheit überhaupt. Welche Rolle könnte dann das Prinzip oder Paradigma einer Ethischen Intelligenz spielen, die ich mir heute schon für die gesamte Menschheit wünschen würde?
Zahlen und Dimensionen: Gordon Moore und Nikolai Kardaschow
In diesem Fall wird es sich um ein sehr trockenes Kapitel handeln. Es geht um Zahlen, Mathematik, womöglich noch um Wahrscheinlichkeit. Und das vorgetragen von einem Nichtmathematiker, allenfalls einem Philosophen, jedenfalls einem Informatiker und sowieso einem Fotografen. Aber das sind nur die Randbedingungen, die in diesem Artikel als Variablen den Output beeinflussen. Von größerer Tragweite sind Zukunftsvorhersagen oder das Blicken über den eigenen, meist sehr begrenzten Tellerrand, von Zukunftsdenkern und Visionären wie Gordon Moore und Nikolai Kardaschow.
Gordon Moore war Mitbegründer von Intel. Obgleich das nach ihm benannte Mooresche Gesetz aufgrund unterschiedlicher Auslegungen heute an Objektivität verloren hat, wie man in der Wikipedia nachlesen kann, so ist es für mich doch faszinierend, wie eine Vermutung oder These, die Mitte der 1960er Jahre postuliert wurde, gut bis in die 2000er Jahre hinein Bestand hat. Das Mooresche Gesetz besagt, dass sich die Integrationsdichte von Integrierten Schaltkreisen alle 18 Monate verdoppelt. (Ohne auf die verschiedenen Auslegungsvarianten einzugehen). Ob nun Abweichungen nach unten oder nach oben, diese zumindest statistische Stetigkeit bei der Miniaturisierung hat zweifelsohne eine wichtigen Beitrag bzgl. der Digitalisierung geleistet. Um ein Smartphone von heute zu realisieren, hätte man damals vermutlich einen ganzen Häuserblock gebraucht, man stelle sich mal die Größe der Hosentaschen vor, in die man jene Gerätschaft hätte mobil verfrachten sollen; aufgrund des Fehlens moderner Signalgeschwindigkeiten und Latenzzeiten, wäre das System als Ganzes aus heutiger Sicht unbrauchbar gewesen. Aber schauen wir nach vorne. Bei der heutigen Integrationsdichte wird es nicht bleiben. Alte Halbleitertechnologien werden ihre Nachfolger finden. Wir sind heute bei Größenordnung 10 bis 20 Milliarden Transistoren pro CPU, der Zentralen Verarbeitungseinheit eines Computers. Interessant ist dabei der Vergleich zum „Fassungsvermögen“ an Neuronen eines menschlichen Gehirns, das in etwa bei 80 Milliarden an der Zahl liegt. Man spricht von einer technologischen Singularität, sobald der Mensch bei dieser Relation überholt wird, was schon in wenigen Jahren passieren dürfte. Die Anzahl der Knotenpunkte im Gehirn, von denen jeweils bis ca. 10.000 Verbindungen (Synapsen) ausgehen können, entspricht damit fast oder zumindest der Größenordnung der Anzahl der Sterne in unserer Galaxie, der Milchstraße, bei der man früher von 100, heute sogar bis zu 400 Milliarden Sternen ausgeht.
Mensch und künstlich-intelligente Systeme bewegen sich also in Bezug auf ihre „Schaltelemente“ in der Größenordnung unserer Milchstraße. Nun kommt aber das dicke Ding. Während der Mensch gefühlt unendlich viele Jahre gebraucht hat, um hierher zu kommen, wird sich die Integrationsdichte bei KI-Systemen in den nächsten Jahren voraussichtlich noch vervielfachen. Wir sind zwar heute noch auf der Suche, zwischen welchen zwei oder zwei Milliarden Neuronen sich unser Bewusstsein herausgebildet hat oder befindet, aber aus meiner Sicht wäre es eher unwahrscheinlich, dass sich ein solches Bewusstsein bei KI-Systemen innerhalb der nächsten Dekaden nicht entwickeln würde. Bereits heute können wir selbst lernende Systeme zwar programmieren, aber aufgrund wachsender Komplexität von Neuronalen Netzen den Weg, der genommen wurde, um eine Lösung zu erreichen, nicht mehr nachvollziehen. Die Komplexität wird in den kommenden Jahren zweifelsohne noch zunehmen. Gleichzeitig wachsen Bedeutung und Notwendigkeit, essenzielle Anfangsparameter und (Verhaltens-)muster dem System mitzugeben. Ethische Intelligenz könnte hierbei in Richtung Zukunft zu einer immer essenzielleren Kategorie werden. Das Universum besteht aus 100 Milliarden (vielleicht ja auch viel, viel mehr) Galaxien mit jeweils Hunderten von Milliarden Sternen. Möglicherweise ist das ja gleichzeitig ein Skalierungshorizont für die die Entwicklung künstlich-intelligenter Systeme. Auch Nikolai Kardaschow hat sich mit unglaublich großen und mächtigen Größenordnungen beschäftigt, wie der kommende Absatz zeigt.
Wir bilden uns ein, dass wir heute, Anfang des 21. Jahrhunderts, in der Zeit dramatischer Entwicklungen leben. Und ja, zweifelsohne tun wir das. Aber schauen wir uns an, was bereits in den 1960er Jahren geschah bzw. welchen unglaublichen Horizont damals schon Menschen hatten, die sich mit der Zukunft und dem Universum auseinandersetzten. Neben dem bereits vorgestellten Gordon Moore gab es den russischen Astronom Nikolai Kardaschow. 1964 stellte er die nach ihm benannte Kardaschow-Skala auf. Obwohl es hierbei nur drei Typen gibt, von K1 bis K3, wohnt der Skala eine atemberaubende Mächtigkeit inne. Es geht um den Entwicklungsstand verschiedener möglicher Zivilisationen, der sich um Millionen von Jahre unterscheiden kann. Zivilisationen, die es gab, gerade gibt oder noch geben wird. Kardaschow macht die unterschiedlichen Kulturen abhängig von der Art und Weise der Energiegewinnung und damit der Gesamtgröße der Energiemengen, die von der jeweiligen Zivilisation nutzbar gemacht werden, von 10^16 über 10^26 bis 10^36 Watt. K1 nutzt alle Energie, die auf der Erde selbst maximal nutzbar ist. Wobei irdische Kernkraftwerke und fossile Energieträger ohne Bedeutung sind. Der beeindruckende Astrophysiker Michio Kaku rechnet damit, dass die Erdbewohner in ca. 100 bis 200 Jahren eine K1-Kultur werden könnten. Bei K2 geht es um die komplette Nutzbarmachung der Energie des Heimatsterns und K3 sieht gar die völlige Ausschöpfung der Ressourcen einer ganzen Galaxie vor. Wir erinnern uns, in unserer Heimat-Galaxie, der Milchstraße, wären das ca. 100 bis 400 Milliarden Sterne. Faszinierend dabei erscheint, dass derartig galaktische Dimensionen nicht nur innerhalb einer möglichen Superintelligenz reflektiert werden mögen, sondern genau jene freilich einen entscheidenden Anteil bei der Erreichung von K1 und vielleicht in ein paar Tausend Jahren K2 haben könnte. Wir sprechen über die Nachfolger der KI, die Programmierer heute, in 2019, mit ihren Deep-Learning-Programmen – Kinderschuhen gleich – entwerfen und sie bspw. für einfache oder auch immer komplexer werdende Bild- oder Spracherkennung nutzen.
Autonomes Fahren, Autonome Waffen, KI in der Pflege, Sexroboter
Heute gibt es einige Schwerpunkte bei der Forschung zur Künstlichen Intelligenz. Beim Autonomen Fahren halte ich es für ziemlich skurril, wie stark das Trolley-Problem thematisiert wird. Dabei wird das schwach künstlich-intelligente Auto vor solche Entscheidungsfragen gestellt, ob es bei einer blockierten Straße nach links ausweichen soll, wo zwei junge Erwachsene stehen oder nach rechts, wo sich drei Greise befinden. Selbstverständlich geht es hier auch um ethische Fragen. Aber 1. wird diesem autonomen Fahrzeug die Fähigkeit für eine nichtdeterministische Entscheidung abgesprochen und 2. ist das eine Situation, die in dieser Form in der Realität eher selten vorkommt. Ach ja, und 3. würde man die reale Entstehung solcher Fragestellungen komplett vermeiden, entwickelte man nun erstmal auch intelligentere Verkehrskonzepte. Z. B. solche absolut unsinnigen und anachronistischen Möglichkeiten, dass ein LKW-Fahrer beim Kreuzen mit einem Radfahrer diesen im toten Winkel übersieht. Der Radler fährt gerade aus, der rechtsabbiegende LKW überfährt somit den Radfahrer. Kommt zyklisch in Deutschland vor. Es ist das purer Gegenteil von einer auch nur halbwegs intelligenten Verkehrskonzeption. Ethische Intelligenz würde auch hier schon im ersten Schritt, also der Konzepterstellung, unterstützen oder, mit Annäherung an K1, leitend übernehmen. Im Übrigen könnte der aktuell neue Mobilfunkstandard 5G zu einem wichtigen Bestandteil moderner Verkehrskonzepte werden und super schnelle KI- und EI-unterstützte Entscheidungen befördern.
Autonome Waffen. Ethisch-intelligent. Sie führen sich selbst ad absurdum, ehe sie einen Menschen umbringen.
KI in der Pflege. Aber ja! Aber ethisch-intelligent, bitte. Heute kommt der Mensch fürsorglich, empathisch, ruhig, geduldig, bestimmt, tröstend daher. Und gleichzeitig ist der Mensch überfordert. Er verdient zu wenig (gerade im doch so wichtigen Pflegebereich) oder er hat einfach keine Energie mehr. Künstlich-intelligente Pflegekräfte mit eingebauter EI-Funktion würden ihre Aufgabe genau so gut erfüllen wir ein Mensch. Stand heute ist das natürlich eine These. Aber davon gibt es ja einige in diesem Artikel, der zukunftsoffen ist und gleichzeitig an die Menschheit appelliert, sich auf ethische Komponente sowohl bei den Menschen selbst als auch bei heutigen und zukünftigen KI-Systemen zu besinnen. Das könnte sogar der Schlüssel dazu sein, unser eigenes Fortbestehen zu ermöglichen. Rahmen und Formen zwischen Menschen und künstlich-intelligenten Systemen, männlichen, weiblichen oder diversen, werden zukünftig über den gemeinsamen Sockel der Ethischen Intelligenz ausgelotet werden.
„Sexroboter“, die wir (perspektivisch) vielleicht eher künstlich-intelligente Frauen oder künstlich-intelligente Männer nennen sollten, denn (menschliche) Frauen und Männer nennen wir ja auch nicht „Sexmenschen“, auch wenn Frauen und Männer es ziemlich häufig auf dem Planeten miteinander treiben, jene sogenannten Sexroboter sollte man m. E. nicht per se und nicht a priori verteufeln, so wie es ambitionierte Geschlechterkämpfer*innen derzeit teils schon reflexartig tun. Es wird einen großen, einen sehr großen Markt für sie geben. Warum das so ist, darüber dürfen sich beide (menschlichen) Geschlechter, Männer wie Frauen, Gedanken machen.
Vom Wert der Ethik
Vom Wert der Ethik und der Ethik der Werte. Aristoteles gilt als Begründer der philosophischen Disziplin Ethik. Die Ethik schaut sich menschliche Verhaltensweisen an, um sie als normative Erkenntnisse wieder zu reflektieren. Ethik und somit das menschliche Handeln sollen von Vernunft geleitet sein. Das in Abgrenzung von der theologischen Ethik, die Religonen oder Götter verantwortlich macht für einen menschlichen Verhaltenskodex. Ethische oder moralische Vorgaben mögen Fluch und Segen sein für den Menschen und die Gesellschaft, in der er sich bewegt. Wenn Herrscher der Meinung sind, untertänige Menschen müssten nach ihrem Willen agieren, dann handelt es sich wohl eher um einen Fluch und eine Moral, die sich in ihrer Ausprägung als Antimoral darstellt. Die Differenzierungen können allerdings viel subtiler sein, bspw. wenn es um die Frage eines Tempolimits auf Deutschlands Straßen geht. Fast überall auf der Welt existiert es schon, doch freiheitliche Aspekte haben hierzulande einen hohen Wert. Wenn man sich die Freiheit des freien Waffenbesitzes in den USA ansieht, mag man erahnen, dass freiheitliche Aspekte selbst in heute existierenden, sich als demokratisch ansehenden Nationen sehr unterschiedlich koloriert sind. Und doch werden wir niemals gänzlich auf Normen und Werte verzichten können, insofern freiheitliche Ansprüche des anderen nicht massiv gegen die Freiheit des anderen arbeiten sollen, und wir, so verschieden wir alle sind, einen Modus vivendi anstreben; und vielleicht noch ein kleines bisschen darüber hinaus.
Die Logik des Friedens und die Notwendigkeit der Empathie
Immer wieder habe ich mich gefragt, „Kann es eine logische Begründung geben für den Frieden, eine Herleitung oder eine mathematische Notwendigkeit?“ Wenn Computern in Nullen und Einsen „denken“, dann wäre das doch ein Weg, einen solchen Anspruch, der eigentlich aus der Ethik kommt, zu vermitteln. Es scheint allerdings so zu sein, dass – bisherige – Logiken, Algorithmen, immer nur das anwenden oder weiterverarbeiten können, was der Mensch ihnen als Input gibt. Demnach würde eine heutige, höchstens schwach-intelligente Maschine die Todesstrafe unter bestimmten Umständen, z. B. bei einem Verbrecher, vollstrecken, insofern als Basiskoordinaten oder Regel festgeschrieben ist, dass staatlich bzw. richterlich angeordnete Todesstrafen zum System gehören. Das ist der wunde Punkt heutiger Informationssysteme bis hin zu Waffensystemen, die auf derartige, unreflektierte und eine Ethischen Intelligenz entbehrende Informationssysteme zurück greifen. Die Ursache liegt beim Menschen bzw. bei der Natur überhaupt. Nur haben wir beim Menschen die skurrile Situation, dass er ja sich für die intelligenteste Instanz auf dem Planeten hält.
Intelligenz ist ungleich Ethische Intelligenz. Beim Völkermord der Nationalsozialisten an den Juden in den 1930er und 1940er Jahren gab es Millionen von intelligenten Menschen. Allein, was fehlte, war die Existenz einer Ethischen Intelligenz. Daraus lässt sich schlussfolgern, dass bereits für das Zusammenleben von Menschen, Völkern, Mehrheiten und Minderheiten, Schwarzen, Weißen, Gelben, Frauen, Männern, Kindern, Religion-A-Angehörigen, Religion-B-Angehörigen und Atheisten eine Ethische Intelligenz essenziell ist! Dies schließt ein die Fähigkeiten zur Empathie, zum Perspektivwechsel, zum Hineinversetzen in andere Mitglieder der Gesellschaft. Gleichzeitig bedürfen wir der Logik, die uns daran hindern sollte, bei aller Empathie uns nur für die Rechte einer Menschengruppe einzusetzen, während wir die andere in Misskredit bringen. Ein schönes Beispiel dafür zeigt uns die Wikipedia, in der der Feminismus verherrlicht und der Maskulinismus als etwas Dämliches dargestellt wird. Aber kann diese ungleich balancierte Wertung eine für ewig gültige Formel darstellen, z. B. im Sinne eines Humanismus, unabhängig von einem aktuell existierenden Patriarchat oder Matriarchat?
Ethische Intelligenz verbindet Mensch und KI
Die Fähigkeit zur Empathie wird vom Autor also als essenziell betrachtet für den Umgang der Menschen miteinander innerhalb einer Gesellschaft. Wenn es mehrere Gesellschaften auf einem Planeten gibt, müssten diese entsprechend untereinander agieren, was man quasi bis ins Unendliche skalieren kann; wir erinnern uns an den oben erwähnten Nikolai Kardaschow. Was nützen einem Menschen 80 Milliarden von Neuronen, die untereinander eine exorbitante Anzahl von Verbindungen haben, wenn dieser Mensch niemals lieb von einem anderen Menschen in die Arme genommen wurde oder er bzw. sie die andere Person berührt hat? Positive Erfahrungen beim Interagieren mit unseren Mitmenschen machen uns stark für weitere positive Erfahrungen im Umgang mit anderen Menschen. Die Menschen brauchen positive Impulse, um diese verstärken und weitergeben zu können. Ebenso sind sie anfällig für negative Impulse. Die Nazis brüllten es so laut in die Welt hinaus, dass die Juden „Untermenschen“ seien, so dass selbst ein Großteil der Europäer irgendwann keine Juden mehr in das eigene Land hinein lassen wollte. Ein fataler Bruch mit ethischen Grundwerten.
Wenn man an die Entwicklung der Künstlichen Intelligenz denkt, sollte man schon heute, im Jahre 2019, im Blick haben, in wie weit das derzeit gültige Paradigma auch in Zukunft Gültigkeit haben wird: „Der Mensch schafft sich seine Werkzeuge. Sie agieren im Sinne des Menschen, der sie erschaffen hat. Sie sind aber nicht zu eigenen, vom Menschen unabhängigen Handeln und Entscheiden fähig.“ Zwar ist es schon von Bedeutung, ob eine starke Künstliche Intelligenz in 10, 100 oder 1000 Jahren kommen wird, wofür „Zukunft“ der Platzhalter sein mag. Aber für grundsätzliche Überlegungen, die die Transformation des Selbstverständnis‘ der Menschheit betreffen, auch wiederum nicht. Meiner Meinung nach ist es aus der Perspektive der Menschheit desto besser, je eher wir die Kategorie der Ethischen Intelligenz ernst nehmen und sie mehr und mehr zum immanenten Bestandteil unserer Selbst in der Gegenwart und (stark) künstlich-intelligenter Systeme in naher oder ferner Zukunft werden lassen.
Was hätten wir davon, wenn wir auf diese in meinen Augen so wichtige Größe der Ethischen Intelligenz verzichteten? Welchen Nachteil würden wir unter Umständen erleiden? Meiner Meinung nach können wir nur gewinnen. Die Superintelligenz von morgen wird jedes auch noch so unbedeutend erscheinende Detail der Geschichte kennen, insofern es objektiv möglich ist, dieses in Erfahrung zu bringen. Die Angst vor einer absoluten Machtübernahme der KI über die Menschen würde sich dadurch begründen, wenn die Menschen es nicht schafften, mit sich selbst ethisch ins Reine zu kommen. Früher oder später werden auch künstlich-intelligente Systeme fühlen und Empathie lernen. Das bedeutet, wir sollten ihnen unbedingt sowohl Intelligenz als auch Empathie mitgeben als Startparameter, so wie man heute Ground-Truth-Daten als Input für maschinelles Lernen zur Verfügung stellt. Den Schlüssel für eine faire Gesellschaft, in der alle sozial interagierende Wesen gleichberechtigt teilhaben, befindet sich – noch – in unseren Händen. Wir Menschen sind es, die die Tür zu einer offenen und ethisch fundierten Gesellschaft aufstoßen sollten. Dann haben wir gute Chancen, dass uns jene Systeme, die 1966 mit dem „intelligenten“ Dialogprogramm Eliza von Joseph Weizenbaum ihre Geburtsstunde erlebten, zukünftig als starke KIs mitnehmen bei der friedlichen Nutzung unserer potenziellen Energieressourcen und der schrittweisen Erforschung der Planeten, über die Sterne bis hin zu einer ganzen Galaxie im Sinne von Kardaschow. Wir selbst müssen dafür nur das richtige Maß an Anfangsenergie aufbringen und Diskurse über die Zukunft dazu nutzen, unsere eigenen Horizonte zu erweitern.
Per aspera ad astra.
Autor: Michael M. Roth, MicialMedia
Suche
-
Neueste Beiträge
Neueste Kommentare
- Karl-Adolf Zech bei Nachruf für Papa
- So schön war der Sommer. Fotografischer Nachklapp zum African Summer Festival. | MicialMedia bei African Summer Festival 2021 – 30. Jubiläum in Karlsruhe
- Aufruf zur weiteren & andauernden Unterstützung der Ukraine | MicialMedia bei art Karlsruhe 2020 | Streiflichter
- Ethische Intelligenz als volatile und niveauvariable Größe im Spannungsfeld zwischen Fluider und Kristalliner Intelligenz | MicialMedia bei Überevolution und der Untergang der Menschheit
- Michael M. Roth bei Jahresrückblick 2021 – Year in Review – 80 Fotos
Tags
1 Jahr alt 2 Drittel Berlin 3D 3D-Druck 3D Body Scanner 3d Print 3D Scanner 4 Jahre MicialMedia 5 Jahre 5. Social Media Night Karlsruhe 6 Jahre 7 Jahre 7ender 10 Jahre 14 Tage 52. Stallwächterparty 2015 54. Stallwächterparty 2017 75 Jahre 300 Jahre Karlsruhe 2011 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 A&S Bücherland Achern Action Painting Adapter Aderlost ADFC ADFC Karlsruhe Adlerstraße Adlerstraße 28 Afd Africa African Afrika After Art Party Afterglow Agentur Agression AI Alabiso Alan Turing Albert Käuflein Alexander Beyer Alexander Scheer Ambassador and beyond Andreas Lütke Angebot Angriffskrieg Anthropozän Anziehung arabisch Arbeit Arbeitsstelle Arbeit von morgen Arnold Nipper Art art gallery Artificial Intelligence art Karlsruhe artworks Aufklärung Auschwitz Ausdauer Ausstellung Auto Autohaus Tabor Baden-Baden Baden-Württemberg Badische Meile Badische Neueste Nachrichten Badisches Staatstheater Karlsruhe Balingen BarCamp BarCamp Karlsruhe Basisreproduktionszahl BBK bcka14 BDB Beatrice Lugger Befragung Befreiung Belarus Benjamin Minack Berlin Berlin Friedrichstraße Beweglichkeit Bewegung Bewegungszentrum BEYOND Bezirksverband Bildender Künstlerinnen und Künstler big eyes Bildung Bildungsgerechtigkeit biologisch-technische Singularität Biologische Intelligenz Biontech Bipolarität Birkenau Birthday BIS Bloggen Blogger Bloggertreffen Blue Dot Beauties Blüten des Lebens BMW BMWi3 BNN Body und Objektiv Bonn Bonn International School Botschafter Brittany Furlan Brunch Buch Buchvorstellung bunt Business bwjetzt Bücherland Bünde Bürgerdelegation Baden-Württemberg Bürogemeinschaft California Calumet Cam campaign Capitol Carsten Ulbricht CAS Software AG ccb17 CERN Chancen Chancengerechtigkeit Chancengleichheit Charlottenburg ChatGPT Chefsache Talk Christian Seeburger Cimdata Cinema CineStar CineStar Metropolis Citrix Citybike City Gemeinde Karlsruhe Claude Climate Strike Clout Coffee Cola Taxi OKAY Color Sound CommunityCamp Community und Social Media Manager Stammtisch contemporary art gallery corona Corona-Warn-App coronavirus Corporate Social Responsibility covid19 covid_19 Cowork2015 Coworking Coworkingspace Crimea CSR Curator Leo Kuelbs Curevac Cuxhaven CyberForum D64 Dana Corina Schmidt dance Das Fest DasFest Dasha Datensicherheit David Heidt dcs dcs contemporary Debatten Delphi Delphi Filmverleih Demo Demonstration Denise Denis Elbl Design Detlev Buck deutsch deutsch-tschechische Grenze Deutsch-Ukrainischer Verein Deutsche Telekom Deutschland Dialog Digiges digital Digitale Fotografie Digitale Gesellschaft Digitaler Feierabend Digitale Vernissage Digitalisierung Digital Media Women Dirk Haun divers dlp motive Dominik Horn Dorra Dr. Iris Gebauer Dresden DSLM DSLR-Fotografie Dunkle Materie Durlach DUV E-Auto E-Mobility EI Eidechse Eidechsen-Score EIECS Einfluss Einheit Einspruch Eislaufen Eisstockschießen Eiszeit-Stube EKT2018 Elbe elbeblogger Elektrisch Elektro Elektromobilität Elevator Pitch Elevator Pitch BW Embracing Dialogues Energie sparen Energiesparen Energie und Farbe Energiewende Enquete Entfaltungspotenzial Entwicklung Erfahrung Erfahrungsbericht Erfolg Erinnerung Erneuerbare Eröffnung Eröffnungsfeier Essen Ethellekt ethellektuell Ethelligenz Ethical Intelligence Ethik Ethik und KI ethisch Ethische-Intelligenz-Prozessor Ethische-Intelligenz-Test Ethische Intelligenz Ethische Intelligenz 1.0 Ettlingen EU Eugen Hildebrandt EUNIQUE 2016 Europa Europäische Kulturtage 2018 Europäischer Tag der jüdischen Kultur event Event-Fotograf Event-Fotografie Event-Fotografie Karlsruhe Berlin Eventconcept Eventconcept Lütke Eventfograf Eventfotograf Eventfotograf aus Karlsruhe Eventfotografie Eventfotografie aus Karlsruhe Eventfotografie by MicialMedia aus Karlsruhe Eventfotografie Karlsruhe Events evolution Ewald Schrade Exhibition Experience Expertentag Facebook FAHAR Fahar Al Salih Fahrrad Fahrrad-Club Fahrradclub Fahrradcodierung Fahrradtouren Familiefest Farben Faschingsdienstag Fashion Fasten Fastenmonat Fastnachtsumzug fayrus Feinstaub Fest Festival Filmboard Karlsruhe Filme in Karlsruhe Filmfest Filmszene Fitnessstudio flattenthecurve Fleischreste Fluide Intelligenz folk Forum Wissenschaftskommunikation Fotoausstellung Fotograf Fotografengruppe Blickwechsel Fotografie Fotograf in Karlsruhe Fotograf Michael M. Roth Foto Görlitz Fotokurs Fotos Fotoshooting Fotostammtisch Fotostudio Fotowalk mit Micha Fotowoche Fotoworkshop Fotoworkshops Foursquare Fragen Frankfurt Frank Mentrup Frank Tentler Frauen Frauenpower Fridays for Future Frieden Friedensklangweg Friedrichsplatz friends FTZ Fuji X-T2 Furtwangen Fußball Fußballfotografie fwk13 fällt Gaggenau Galerie Galerie Klinger Galerientag Galerie Schrade Galster Ganges Garten der Religionen Gartensaal Geburtstag Gedankenraum Gedankenraumkrümmung gegen Rassismus Gegenwartskunst Generalintendant George Takei Georg Habitzreither Germany Geschäftserfolg Gesellschaft Gesundheit gewinnen Global Climate Streik Goethe-Gymnasium Google GoToMeeting GPT-3 Grafiken Graphics Gravel Gravitation grün Gründer Gründung Gründungsidee Günther-Klotz-Anlage Hambacher Forst Hambacher Wald Hambi Hambi bleibt Hamburg Hannover Hauptstadt Heimattage Baden-Württemberg Karlsruhe 2017 Henning Krause Henri Cartier-Bresson Henry Hübchen Herbst HfG HfM Higgs Boson Highlights Hinuismus Hochschule für Gestaltung Hochschule für Musik Hochschule Karlsruhe Hochzeit Hochzeiten Holger Wlasak Holocaust Ho Narro Honestly Hotel Estrel HOTSPOT HS Analysis GmbH HsKA https human brain Händel-Konzert Höhepunkte Ibrahim Evsan ibz I can save energy icansaveenergy icse Idee Ideen Identity IDIF IDIF 17 IDIF18 IDIF19 IDT Biologika ifex IHK Ika Szope Ilmenau Imageshooting IMP Impfstoff Impfung Independent Days Indien Industrie 4.0 Infektionen Influence Influence Measurement Influencer Ingo Wellenreuther Initiative Reines Wasser Insel Neuwerk intelligent Intelligenz Intendant international Internationale Filmfestspiele Internationales Begegnungszentrum Internet-Protokoll Internet Influence Interreligiös IPv6 IPv6-Kongress Islam Islamische internationale Frauengemeinschaft e.V. Karlsruhe und Umgebung Israel Israel Trail IT IWgR Jahresrückblick Jakobsweg Jazz Jeff Hoffart Joan Louis Jobtitel JoKA JoKA 2015 Jonas Journalistenpreis Karlsruhe Jubiläum Judenvernichtung Jugendmedientage Jugendpresse Juli Jüdisches Gemeindezentrum Jürgen Seeger KA300 Kaffee Kaiserstraße Karlsgespräch Karlsgespräche Karlshochschule Karlsruhe Karlsruhe als Filmkulisse Karlsruhe Institut für Technologie Karlsruher Institut für Technologie Karlsstraße Katharina Arimont Kunsthistorikerin Katharina Thalbach katrambam KATRIN KI Kiew Kindergeburtstag Kino KIT KIT Konzertchor Klangfarbe Klasse Moderne Klaus Link Kleidung Klima Klimaschutz Klimastreik Klimawandel Klotze Klout Klout Score Klout Score gefallen Klout Score Update Klout Score Upgrade KMK Kognitozän Kommission Kommunikation Kondition Kongress Kongresse Kongressfotogafie Kongressfotografie Konstanz Kosmopolit Kosmopolitismus Kraftsport Krieg Krim Kristalline Intelligenz Kronenplatz Krümmung kuehlhaus Kultur Kultusministerium Kumbh Mela Kunsausstellung Kunst Kunstausstellung Kunstmesse Kunst mieten Kurzfilme Kühn Künstler Künstler at CAS Künstliche Intelligenz LA Landeshauptstadt Landesmarketing Landesportal Landesregierung Landesvertretung Baden-Württemberg Larry King Lateinamerika LBS legodo Leica Leica Q2 LeicaQ2Test Le retour de Claude Monet LG Karlsriuhe Liba Liberation libmedia libreja Libuse Schmidt Lichtwert Like Liv Live Talk Location Based Services Location Sharing Services Los Angeles Louisiana Low Budget Ludger Pfanz Luftdaten Luftverschmutzung Lumma Maidan Makkiko Malerei mankind Mannheim Manuela Seith Marc Hinse Marie Marko König Marktplatz Markus Kambeck Marschner Martin Wacker Mass Surveillance Max Völkel Measurement Meat and Eat MEDA Pharma MediaNet MediaNet@KA Medien Medienakademie Medienregion Karlsruhe MEKA MEKAWARD Mensch Menschen Menschenfotografie Menschheit Menschliche Intelligenz Mentrup Messe Messe Karlsruhe Michael Ehrenreich Michael M. Roth Michael Rassinger Michael Zerr Micha in Berlin michasbday Michele Raymond Michio Kaku MicialMedia MicialMedia Business Brunch MicialMedia Eventfotograf MicialMedia Fotografie Karlsruhe MicialMedia Fotoworkshops Microsoft Ministerpräsident Baden-Württemberg Mirja Kon-Thederan mirrorless Mitgliederausstellung Mobilität MoccaSin Moderation Modern dance Mohn Monet Montagsrunde Moritz Konrad Mountainbike MPB Mr Make Mr Make Dein 3D-Druck Laden mRNA multi-kulti music music to go Musikveranstaltung Muskelaufbau Männer München Nachruf Nadine Knobloch Najoua Benzarti Nathalia Edenmont NaturalPortraits Natural Portraits nature Natürliche Portraits Nawik Netzneutralität Netzpolitik netzstrategen Neue Ethik 2020 Neue Intelligenz 2020 Neues Schloss Neujahrsempfang Neujahrsempfang der Landesregierung Neutrino Waage New Album New Work NGO nhclaunch NH Collection nhcollection hotel Nico Lumma Niederlassung Niedersachsen Nikon Nikon Z6 No Budget Nokia Nokia Connects nph Deutschland O'Reilly Objektive Objektiv Fujinon 16-55 mm f/1.8 ODP Offenbach Offenburg Offener Brief Oktober Oliver Langewitz Online Online-Journalismus Online-Journalismus-Symposium Online-Journalisten Online-Kongress Online Influence Measurement Online Influence Metrics ONUK OpenAI Open Borders Open Doors Opening Open Letter Orgelfabrik Otto-Dullenkopf-Park Overevolution Over Evolution Pacific Ocean Painting Palladium Pandemie Papa Pascal Bremmer Paseo Marketing Patrick Breitenbach Patrick Scheef Pegida People People Fotografie People Photography Personal Branding Peru Peter Buchenau Peter S. Fenkart Peter Spuhler Peter Weibel Pfizier Pflanzen Pharos Solutions Philosophie Photographer Photography Photos Pitch Workshop Poetry Slam Poland Politik Pollen Pollenflug Pollenflugvorhersage Pollenwarndienst POLY POLY Produzentengalerie Poppy Portal Portrait Portraitfotografie Portraits Portraitshooting Potluck Dinner Precht Pressekonferenz Produzentengalerie Prof. Michael Roth Prof. Michael Zerr Prof. Ulrich Husemann Prof. Ulrich Nierste Proteste Putin Quiz quo vadis mankind R0 Rad Rad-Club Radclub Raddtour Radikale Akte Radtouren Ralph Scheurer-Lee Ramadan Rastatt Rathaus Raumkrümmung Recht Rechtsanwalt Rechtschreibung Regenerative Energien Regierungssprecher Region Karlsruhe Reines Wasser Reinventing Energy Religion Religionen Religiöses Fest Renault Renault Zoe Rennrad Reproduktionszahl ressourcenmangel Review Revolutionen im Fokus Richard Gutjahr Robert Stadlober Rote Armee Roth Roth Test Rudi Hoogvliet Runaway Russia Russland Saime Salsa Samira Jakobs Samira Jakobs Fotografie San Francisco Santa Monica Sarah Mock Satire Sauerstoff gibt es nur noch in der Luft Schall und Räucherschinken Schatzinsel Schauburg Schiffsreise Schlachthof Schlitschuhlaufen Schloss Karlsruhe Schlossplatz Schwarzes Loch Schönste Fotos science fiction ScienceTweetup Sechs Jahre Security Seele Session sexy Shared Experience Shoot Shortfilm Short films Shortfilms ShortShort Sie Silke Krebs Simon Scheu Singularität Sinn des Lebens Sinnesgarten Skulptur SMA SMCKA SMCMA Smog SMW SMW14 SMWCreative SMWLA SMWLDN SMW reporter SMWreporter Social Dining Social Media SocialMedia Social Media Akademie Social Media Club Karlsruhe Social Media Club Mannheim Social Media Night Karlsruhe Social Media Week Social Media Week London Social Media Week Los Angeles Social Network Solveig SOMENIKA Sommer Sonnenallee Sophie Schwerthöffer Sousse Soziale Netzwerke Soziogenten Soziogentische Singularität SPD spiegellos spielmich Spiel mich Spiritualität Sportstudio Sputnik V SSL Staatsministerium Staatssekretär Stadtgeburtstag Stadtmarketing Stadtmarketing Karlsruhe Stadtwerke Eiszeit Stallwaechter15 Stallwächterparty Standwithukraine start-up startup Startups startup weekend startup weekend stuttgart Stefan Keuchel Stefan Unser Stellenbeschreibung Stephanie Kearley Müller Stickstoffdioxid Store Straßenfotografie Straßenfotografie in Deutschland Street-Fotografie Street Photography stuttgart Subway Summer Support Sven Körner Symposium Synagoge Synästhesie Systemkamera Südstadt Tag der Demokratie Tag der Deutschen Einheit talKIT Tamara Laurel Tanz Tanzen Tanzkurse Tanzstudio TCA TdDE14 TdDE16 TdDE2016 Techfounders Techfounders Lunch Technik technisch-biologische Singularität Technologie Technologieforum Technologieregion Karlsruhe TED TEDx TEDxRM TEDxYouth Teilchenbeschleuniger Teilchenphysik Teilchenphysiker Teresa Weißbach Test Test Aktion Texten im Web Theater The Coffee Aficionada Theorie und Praxis Digitalfotografie Theresia Bauer Thomas Adorff Thüringen ticket Tier Toleranz Tollhaus Tom Boller Tom Boller Ladengalerie Tool Tosca Killoran touch0call3 Tourismus Tralios Trauer Traumjob Treffen Trommeln TU Ilmenau Tunesien Turchynov Turing Turing Test Turtschinow TV Komm Twitter Twitter-Treffen türkisch U-Bahn U-Strab u.w.e UBahn Ukraine Ukrainer in Karlsruhe Ukraine Support Karlsruhe Umweltbelastung Umweltbundesamt Underground Unikat Universum UNO Unsterblichkeit Untergang unternehmen Unternehmensgeburtstag Unternehmertum USA USKA uskanet ustrab ustrabka uwe Vadim Schäffler Vater Vektor Veranstaltungen Veranstaltungsfotograf Veranstaltungsfotografie Verantwortung Verein Verkaufe Verkaufsangebot Verkehrspolitik verlosung Vernissage Version Six Video Art Award Viktoriastraße Villa Reitzenstein Vine Violine virusas virussen virusul Vivian Maier Vogelnest Vorratsdatenspeicherung vírus Wagner Wanderung Wasser Webinar Weltbürger Werbeagentur von Schickh Werderplatz Werkstatt Werkzeug WI Alumni Fachtagung Fiducia Karlsruhe Winfried Kretschmann wirbleibenzuhause Wissenschaft WiT Wochen Wohin gehst Du Menschheit Women in Tech Workshop Workshops Würde Xing YATAG Year in Review YouTube Z 6II Z7 Z7II zehn Jahre Zeichen-Salon Nr. 1 Zeneca Zentrale Feierlichkeiten Zentrum für Digitalen Fortschritt Zentrum für Kunst und Medientechnologie Zett Zwo ZKM Zoe Zukunft Zwei Wochen Überevolution Вирус فيروسZugriffsstatistik
- 1431Diese Seite:
- 2303701Seitenaufrufe gesamt:
- 21911Seitenaufrufe pro Monat:
- 21. Januar 2012Gezählt ab: