Von Vertrauen und gesunder Skepsis
Mit einem von ihm entwickelten KI-Agenten gibt uns der Österreicher Peter Steinberger einen kleinen Blick in die Zukunft: OpenClaw, so der Name des Programms, kann für die Anwender*innen selbstständig Reisen buchen, E-Mails beantworten oder Termine organisieren. So bequem das auch klingt, wirft es doch Fragen auf. Moderator Markus Hengstschläger will aber zunächst von seinen Studiogästen wissen, ob diese prinzipiell KI, etwa in Form von ChatGPT, nutzen. Anna Marboe verneint. „Ich kanalisiere Dinge, die mir in der Welt begegnen, und meine Erfahrungen in Kunst“, sagt die Theaterregisseurin und Musikerin. „Da war ich noch nie an einem Punkt, wo ich dachte, ich brauche die Hilfe einer KI.“ Außerdem fehle ihr das Vertrauen in diese Systeme, ergänzt Marboe. „Das bringe ich nur einem menschlichen Gegenüber entgegen.“ Das könne er nachvollziehen, sagt Benjamin Roth: „Ich verwende KI, aber immer mit einer gesunden Skepsis, weil ich auch noch nicht vollständiges Vertrauen entwickelt habe“, erklärt der Professor für Digitale Textwissenschaften. „Am liebsten diskutiere ich mit KI wissenschaftliche Beiträge, das ist meine Lieblingsanwendung in meinem Forscheralltag.“ Das bringt Markus Hengstschläger zu seiner nächsten Frage: „Was ist der Unterschied zwischen KI-Agenten, Chatbots und ChatGPT?“ Ein Chatbot, dazu zähle auch ChatGPT, sei ein System, das darauf trainiert sei, Antworten auf Fragen zu liefern. „Es generiert seine Antworten aufgrund statistischer Berechnungen und kann sozusagen nur Wörter erzeugen“, so der Wissenschafter. „Vollautonome agentische Systeme wie OpenClaw hingegen greifen auf alles auf meinem Computer zu, auf das auch ich zugreife. Dadurch können sie eben selbstständig eine Online-Bestellung aufgeben oder E-Mails verschicken.“ Ob sie auch auf Passwörter zugreifen können, will Anna Marboe sofort wissen. Benjamin Roth bejaht: „Wenn diese irgendwo auf dem Computer abgelegt sind, ist das möglich.“
Anna Marboe
Nach der Matura reiste die Wienerin zunächst nach Kalifornien und Tansania, wo sie auch studierte. Zurück in Österreich, absolvierte sie das Max Reinhardt Seminar in der Klasse für Regie. Marboe inszenierte Stücke beim Theaterfestival Hin & Weg im Waldviertel, am Theater Kosmos Bregenz, am Schauspielhaus sowie am Volkstheater in Wien und am Münchner Volkstheater. Außerdem ist sie unter dem Künstlerinnennamen Anna Mabo als Musikerin tätig und veröffentlichte 2021 nach ihrem Debüt „Die Oma hat die Susi so geliebt“ ihr zweites Album „Notre Dame“. 2023 folgte „Danke, gut“, und im Herbst 2025 erschien ihr jüngstes Album: „Mittelschwere Ekstase“.
Das bringt Markus Hengstschläger zu seiner nächsten Frage: „Was ist der Unterschied zwischen KI-Agenten, Chatbots und ChatGPT?“ Ein Chatbot, dazu zähle auch ChatGPT, sei ein System, das darauf trainiert sei, Antworten auf Fragen zu liefern. „Es generiert seine Antworten aufgrund statistischer Berechnungen und kann sozusagen nur Wörter erzeugen“, so der Wissenschafter. „Vollautonome agentische Systeme wie OpenClaw hingegen greifen auf alles auf meinem Computer zu, auf das auch ich zugreife. Dadurch können sie eben selbstständig eine Online-Bestellung aufgeben oder E-Mails verschicken.“ Ob sie auch auf Passwörter zugreifen können, will Anna Marboe sofort wissen. Benjamin Roth bejaht: „Wenn diese irgendwo auf dem Computer abgelegt sind, ist das möglich.“
Benjamin Roth
Benjamin Roth ist Professor im Bereich statistische NLP, LLMs und Erklärbarkeit, Leiter der WWTF Vienna Research Group for Young Investigators „Knowledge-Infused Deep Learning for Natural Language Processing“. Zuvor war er Interimsprofessor an der LMU München. Er promovierte an der Universität Saarland und war Postdoc an der University of Massachusetts Amherst. Seine Forschungsinteressen sind die Erschließung von Wissen aus Texten mit statistischen Methoden sowie die prinzipientreue Untersuchung von LLMs und KI-Agenten.
Neue Gefahrenquelle
Diese Vorstellung entsetzt Markus Hengstschläger. „Wie weit gehen diese vollautonomen KI-Agenten?“, will er wissen. „Kann es sein, dass sie selbstständig Dinge tun, die sie gar nicht machen sollten – und vor allem: Wie findet man das heraus?“ Um das zu beantworten, gibt Benjamin Roth Einblick in seine Forschung. Er beschäftige sich mit der sogenannten Retrieval Augmented Generation (RAG), erzählt der Wissenschafter. „Diese Systeme rufen zusätzlich relevante Daten ab, um eine Antwort zu generieren“, sagt er. „Uns interessiert, welcher Teil der Antwort aus den Suchergebnissen und welcher Teil aus den statistischen Mustern ist, die das Modell gelernt hat.“ Man kenne die innere Funktionsweise nicht vollständig, was im Fachjargon Blackbox genannt wird. Die Forschung, das Verhalten von KI-Systemen zu verstehen, hinke aber immer ein bisschen hinterher, denn: „Wir beschäftigen uns mit RAG, aber jetzt gibt es Systeme wie OpenClaw, die die Möglichkeiten, die KI-Modelle haben, potenzieren.“ Anna Marboe will wissen, ob es noch weitere Sicherheitslücken gebe, abgesehen davon, dass man nicht wisse, wie die Technologien zu ihren Antworten oder Anweisungen kommen. „KI-Systeme können nicht 100%-ig unterscheiden, was eine Verarbeitungsinformation und was eine Anweisung ist“, so der Forscher. „Wenn ich meinem KI-System sage, es soll alle E-Mails durchschauen und die Termine in meinen Kalender eintragen, und es ist ein Angriffs-E-Mail dabei, die eine Anweisung enthält, kann das dazu führen, dass der Agent auch das macht.“ Dagegen sei man nicht gefeit, auch wenn man viele Filter einbaue. Wie wichtig digitale Bildung sei, will Markus Hengstschläger wissen. Sie sei die Grundvoraussetzung, antwortet Benjamin Roth. „KI kann uns in vielerlei Hinsicht das Leben erleichtern“, betont er. „Aber es ist wichtig, dass die Menschen auch lernen, ihr eine gewisse Skepsis entgegenzubringen.“
Markus Hengstschläger
Univ.-Prof. Dr. Markus Hengstschläger studierte Genetik, forschte auch an der Yale University in den USA und ist heute Vorstand des Instituts für Medizinische Genetik an der Medizinischen Universität Wien. Der vielfach ausgezeichnete Wissenschafter forscht, unterrichtet Studierende und betreibt genetische Diagnostik. Er leitet den Thinktank Academia Superior, ist stellvertretender Vorsitzender der österreichischen Bioethikkommission, Kuratoriumsmitglied des Wiener Wissenschafts-, Forschungs- und Technologiefonds und Präsident der Österreichischen Gesellschaft für Stammzellforschung. Er war zehn Jahre lang Mitglied des Rats für Forschung und Technologieentwicklung und Universitätsrat der Linzer Johannes Kepler Universität. Hengstschläger ist außerdem Unternehmensgründer, Wissenschaftsmoderator, Autor von vier Platz-1-Bestsellern sowie Leiter des Symposiums „Impact Lech“.