Fenster, Menüs und Schaltflächen gehören seit Jahrzehnten zur Computerbedienung. Das KI-Unternehmen Runway stellt dieses Prinzip mit seinem Forschungsprojekt Continuum infrage. Statt ausschließlich vorprogrammierte Oberflächen anzuzeigen, sollen KI-Modelle interaktive Bildwelten in Echtzeit erzeugen, die sich an die jeweilige Aufgabe anpassen.
Wer heute am Computer arbeitet, bewegt sich durch eine weitgehend festgelegte Umgebung. Programme haben Menüs, Fenster und Funktionen, die Entwickler zuvor gestaltet und programmiert haben. Zwar lassen sich Oberflächen personalisieren, die grundlegende Bedienlogik bleibt jedoch meist unverändert.
Mit Project Continuum verfolgt Runway Labs einen anderen Ansatz. Das Forschungsteam des auf generative KI spezialisierten Unternehmens arbeitet an einer Computeroberfläche, deren Inhalte durch Videomodelle fortlaufend neu erzeugt werden. Was auf dem Bildschirm erscheint, soll sich nicht nur nach einer einmal festgelegten Programmstruktur richten, sondern auch danach, was der Nutzer gerade erreichen möchte.
Die Anfang Oktober vorgestellte Demonstration gibt einen ersten Eindruck davon, wie eine solche Umgebung aussehen könnte.
Wenn ein Fenster auf Eingaben mit neuen Bildern reagiert
Ein zentrales Element von Continuum sind sogenannte Portals. Nutzer können beispielsweise einen Bereich eines Artikels markieren und daraus unmittelbar eine interaktive Visualisierung erzeugen lassen.
In der Demonstration zeigt Runway unter anderem, wie sich Inhalte über Photosynthese und Pflanzenbiologie in einer dreidimensionalen Darstellung erkunden lassen oder wie Bieber einen Damm bauen. Die erzeugte Szene erscheint als zusätzliches Fenster über den ursprünglichen Informationen.

In der Demo kann man jeden Bereich einer Webseite markieren und bekommt ein individuelles Video erzeugt. Screenshot runway.com
Der entscheidende Unterschied zu einem gewöhnlichen Video: Die Darstellung reagiert auf Eingaben. Wird das Fenster vergrößert oder verkleinert, passt das Videomodell nicht einfach nur die Bildgröße an, sondern kann den gezeigten Inhalt neu gestalten. Auch Mausklicks können die dargestellte Szene verändern.
Damit wird das Fenster selbst zu einem Eingabemedium für die KI.
Runway verwendet bewusst verschwommene Ränder, um generierte Inhalte von klassischen Bildschirmelementen unterscheidbar zu machen.
KI-Agenten sollen ihre Arbeit sichtbar machen
Besonders interessant ist der Ansatz für KI-Agenten. Diese können inzwischen komplexere Aufgaben bearbeiten, Programme schreiben oder technische Entwürfe entwickeln. Für Nutzer bleibt dabei häufig schwer nachvollziehbar, was die Systeme tatsächlich tun.
Continuum soll diese Arbeit mit einer Funktion namens Visual Thinking sichtbar machen.
In der Demonstration erhält ein KI-Agent die Aufgabe, eine 3D-druckbare Halterung für ein Fahrrad zu entwerfen. Anstatt ausschließlich Programmcode oder Text auszugeben, erzeugt das System eine visuelle Darstellung des entstehenden Modells.

In der Demo werden visuelle Zwischenergebnisse gezeigt.Screenshot runway.com
Die Idee dahinter: Menschen könnten den Arbeitsprozess eines KI-Agenten leichter verfolgen, wenn sie nicht nur seine textlichen Ausgaben, sondern auch visuelle Zwischenergebnisse sehen.
Allerdings ist eine wichtige Unterscheidung notwendig. Eine KI-generierte Darstellung ist nicht automatisch ein zuverlässiger Nachweis dafür, dass der zugrunde liegende Arbeitsschritt tatsächlich korrekt ausgeführt wurde. Gerade bei technischen Anwendungen müssten Visualisierung und überprüfbares Ergebnis miteinander übereinstimmen.
Von der Website zur interaktiven Welt
Runway demonstriert außerdem sogenannte Responsive Video Interfaces. Diese passen ihre Darstellung nicht nur an unterschiedliche Bildschirmgrößen an, sondern können Inhalte abhängig vom verfügbaren Platz neu zusammensetzen.
Hinzu kommen interaktive Welten, in denen Nutzer beispielsweise eine virtuelle Marsstation erkunden können. Solche Szenen lassen sich aus einer bestehenden Oberfläche heraus öffnen und erweitern.
Die zugrunde liegende Vorstellung reicht damit über klassische Benutzeroberflächen hinaus. Ein Computer könnte Informationen nicht mehr nur in Form von Text, Tabellen, Bildern und festgelegten Programmansichten bereitstellen, sondern situationsabhängig als begehbare oder interaktive Simulation aufbereiten.

Fragen und Informationen könnten in Zukunft visuell bearbeitet werden.Screenshot runway.com
Für Bildung, Produktentwicklung und technische Planung ergeben sich daraus mögliche Anwendungen. Komplexe Prozesse könnten unmittelbar visualisiert werden, ohne dass für jede Darstellung zuvor eine eigene Softwareoberfläche entwickelt werden müsste.
Noch Forschung, kein neues Windows
So weitreichend die Idee ist, so früh befindet sich das Projekt in seiner Entwicklung.
Runway bezeichnet Continuum ausdrücklich als Forschungsanwendung. Einen allgemeinen Veröffentlichungstermin, konkrete Systemanforderungen oder Preise hat das Unternehmen bislang nicht bekannt gegeben.
Auch entscheidende Fragen zur praktischen Nutzbarkeit bleiben offen. Dazu gehören die erforderliche Rechenleistung, die Zuverlässigkeit generierter Inhalte und die Frage, wie konsistent sich eine dynamische Oberfläche über längere Arbeitsabläufe verhält.
Gerade in professionellen Anwendungen ist das relevant. Nutzer müssen sich darauf verlassen können, dass Informationen korrekt dargestellt werden, Bedienelemente zuverlässig funktionieren und einmal erstellte Ergebnisse reproduzierbar bleiben.
Ein visuell überzeugender Prototyp allein beantwortet diese Fragen noch nicht.
Verändert KI künftig auch die Art, wie wir Computer bedienen?
Bislang konzentriert sich die Diskussion über generative KI häufig darauf, welche Tätigkeiten sich durch Sprachmodelle automatisieren lassen. Continuum wirft eine grundsätzlichere Frage auf: Was passiert, wenn KI nicht nur Inhalte erzeugt und Aufgaben ausführt, sondern auch die Oberfläche gestaltet, über die Menschen mit Computern arbeiten?
Der Ansatz könnte langfristig auch verändern, wie Software entwickelt wird. Statt für jede Aufgabe einzelne Ansichten und Interaktionen zu entwerfen, könnten Entwickler stärker festlegen, welche Informationen, Funktionen und Regeln einem System zugrunde liegen. Die konkrete visuelle Darstellung würde dann teilweise erst während der Nutzung entstehen.
Ob sich dieses Konzept gegenüber klassischen Oberflächen durchsetzen kann, ist offen. Nicht jede Aufgabe profitiert von einer fortlaufend generierten Darstellung. Gerade bei Tabellenkalkulationen, Buchhaltungssoftware oder anderen Anwendungen, bei denen Präzision und Wiederholbarkeit entscheidend sind, dürften feste Bedienelemente weiterhin Vorteile haben.
Project Continuum zeigt dennoch eine mögliche neue Richtung der Softwareentwicklung: Der Computer reagiert nicht mehr nur innerhalb einer programmierten Oberfläche auf Eingaben. Er könnte zunehmend auch die Oberfläche selbst erzeugen.

