Eine Sprache für alle Rollen: Wie multimodale KI den Baubetrieb versteht
von Lisa Lenz & Marco Meinerzhagen | 05. Oktober 2026
Künstliche Intelligenz hält zunehmend Einzug in unterschiedlichste Branchen und verändert, wie Informationen verarbeitet, verknüpft und nutzbar gemacht werden. Während in klassischen Anwendungsfeldern häufig einzelne Datenformen wie reiner Text oder isolierte Bilddaten im Mittelpunkt stehen, zeigt sich im Baubetrieb eine besondere Herausforderung: Hier treffen extrem heterogene Datenformen auf ebenso heterogene Nutzerrollen, die dieselbe Information jeweils ganz unterschiedlich benötigen.
An dieser Stelle setzen multimodale KI-Modelle und nutzerzentrierte Gestaltungsansätze an. Grundlage hierfür ist ein Beitrag von Dr.-Ing. Lisa Theresa Lenz und Marco Meinerzhagen im Buch „Agile Digitalisierung im Baubetrieb“, der sich gezielt mit den technologischen Grundlagen multimodaler Systeme sowie mit deren nutzerzentrierter Anpassung an unterschiedliche Rollen im Baubetrieb auseinandersetzt.
Während frühere Beiträge in unserem Blog bereits gezeigt haben, wie digitale Prüfmechanismen die Qualitätssicherung in der Planung verbessern können, konzentriert sich dieser Beitrag auf die dahinterliegenden technologischen und gestalterischen Grundlagen: Wie können KI-Systeme unterschiedlichste Datenformen sinnvoll zusammenführen, und wie lässt sich sicherstellen, dass die daraus gewonnenen Informationen bei jeder Nutzerin und jedem Nutzer in der passenden Form ankommen?
Warum multimodale KI und Nutzerzentrierung im Baubetrieb so entscheidend sind
Ein Bauprojekt ist ein hochkomplexes Zusammenspiel unterschiedlichster Akteure, Prozesse und Datenquellen. Pläne liegen als Bild- oder Vektordaten vor, Leistungsverzeichnisse als tabellarisch-strukturierte Datensätze, Bautagesberichte hingegen als Mischung aus Fließtext, Fotos und Sprachmemos. Diese fragmentierte, historisch gewachsene Datenlandschaft gilt als eines der wesentlichen Hindernisse für eine durchgängige digitale Auswertbarkeit im Bauwesen.
Werden diese Datenformen isoliert voneinander betrachtet, gehen wertvolle Informationen verloren: Ein Foto im Bautagesbericht ohne Bezug zum begleitenden Text bleibt ungenutzt, ein Planinhalt ohne Verknüpfung zum zugehörigen Leistungsverzeichnis kann zu Fehleinschätzungen bei Mengen und Kosten führen. Erst die gemeinsame, semantisch verknüpfte Betrachtung mehrerer Modalitäten macht die eigentliche Information vollständig nutzbar.
Hinzu kommt die Vielfalt der beteiligten Rollen: Bauleitung, Nachunternehmer, Kalkulation und Projektsteuerung benötigen dieselbe zugrunde liegende Information in völlig unterschiedlicher Aufbereitung , von der aggregierten Kosten- und Terminübersicht bis zum detaillierten, gewerkespezifischen Planausschnitt. Klassische, einheitliche Nutzeroberflächen werden dieser Vielfalt an Aufgaben und Informationsbedürfnissen nicht gerecht.
Genau diese doppelte Herausforderung aus heterogenen Daten und heterogenen Nutzerrollen greifen Lenz und Meinerzhagen auf, um daraus konkrete Gestaltungsprinzipien für KI-Systeme im Baubetrieb abzuleiten.
Multimodale KI und Nutzerzentrierung als Grundlage neuer Ansätze
Lenz und Meinerzhagen verfolgten dabei das Ziel, technologische und gestalterische Perspektiven zusammenzuführen: Sie analysierten nicht nur, wie KI-Modelle unterschiedliche Datenformen technisch verarbeiten können, sondern auch, wie sich daraus resultierende Informationen nutzerzentriert und rollengerecht aufbereiten lassen.
Aus dieser Betrachtung ergeben sich drei zentrale Bausteine, die im Folgenden näher beleuchtet werden:
- die technologischen Grundlagen multimodaler KI-Modelle,
- Nutzerzentrierung als etabliertes Designprinzip sowie
- KI-Profiling als technische Umsetzung rollenspezifischen Modellverhaltens.
Jeder dieser Bausteine adressiert einen entscheidenden Aspekt auf dem Weg zu KI-Systemen, die den Baubetrieb in seiner ganzen Heterogenität wirklich verstehen und unterstützen.
Multimodale KI-Modelle
Unimodale KI-Systeme verarbeiten ausschließlich eine einzige Modalität – etwa reinen Text oder isolierte Bilddaten, und überführen sie in eine Ausgabe derselben oder einer anderen Modalität. Multimodale KI nimmt demgegenüber Informationen aus mehreren, strukturell unterschiedlichen Modalitäten gleichzeitig auf, bezieht sie semantisch aufeinander und nutzt sie für Verständnis- oder Generierungsaufgaben. Aktuelle multimodale große Sprachmodelle setzen dazu ein leistungsfähiges Sprachmodell als zentrale Verarbeitungseinheit ein und erweitern es um Bild-, Audio- oder Video-Encoder.
Das Zusammenspiel der Modalitäten lässt sich als dreistufiger Prozess beschreiben: Zunächst erfolgt das „Sehen“ – die perzeptive Erfassung visueller und akustischer Rohdaten. Darauf folgt das „Verstehen“ – die modalitätsübergreifende semantische Verknüpfung der wahrgenommenen Informationen. Den Abschluss bildet das „Handeln“ – die Überführung dieses Verständnisses in konkrete Ausgaben, etwa einen generierten Text, eine Antwort auf eine Datenabfrage oder eine Handlungsempfehlung.
Entscheidend ist dabei, dass Text, Bild, Sprache und strukturierte Daten nicht additiv nebeneinander wirken, sondern wechselseitig Informationslücken der jeweils anderen Modalität kompensieren.
Der Baubetrieb veranschaulicht diese Heterogenität in besonderem Maße: Pläne, Leistungsverzeichnisse und Bautagesberichte liegen jeweils in völlig unterschiedlichen Datenformen vor. Erste multimodale Ansätze setzen bereits an dieser Stelle an, etwa durch die Kombination von Fassadenaufnahmen mit begleitendem Text zur automatisierten Gebäudeklassifikation, und zeigen zugleich, wie stark ihr Erfolg von der Verfügbarkeit hochwertiger, mehrdimensionaler Daten abhängt.
Damit bilden multimodale KI-Modelle die technologische Grundlage, um die fragmentierte Datenlandschaft des Baubetriebs überhaupt sinnvoll zusammenführen zu können.
Nutzerzentrierung als Designprinzip
Der Grundgedanke des User-Centered Design (UCD), Systeme konsequent von den Bedürfnissen und Aufgaben ihrer Nutzerinnen und Nutzer her zu entwickeln, ist seit den 1980er-Jahren in der Mensch-Computer-Interaktion verankert und in der ISO 9241-210 „Menschzentrierte Gestaltung interaktiver Systeme“ normativ festgehalten. Die Norm leitet daraus sechs Prinzipien ab: ein explizites Verständnis von Nutzer:innen, Aufgaben und Arbeitsumgebung; die aktive Einbindung der Nutzer:innen über den gesamten Entwicklungsprozess; kontinuierliche, nutzerzentrierte Evaluation und Optimierung; ein iteratives Vorgehen; die Berücksichtigung der gesamten User Experience statt einzelner Funktionen sowie ein interdisziplinär zusammengesetztes Entwicklungsteam.
Im Baubetrieb gewinnt Nutzerzentrierung besondere Relevanz, weil an einem Bauprojekt heterogene Rollen mit jeweils eigenen Aufgaben und Informationsbedürfnissen beteiligt sind. Die vergleichsweise geringe Digitalisierung des Bauwesens wird unter anderem auf eine unzureichende Systematisierung digitaler Werkzeuge zur Einbindung dieser heterogenen Stakeholdergruppen zurückgeführt.
Dieselbe multimodale Information, etwa ein Bauplan oder ein Bautagesbericht, muss daher je nach Rolle unterschiedlich aufbereitet werden: Die Bauleitung benötigt tagesaktuelle, ortsbezogene Informationen zum Baufortschritt, der Nachunternehmer nur die für sein Gewerk relevanten Plan- und LV-Ausschnitte, die Kalkulation strukturierte LV-Daten zur Mengen- und Preisermittlung und die Projektsteuerung eine projektübergreifende Sicht auf Termine, Kosten und Risiken.
Eine einheitliche „One-size-fits-all“-Schnittstelle widerspricht damit den Prinzipien der ISO 9241-210 – und macht deutlich, warum multimodale KI-Systeme im Baubetrieb Nutzerprofil, Aufgabe und Kontext jeder Rolle explizit verstehen müssen.
KI-Profiling
KI-Profiling bezeichnet die gezielte Anpassung des Sprachmodell-Verhaltens an Rolle, Aufgabe und Projektkontext der jeweiligen Anwenderinnen und Anwender. Anstatt sich für alle Nutzer:innen identisch zu verhalten, erhält das System dabei ein rollenspezifisches Profil. Dieses legt fest, in welcher Aggregationstiefe, Sprache und Darstellungsform Informationen ausgegeben werden, beispielsweise als aggregierter Statusbericht für die Bauherrschaft oder als detaillierte Planinterpretation für die Bauleitung. Damit setzt Profiling technisch um, was zuvor als Grundsatz der Nutzerzentrierung beschrieben wurde.
Reines Prompting besteht aus einzelnen, situativen Anweisungen innerhalb einer Konversation. Davon unterscheidet sich Profiling durch seine Persistenz und Systematik, denn ein Profil wirkt nicht nur auf eine einzelne Anfrage, sondern strukturiert das Modellverhalten über den gesamten Nutzungszeitraum und alle Aufgaben einer Rolle hinweg konsistent.
Profiling lässt sich als eigenständiger Ansatz zwischen reinem Prompting und Fine-Tuning einordnen. Es nutzt in der Regel strukturierte, vorab definierte Kontextinformationen, also Rollen-, Aufgaben- und Projektdaten, die dem Modell systematisch zugeführt werden, ohne dass hierfür die Modellparameter selbst verändert werden müssen.
Fazit
Multimodale KI-Modelle und nutzerzentrierte Gestaltung greifen ineinander: Erst ihr Zusammenspiel – technisch umgesetzt über KI-Profiling – macht aus heterogenen, verstreuten Bau-Daten Informationen, die für jede Rolle im Projekt tatsächlich nutzbar sind.
Vollständig gelöst ist die Herausforderung damit noch nicht. Heterogene Daten und heterogene Nutzerrollen bringen eine Vielzahl weiterer Facetten mit sich, die bislang nur teilweise untersucht wurden. Der bisherige Ansatz macht jedoch deutlich, wie viel Potenzial in der engen Verzahnung von Technologie und Nutzerperspektive steckt.
Auf dieser Grundlage lässt sich weiterdenken: Multimodale Modelle und rollenspezifisches Profiling können künftig als Basis für konkrete KI-gestützte Workflows dienen, die Prozesse im Baubetrieb spürbar effizienter und transparenter machen.
Entdecken Sie mit planBIC eine wegweisende Software-as-a-Service Lösung, die eine automatisierte Vollständigkeits- und Qualitätsprüfung von Bauprojektunterlagen sowie eine kollaborative Arbeitsweise in der Cloud ermöglicht. Ein Bestandteil von planBIC ist myCheck, welche die neue Prüfengine ist, um individuelle Checks zu erstellen. Dadurch können projektspezifische Anforderungen strukturiert in den Prüfprozess integriert und wiederkehrende Kontrollen einheitlich durchgeführt werden.