Vom Start-up bis zur Förderbank des Bundes. Ohne Vorher-nachher-Prozente: was wir gebaut haben, was davon geblieben ist, und die Zahlen, die dazu gehören.
Der Kunde entwickelt fast nur noch mit KI und stellte in Frage, ob externe Qualitätssicherung überhaupt noch gebraucht wird. Wir haben vorgeschlagen, die Qualitätsschicht nicht neben die Agenten zu bauen, sondern mit ihnen.
Was entstanden ist
Der Testfallkatalog lebt als Dateien im Git des Kunden. Die KI pflegt ihn im selben Merge Request wie den Code — kein Testmanagement-Werkzeug, keine Lizenz. In der CI läuft die Prüfung vor jedem Deploy mit und blockiert den Hauptzweig, wenn sie nicht durchkommt. Wer einen bereits abgenommenen Fall inhaltlich ändert, braucht ein menschliches Okay. Reparaturschleifen sind auf drei Zyklen begrenzt, und bei Verdacht auf einen Produktfehler hält der Agent an, statt zu reparieren.
Werkzeuge
Playwright · TypeScript · GitLab CI · Claude Code · Coder
Zahlen
165Katalogfälle, als Dateien im Git des Kunden
162Playwright-Tests daraus erzeugt
9,4 minbis die CI sagt, ob der Stand tragbar ist — die ganze aktive Suite, nacheinander
ohneTestmanagement-Werkzeug — der Katalog lebt im Git des Kunden
Der CI-Schritt blockiert, er meldet nicht: auf dem Hauptzweig, vor dem Deploy. Und der KI-Schritt muss sich messen lassen — die reine Pfad-Mechanik ohne KI trifft mit Präzision 0,78 und Trefferquote 0,88. Das ist die Latte. Kommt der Agent nicht darüber, fliegt er raus.
digitale Gesundheit, Chemnitz · seit 01/2026
EndoHealth
Teststrategie und Regression für Android und iOS — von der grünen Wiese in die Pipeline
Ausgangslage
Ein Scrum-Team mit einer Gesundheits-App auf Android und iOS. Getestet wurde bis dahin von Hand, vor jedem Release. Der Auftrag: Teststrategie und Automatisierung von Grund auf.
Was entstanden ist
Erst die Teststrategie, dann die Umsetzung: Oberflächen-Automatisierung für beide Plattformen von null aufgebaut, gegen echte Geräte über BrowserStack, dazu die API-Tests dahinter — und alles in die Bitbucket-Pipeline gehängt, mit Benachrichtigung ins Team. Die Regression läuft bei jedem Merge auf den Hauptzweig und einmal täglich. Angefangen haben wir klassisch von Hand; inzwischen bauen wir agentisch mit Claude Code: Agenten entwerfen, prüfen und erweitern die Testfälle, und die Automatisierung selbst verbessern wir auf demselben Weg. Dazu Testmanagement-Coaching für die internen QA-Leute.
KfW — Förderbank des Bundes, Berlin · 09/2023 – 12/2025
KfW
Eine Teststrategie, die unter Bankenaufsicht umsetzbar war — und teils von uns selbst umgesetzt
Ausgangslage
Rund 150 Personen waren in einem Programm zusammengezogen, um einen gemeinsamen CI/CD-Baustein zu bauen — die Pipeline, über die heute relevante Teile der ganzen Bank ausliefern. Dazu eine bewusst komplexe Architektur, sehr viele Umgebungen und Freigabewege, die unter BAIT und MaRisk keine Abkürzung kennen.
Was entstanden ist
Unser Auftrag war die Teststrategie für diesen Baustein — eine, die unter den Auflagen auch wirklich umsetzbar ist und nicht nur im Dokument funktioniert. Umgesetzt haben wir sie zum Teil selbst: Testmanagement übernommen, Werkzeuge erprobt und eingeführt, Mitarbeiter in Testautomatisierung geschult und die Abstimmung über die Bank hinweg geführt.
Regulatorik
BAIT und MaRisk bis zu ihrer Ablösung, DORA ab Anwendungsbeginn im Januar 2025. Teilnahme am Agile Release Train.
Werkzeuge
Robot Framework · Cypress · Playwright · Testcontainers · Azure Test Plans · HP ALM · GitLab
Zahlen
150Personen im Programm, nach SAFe organisiert
3Regelwerke, die in der Pipeline abgebildet sein mussten: BAIT, MaRisk, später DORA
27Monate im Programm, von 09/2023 bis 12/2025
Bosch und Siemens, München · 01/2024 – 06/2024
BSH Hausgeräte
Vier Ebenen, ein Testaufbau: Firmware, Gerät, App, Sprachassistent
Ausgangslage
Ein neues IoT-Gerät für die Küche, dazu eine Mobile-App und eine Alexa-Integration.
Was entstanden ist
Wir haben das Gerät als ein System geprüft statt in Einzelteilen: Firmware auf das Testgerät geflasht, Wischgesten-Sensoren, Mikrofone und Lautsprecher auf Embedded-Ebene verifiziert, die App auf Android und iOS, das Backend dahinter und die Sprachintegration darüber. End-to-End-Tests über App, Gerät und Backend geplant, geschrieben und durchgeführt, dazu die Testautomatisierung für die mobile Seite und eine Teststrategie für den weiteren Ausbau.
Webshop, ERP und Digital-Asset-Management in einem Vorhaben
Ausgangslage
Fanatec gehört zu den international führenden Anbietern professioneller Sim-Racing-Hardware. Ein maßgeschneidertes ERP, ein neuer Webshop und ein Digital-Asset-Management wurden dort gleichzeitig eingeführt, von drei Dienstleistern mit mehr als siebzig Beteiligten, die zusammen liefern mussten. Eine Test- oder Automatisierungspraxis gab es im Haus nicht.
Was entstanden ist
Wir haben Testpläne, Testprozesse und die Automatisierung von Grund auf aufgebaut und die Lieferungen der externen Dienstleister abgenommen. Die Frontend-Automatisierung lief über Webshop, Backoffice, ERP und Digital-Asset-Management in getrennten Integrations- und Staging-Umgebungen, dazu eine Lastsimulation für das Black-Friday-Geschäft.
Werkzeuge
Katalon Studio mit TestOps · Java · Gradle · Postman · TestRail
Zahlen
3Systeme in einem Verbund: Webshop, ERP, Digital-Asset-Management
70+Beteiligte aus drei Dienstleistern, die zusammen liefern mussten
4Umgebungen, gegen die automatisiert geprüft wurde
