- Startseite
- Guides
- Von DevOps zur KI-Infrastruktur: erweitern statt neu anfangen
Von DevOps Zur KI-Infrastruktur: Erweitern Statt Neu Anfangen
Ihr Plattform-Team bringt das meiste für produktive KI schon mit. Eine praktische Zuordnung von DevOps-Kenntnissen zu KI-Infrastruktur und eine Checkliste, um RAG und Agenten sicher in Produktion zu bringen.
Wer KI produktiv betreiben will, glaubt oft, er brauche eine neue Art von Ingenieur. Meistens reicht es, wenn das bestehende Plattform-Team erweitert, was es ohnehin tut. Dieser Leitfaden ordnet Ihre vorhandenen Kenntnisse der Arbeit zu, die KI dazubringt, und gibt eine Checkliste, um einen RAG-Assistenten (Retrieval-Augmented Generation) oder einen Agenten in Produktion zu bringen. Er ist die praktische Seite unseres Angebots KI-Infrastruktur.
Die Zuordnung
| Was Ihr Team heute schon macht | Was daraus mit KI wird |
|---|---|
| Monitoring und Alerting | Antworten bewerten: Qualitätswerte, Regressionstests für Prompts, Traces pro Anfrage |
| Infrastructure as Code | GPU-Nodes, Modellserver und Gateways auf dieselbe Art definiert, geprüft und wiederholbar |
| CI/CD | Änderungen an Prompt, Modell und Index über dieselbe Pipeline, mit Evaluation als Gate |
| DevSecOps | Guardrails: Ein- und Ausgabeprüfung, Schutz vor Prompt Injection, Grenzen dafür, was ein Agent aufrufen darf |
| IAM und Secrets | Berechtigungen pro Agent und Tool, damit ein Assistent nie mehr liest als die fragende Person |
| Kostenkontrolle | Kosten pro Anfrage und pro Token, gemessen und begrenzt |
Nichts davon beginnt bei null. Neu ist das Modell selbst: Es arbeitet probabilistisch, «deployt» heisst deshalb nicht mehr «funktioniert».
Was ein produktiver RAG-Assistent braucht
- Ingestion: ein wiederholbarer Job, der Ihre Dokumente bereinigt, aufteilt und einbettet und entfernt, was an der Quelle gelöscht wurde.
- Ein Vektorspeicher mit Zugriffskontrolle: Treffer werden danach gefiltert, wer fragt, nicht nur nach Ähnlichkeit.
- Eine API-Schicht: Authentifizierung, Rate Limits, Timeouts und ein Fallback, wenn das Modell langsam ist.
- Container und Pipeline: derselbe Build-, Test- und Deploy-Weg wie bei jedem anderen Service.
- Evaluation: ein fester Satz echter Fragen mit erwarteten Antworten, bei jeder Änderung an Prompt, Modell oder Index ausgeführt.
- Schutz vor Prompt Injection: abgerufener Text und Tool-Ausgaben sind nicht vertrauenswürdige Eingaben. Sie dürfen nie erweitern, was der Assistent tun darf.
- Tracing: Jede Antwort lässt sich auf Prompt, abgerufene Quellen und Modellversion zurückführen.
Wo Agenten das Bild verändern
Ein Agent ruft Tools auf, jedes Tool ist also eine neue Tür in Ihre Systeme. Stellen Sie sie über einen MCP-Server oder ein Gateway bereit, mit Authentifizierung, engen Berechtigungen und Audit-Log. Bei Aktionen, die sich schwer rückgängig machen lassen, etwa Senden, Löschen oder Bezahlen, bleibt ein Mensch im Ablauf, und die Freigabe ist Teil des Workflows, nicht ein Nachgedanke.
Eine erste Woche
- Tag 1: Einen echten Anwendungsfall und die dafür nötigen Daten festlegen.
- Tag 2 bis 3: Den Evaluationssatz aus 20 echten Fragen aufbauen.
- Tag 4 bis 5: Die einfachste Version Ende-zu-Ende hinter Ihrer normalen Pipeline laufen lassen und die Traces lesen.
Ist der Evaluationssatz nicht bereit, ist das System nicht bereit, so gut die Demo auch aussieht.
Nächster Schritt
Wenn Sie für Ihre erste KI-Anwendung eine zweite Meinung möchten, buchen Sie ein Gespräch, und wir gehen die Zuordnung oben mit Ihrem Setup durch.
Bereit, Ihre Plattform zu vereinfachen?
Wir arbeiten mit einer kleinen Anzahl von Kunden gleichzeitig zusammen. Wenn Sie mit Zuverlässigkeitsproblemen, Komplexität oder einer schwer zu bedienenden Plattform zu kämpfen haben, lassen Sie uns reden.