Local AI

Moderne KI ist echter Hebel, aber der übliche Weg dorthin bedeutet, euer Material durch die API von jemand anderem zu schicken, auf deren Roadmap, unter deren Speicherpolitik. Für viele Teams ist das in Ordnung. Für manche nicht. Wir installieren und implementieren On-Premise-KI-Hardware mit einer standardisierten Inferenz-Schnittstelle obendrauf, sodass derselbe Client-Code, der sonst zu einem Cloud-Anbieter gesprochen hätte, mit eurer Box spricht, und die Daten verlassen das Haus nie.

Hardware

• Spezifikation. Modellgrößen, Concurrency, Durchsatz und Latenz übersetzt in eine tatsächliche Materialliste: Workstation, Rack, Edge-Box oder eine Mischung. GPU-Klasse gewählt für die Modelle, die ihr wirklich betreibt, nicht für die auf dem Datenblatt.
• Beschaffung und Installation. Wir beschaffen, montieren und verkabeln, oder wir arbeiten mit euren Infrastruktur-Leuten, die das ohnehin tun. Netzwerk, Storage, Strom, Kühlung, Remote-Management. Die physische Schicht geregelt, nicht angenommen.
• Air Gap oder Perimeter. Wir vereinbaren mit euch, wo die Grenze sitzt: vollständig air-gapped, VLAN-isoliert oder nur aus dem internen Netz erreichbar, und bauen so, dass das System das zur Laufzeit erzwingt, nicht in einem Richtlinien-PDF.

Inferenz-Stack

• Serving. vLLM, Ollama, llama.cpp oder TGI für Sprachmodelle, plus lokale Embeddings und (optional) Speech und Vision. Modell nach Aufgabe gewählt, nicht nach Hype. Konfiguration versioniert, reproduzierbar aus einer frischen Box.
• Standardisierte Schnittstelle. Ein OpenAI-kompatibler HTTP-Endpoint auf eurer Box. Bestehende SDKs, IDE-Erweiterungen, Agent-Frameworks und interne Tools zeigen per URL darauf und interessieren sich nicht mehr dafür, was dahinter läuft. Modelle tauschbar, ohne Client-Code anzufassen.
• Retrieval. Lokaler Vector Store, Hybrid-Search und ein Evaluations-Harness, damit Retrieval-Qualität eine Zahl wird, die ihr beobachten könnt, kein Gefühl.

Übergabe

• Betrieb. Runbooks für die Rufbereitschaft, die ihr tatsächlich habt, nicht für das SRE-Team, das ihr nicht habt. Backup, Upgrade, Incident, Kapazität.
• Evaluation. Ein kleines Set eurer eigenen Prompts, das bei jedem Modellwechsel läuft, damit „wir haben upgegradet und es fühlt sich anders an“ zu einer messbaren Aussage wird.
• Rhythmus. Der Open-Weights-Raum bewegt sich schnell. Wir vereinbaren eine Check-in-Kadenz, damit das Setup nicht stillschweigend hinter das Nützliche zurückfällt.