Private AI Gateway¶

Jeder Modellaufruf eines AI Studio Pods läuft über das 4Geeks Private AI Gateway. Es gibt der Plattform einen zentralen Ort, um Modell-Traffic zu authentifizieren, zu routen, zu messen und zu auditieren, und es hält den Inference-Provider aus der Sicht des Kunden heraus.

Auf einen Blick

Für wen: Security-, Plattform- und Procurement-Teams, die AI Studio prüfen.
Zeit: 5 Minuten.
Ergebnis: ein klares Bild davon, wie Modell-Traffic geroutet, gemessen und geschützt wird.

Für wen
Security- und Plattform-Reviewer

Zeit
5 Minuten

Niveau
Fortgeschritten

Ergebnis
Modell-Traffic, den Sie auditieren können

Was das Gateway tut¶

Aufgabe	Funktionsweise
Eine Schnittstelle	Das Gateway stellt einen OpenAI-kompatiblen Endpoint bereit, sodass Planner, Sandbox und Agenten denselben Vertrag nutzen.
Modellkatalog	Das Gateway veröffentlicht die Modelle, die der Workspace nutzen kann, und die Plattform ordnet sie den Stufen 4Geeks Fast/Strong zu.
Routing	Jede Session läuft mit dem Modell, das die Plattform auswählt; die Konsole zeigt nie einen Anbieter oder eine rohe Model-ID.
Messung	Jede Anfrage erfasst Input- und Output-Tokens, Latenz und Kosten für das Usage-Ledger.
Budgetierung	Das Gateway erzwingt das Budget des Console-Service-Accounts; AI Studio erzwingt die Budgets von Pod und Wallet.
Auditierung	Anfragen sind einem Pod, einer Aufgabe und einer Session zuordenbar, sodass der Support Kosten erklären kann.

Warum es wichtig ist¶

Ein Ort, um Modelle zu ändern¶

Planner und Sandbox lesen denselben Service-Account-Key und denselben Modellkatalog. Das Modell zu ändern ist eine Entscheidung der Plattform, keine Codeänderung in jedem Pod.

Der Provider ist ein Implementierungsdetail¶

Der Inference-Provider ist nicht Teil der Kundenerfahrung. Timeline, Team-Karte, Fehlermeldungen und Modell-Labels zeigen 4Geeks Fast oder 4Geeks Strong, nie einen Provider-Namen oder eine rohe Model-ID. Das hält den Vertrag stabil, wenn die Plattform Modelle wechselt.

Kosten sind erklärbar¶

Ein Token ist kein Kundenkontingent. Das Gateway erfasst die Token-Nutzung, damit die Plattform Compute bepreisen und einen Pod unterstützen kann, während der Kunde Aufgaben und Pod-Lead-Zeit bezahlt. Das Usage-Ledger hält Provider-Kosten und Kundenpreis getrennt.

Budgets werden zweifach erzwungen¶

Ein außer Kontrolle geratener Pod wird durch das AI Studio-Budget und durch das Budget des Service-Accounts in der Console hinter dem Gateway begrenzt. Wird ein Limit erreicht, pausiert der Pod oder bittet um ein Top-up, statt weiter auszugeben.

Sicherheitsmodell¶

Zugangsdaten bleiben serverseitig. Der Model-Key ist ein Service-Account-Key, der auf Modellanfragen beschränkt ist. Die Sandbox erhält nie Provider-Zugangsdaten.
Die Sandbox ist isoliert. Jeder Pod läuft auf einer eigenen Maschine, klont das Kunden-Repository und kommuniziert über signierte ausgehende Aufrufe mit der Plattform.
Repository-Secrets liegen im Vault. Der GitLab/GitHub-Token und die Tool-Zugangsdaten werden nur vom Orchestrator gelesen und bei Bedarf in die Sandbox injiziert.
Keine Provider-Namen in kundenorientiertem Text. Eine Branding-Schicht entfernt Anbieternamen aus Events, Fehlern und Labels, auch aus Zeilen, die vor dieser Regel gespeichert wurden.
Kundendaten sind keine Trainingsdaten. Das Gateway ist so konfiguriert, dass es Provider und Endpoints nutzt, die Kundencode nicht für das Training aufbewahren. Fragen Sie Ihr Account-Team nach den aktuellen Data-Processing-Bedingungen.

Was das Gateway nicht tut¶

Es ist kein Allzweck-LLM-Proxy für Kunden. Es existiert, um AI Studio Pods zu bedienen.
Es deployt keinen Code, führt keine Migrationen aus und merged keine Pull Requests. Das sind Aktionen des Pods und des Repositorys.
Es ersetzt nicht Ihre CI. Der Pod führt seine eigenen Checks als Nachweis aus; Ihre Pipeline läuft weiterhin beim Merge Request.

Best Practices¶

Behandeln Sie das Gateway als Infrastruktur. Legen Sie keine Provider-Keys in einem Repository oder in einem Aufgaben-Prompt ab.
Nutzen Sie die Modellstufen der Plattform. Sie werden für die Aufgabe gewählt und über alle Pods hinweg konsistent gehalten.
Beobachten Sie die Ausgaben, nicht die Token-Zahl. Tokens erklären die Kosten; Aufgaben und Pod-Lead-Stunden erklären die Rechnung.
Exportieren Sie die Timeline für Audits. Sie verknüpft Nutzung mit Aufgaben, Genehmigungen und Ergebnissen.

Häufig gestellte Fragen¶

Welche Modelle nutzt AI Studio?

Die Plattform betreibt die Modelle, die ihr privates Gateway bereitstellt, und ordnet sie 4Geeks Fast und 4Geeks Strong zu. Der genaue Katalog kann sich ändern, ohne dass sich Ihr Workflow ändert.

Kann ich meinen eigenen Model-Key mitbringen?

AI Studio ist ein Managed Delivery Service. Der Model-Key wird von der Plattform verwaltet; einen eigenen Key mitzubringen ist nicht Teil des Standardprodukts.

Speichern Sie meine Prompts?

Das Gateway erfasst Nutzungs-Metadaten und die Pod-Timeline erfasst Events. Die Aufbewahrung beim Provider richtet sich nach den Data-Processing-Bedingungen der Plattform; fragen Sie Ihr Account-Team nach den aktuellen Details.

Nächste Schritte¶

Noch Fragen? Frag uns auf Discord oder entdecke die Tutorials.