🤖 Spiega con IA

Private AI Gateway¶

Ogni chiamata ai modelli fatta da un pod di AI Studio passa attraverso il 4Geeks Private AI Gateway. Offre alla piattaforma un unico punto per autenticare, instradare, misurare e sottoporre ad audit il traffico dei modelli, e tiene il provider di inferenza fuori dalla vista del cliente.

Cosa fa il gateway¶

Perché conta¶

Un unico punto per cambiare modello¶

Il planner e la sandbox leggono la stessa chiave del service account e lo stesso catalogo dei modelli. Cambiare modello è una decisione di piattaforma, non una modifica al codice di ogni pod.

Il provider è un dettaglio implementativo¶

Il provider di inferenza non fa parte dell’esperienza del cliente. La timeline, la scheda del team, i messaggi di errore e le etichette dei modelli mostrano 4Geeks Fast o 4Geeks Strong, mai il nome di un provider o un ID modello grezzo. Questo mantiene stabile il contratto quando la piattaforma cambia modello.

I costi sono spiegabili¶

Un token non è una quota del cliente. Il gateway registra l’utilizzo dei token così la piattaforma può calcolare il costo del compute e supportare un pod, mentre il cliente paga task e tempo del pod lead. Il registro di utilizzo tiene separati il costo del provider e il prezzo per il cliente.

I budget sono applicati due volte¶

Un pod fuori controllo è limitato dal budget di AI Studio e dal budget del service account Console dietro il gateway. Se viene raggiunto un limite, il pod si mette in pausa o chiede una ricarica invece di continuare a spendere.

Modello di sicurezza¶

• Le credenziali restano lato server. La chiave dei modelli è una chiave di service account limitata alle richieste ai modelli. La sandbox non riceve mai le credenziali del provider.
• La sandbox è isolata. Ogni pod gira sulla propria macchina, clona il repository del cliente e comunica con la piattaforma tramite chiamate in uscita firmate.
• I segreti del repository vivono nel vault. Il token GitLab/GitHub e le credenziali degli strumenti sono letti solo dall’orchestratore e iniettati nella sandbox quando servono.
• Nessun nome di provider nei testi per il cliente. Uno strato di branding oscura i nomi dei provider da eventi, errori ed etichette, incluse le righe salvate prima che esistesse la regola.
• I dati del cliente non sono dati di addestramento. Il gateway è configurato per usare provider ed endpoint che non conservano il codice del cliente per l’addestramento. Chiedi al tuo account team i termini attuali sul trattamento dei dati.

Cosa non fa il gateway¶

• Non è un proxy LLM generico per i clienti. Esiste per servire i pod di AI Studio.
• Non fa deploy del codice, non esegue migrazioni e non fa il merge di pull request. Quelle sono azioni del pod e del repository.
• Non sostituisce la tua CI. Il pod esegue i propri controlli come prova; la tua pipeline continua a girare sulla merge request.

Buone pratiche¶

1. Tratta il gateway come infrastruttura. Non mettere chiavi dei provider in un repository o nel prompt di un task.
2. Usa i livelli di modello della piattaforma. Sono scelti per il task e mantenuti coerenti tra i pod.
3. Guarda la spesa, non il conteggio dei token. I token spiegano il costo; task e ore di pod lead spiegano la fattura.
4. Esporta la timeline per gli audit. Collega l’utilizzo a task, approvazioni e consegne.

Domande frequenti¶

Prossimi passi¶

• Comprendi utilizzo, piani e wallet
• Crea un pod passo passo
• Consulta le domande frequenti su AI Studio

Hai ancora domande? Chiedi su Discord o esplora i tutoriali.