Private AI Gateway¶
Cada llamada a un modelo que hace un pod de AI Studio pasa por el Private AI Gateway de 4Geeks. Le da a la plataforma un solo lugar para autenticar, rutear, medir y auditar el tráfico de modelos, y mantiene al proveedor de inferencia fuera de la vista del cliente.
En resumen
Para: equipos de seguridad, plataforma y compras que evalúan AI Studio.
Tiempo: 5 minutos.
Resultado: una idea clara de cómo se enruta, mide y protege el tráfico de modelos.
Qué hace el gateway¶
| Responsabilidad | Cómo funciona |
|---|---|
| Una interfaz | El gateway expone un endpoint compatible con OpenAI, así el planner, el sandbox y los agentes usan el mismo contrato. |
| Catálogo de modelos | El gateway publica los modelos que el workspace puede usar y la plataforma los mapea a los niveles 4Geeks Fast/Strong. |
| Ruteo | Cada sesión corre el modelo que la plataforma selecciona; la consola nunca muestra un proveedor ni un id de modelo crudo. |
| Medición | Cada request registra tokens de entrada y salida, latencia y costo para el ledger de uso. |
| Presupuesto | El gateway aplica el presupuesto de la service account de Console; AI Studio aplica el presupuesto del pod y de la billetera. |
| Auditoría | Los requests son atribuibles a un pod, una tarea y una sesión, así soporte puede explicar un costo. |
Por qué importa¶
Un solo lugar para cambiar modelos¶
El planner y el sandbox leen la misma clave de service account y el mismo catálogo de modelos. Cambiar el modelo es una decisión de plataforma, no un cambio de código en cada pod.
El proveedor es un detalle de implementación¶
El proveedor de inferencia no forma parte de la experiencia del cliente. El timeline, la tarjeta del equipo, los mensajes de error y las etiquetas de modelo muestran 4Geeks Fast o 4Geeks Strong, nunca un nombre de proveedor ni un id de modelo crudo. Eso mantiene estable el contrato cuando la plataforma cambia de modelo.
Los costos son explicables¶
Un token no es una cuota del cliente. El gateway registra el uso de tokens para que la plataforma pueda costear el cómputo y dar soporte a un pod, mientras el cliente paga por tareas y tiempo de pod lead. El ledger de uso separa el costo del proveedor del precio al cliente.
Los presupuestos se aplican dos veces¶
Un pod descontrolado tiene dos topes: el presupuesto de AI Studio y el presupuesto de la service account de Console detrás del gateway. Si se alcanza un límite, el pod se pausa o pide una recarga en vez de seguir gastando.
Modelo de seguridad¶
- Las credenciales quedan del lado del servidor. La clave de modelo es una clave de service account acotada a requests de modelo. El sandbox nunca recibe credenciales del proveedor.
- El sandbox está aislado. Cada pod corre en su propia máquina, clona el repositorio del cliente y habla con la plataforma mediante llamadas salientes firmadas.
- Los secretos del repositorio viven en la bóveda. El token de GitLab/GitHub y las credenciales de herramientas solo los lee el orquestador y se inyectan en el sandbox cuando hace falta.
- Sin nombres de proveedor en texto para el cliente. Una capa de branding redacta nombres de proveedores de eventos, errores y etiquetas, incluso en filas guardadas antes de la regla.
- Los datos del cliente no son datos de entrenamiento. El gateway se configura con proveedores y endpoints que no retienen código del cliente para entrenamiento. Pide a tu account team los términos de procesamiento vigentes.
Lo que el gateway no hace¶
- No es un proxy de LLM de propósito general para clientes. Existe para servir a los pods de AI Studio.
- No despliega código, no corre migraciones ni mergea pull requests. Eso son acciones del pod y del repositorio.
- No reemplaza tu CI. El pod corre sus propios checks como evidencia; tu pipeline sigue corriendo en el merge request.
Buenas prácticas¶
- Trata el gateway como infraestructura. No pongas claves de proveedor en un repositorio ni en el prompt de una tarea.
- Usa los niveles de modelo de la plataforma. Se eligen para la tarea y se mantienen consistentes entre pods.
- Vigila el gasto, no el conteo de tokens. Los tokens explican el costo; las tareas y las horas de pod lead explican la factura.
- Exporta el timeline para auditorías. Vincula el uso con tareas, aprobaciones y entregables.
Preguntas frecuentes¶
¿Qué modelos usa AI Studio?
La plataforma corre los modelos expuestos por su gateway privado y los mapea a 4Geeks Fast y 4Geeks Strong. El catálogo exacto puede cambiar sin cambiar tu flujo de trabajo.
¿Puedo traer mi propia clave de modelo?
AI Studio es un servicio de entrega gestionado. La clave de modelo la administra la plataforma; traer tu propia clave no forma parte del producto estándar.
¿Guardan mis prompts?
El gateway registra metadatos de uso y el timeline del pod registra eventos. La retención del proveedor se rige por los términos de procesamiento de la plataforma; pide los detalles vigentes a tu account team.
Siguientes pasos¶
- Entender el uso, los planes y la billetera
- Crear un pod paso a paso
- Explorar las preguntas frecuentes de AI Studio
¿Aún tienes dudas? Pregunta en Discord o explora los tutoriales.