🤖 Explicar com IA

Private AI Gateway¶

Toda chamada de modelo feita por um pod do AI Studio passa pelo 4Geeks Private AI Gateway. Ele dá à plataforma um único lugar para autenticar, rotear, medir e auditar o tráfego de modelos, e mantém o provedor de inferência fora da visão do cliente.

O que o gateway faz¶

Por que isso importa¶

Um só lugar para trocar de modelo¶

O planner e o sandbox leem a mesma chave de service account e o mesmo catálogo de modelos. Trocar de modelo é uma decisão da plataforma, não uma mudança de código em cada pod.

O provedor é um detalhe de implementação¶

O provedor de inferência não faz parte da experiência do cliente. A timeline, o cartão do time, as mensagens de erro e os rótulos de modelo mostram 4Geeks Fast ou 4Geeks Strong, nunca o nome de um provedor ou um id bruto de modelo. Isso mantém o contrato estável quando a plataforma troca de modelos.

Os custos são explicáveis¶

Um token não é uma cota do cliente. O gateway registra o uso de tokens para que a plataforma consiga precificar computação e dar suporte a um pod, enquanto o cliente paga por tarefas e tempo de pod lead. O ledger de uso mantém separados o custo do provedor e o preço ao cliente.

Os orçamentos são aplicados duas vezes¶

Um pod descontrolado é limitado pelo orçamento do AI Studio e pelo orçamento da service account do Console por trás do gateway. Se um limite é atingido, o pod pausa ou pede uma recarga em vez de continuar gastando.

Modelo de segurança¶

• As credenciais ficam no servidor. A chave de modelo é uma chave de service account com escopo para requisições de modelo. O sandbox nunca recebe credenciais do provedor.
• O sandbox é isolado. Cada pod roda em sua própria máquina, clona o repositório do cliente e fala com a plataforma por chamadas de saída assinadas.
• Os segredos do repositório ficam no vault. O token do GitLab/GitHub e as credenciais das ferramentas são lidos apenas pelo orquestrador e injetados no sandbox quando necessário.
• Nenhum nome de provedor em texto voltado ao cliente. Uma camada de branding remove nomes de vendors de eventos, erros e rótulos, incluindo linhas armazenadas antes da regra existir.
• Os dados do cliente não são dados de treinamento. O gateway é configurado para usar provedores e endpoints que não retêm código do cliente para treinamento. Peça ao seu time de conta os termos atuais de processamento de dados.

O que o gateway não faz¶

• Ele não é um proxy de LLM de propósito geral para clientes. Ele existe para atender os pods do AI Studio.
• Ele não faz deploy de código, não roda migrações e não faz merge de pull requests. Essas são ações do pod e do repositório.
• Ele não substitui o seu CI. O pod roda suas próprias checagens como evidência; seu pipeline continua rodando no merge request.

Boas práticas¶

1. Trate o gateway como infraestrutura. Não coloque chaves de provedor em um repositório nem no prompt de uma tarefa.
2. Use os tiers de modelo da plataforma. Eles são escolhidos para a tarefa e mantidos consistentes entre os pods.
3. Observe o gasto, não a contagem de tokens. Os tokens explicam o custo; as tarefas e as horas de pod lead explicam a fatura.
4. Exporte a timeline para auditorias. Ela liga o uso a tarefas, aprovações e entregáveis.

Perguntas frequentes¶

Próximos passos¶

• Entender o uso, os planos e a wallet
• Criar um pod passo a passo
• Explorar as perguntas frequentes do AI Studio

Ainda tem dúvidas? Pergunte no Discord ou explore os tutoriais.