Português
Começar

Agent Sandboxes Cada comando, host e turno

Veja tudo o que um sandbox fez

Quando a execução de um agente dá errado, você quer saber o que aconteceu dentro do sandbox dele. A observabilidade de sandboxes guarda a resposta: métricas, um registro de cada comando, de cada host alcançado e de cada turno de agente, pela mesma API que os roda.

Métricas do sandbox

get_sandbox_metrics responde CPU, em que 100% é toda vCPU ocupada, memória em uso, disco em uso e bytes de entrada e de saída, como pontos com a média de um passo: a última hora por padrão, ou qualquer intervalo nas últimas 24 horas, com passo de 5 s ou mais, até 1.000 pontos. O servidor de um sandbox guarda as métricas dele por 24 horas.

Eventos: o que aconteceu, quando aconteceu

Todo sandbox registra o que aconteceu nele, do mais antigo para o mais novo, como uma lista que você pagina ou um stream ao vivo que você acompanha a partir de qualquer ponto:

  • Ciclo de vida: criado, pausado, parado, retomado, redimensionado e excluído, cada um com o motivo, como uma requisição, ociosidade, um despertar ou uma falha; uma criação indica o tamanho, e um fork a origem.
  • Comandos que terminaram: os primeiros 1.024 bytes do comando, o código de saída, quanto tempo rodou, e se foi a API, o SSH ou um terminal que o iniciou.
  • Saída, um minuto por vez por host e porta: permitida ou recusada, as conexões, os bytes em cada sentido e os segredos trocados nas requisições.
  • Portas, um minuto por vez: requisições, quantas receberam 5xx e os bytes em cada sentido.
  • Turnos de agente: o agente, os primeiros 200 caracteres do prompt, como o turno terminou e os tokens de entrada e de saída.

Um sandbox guarda os 10.000 eventos mais recentes de cada tipo, e uma lista ou um stream pode pegar só os tipos que você pedir. Ele registra até 600 comandos e turnos de agente por minuto; os que passarem disso são registrados nos minutos seguintes.

from pethost.sandboxes import Sandboxes

sandboxes = Sandboxes()  # lê o PETHOST_TOKEN
sandbox_id = sandboxes.list_sandboxes(name="api-dev").sandboxes[0].sandbox_id

points = sandboxes.get_sandbox_metrics(sandbox_id).points  # a última hora
print(max(point.cpu_percent for point in points), points[-1].memory_used_bytes)

for event in sandboxes.watch_sandbox_events(sandbox_id):  # o que aconteceu até agora, depois ao vivo
    if event.command:
        print(event.time, event.command.exit_code, event.command.command)
    elif event.egress and not event.egress.allowed:
        print(event.time, "refused:", event.egress.host)
pethost sandbox events api-dev -f                    # todos os eventos, depois os novos conforme chegam
pethost sandbox events api-dev --kind egress -n 50   # os últimos 50 eventos de saída

Comandos, transcrições e uso

Ao lado dos eventos, list_commands mostra o que roda agora, iniciado pela API, por SSH ou por um terminal. get_command e watch_command dão a saída de um comando, os últimos 64 KiB e depois ao vivo, e o sandbox guarda os últimos 100 comandos que terminaram.

watch_conversation transmite a conversa de um agente de código: cada prompt, mensagem, chamada de ferramenta com a entrada e a saída, e o fim de cada turno. Uma conversa fica no disco do sandbox: uma pausa a guarda, um fork a leva junto, e um template a deixa de fora.

Cada sandbox informa os segundos que rodou e ficou pausado, os GiB-hora que ficou guardado e quanto custou até agora, e list_usage dá uma linha por dia, medidor e tamanho, como foi cobrado. O painel web mostra as métricas e os eventos de um sandbox na página dele.

O que fica guardado, e por quanto tempo

As métricas ficam 24 horas, e os eventos, os 10.000 mais recentes de cada tipo, enquanto o sandbox existir. Quando um sandbox é excluído, o registro dele fica 30 dias, com o uso final, e os eventos e as métricas, um dia.

O que ainda não existe

Ainda não há webhooks nem exportação para OpenTelemetry. Para alimentar o seu próprio monitoramento, acompanhe o stream, ou pagine a lista a partir do id do último evento que você leu: o id de um evento posterior é sempre maior, então você nunca lê um duas vezes. O guia de observabilidade tem todos os campos, e a página da lista de permissões de saída diz como os hosts dos eventos de saída são julgados.

Ler a documentação

Perguntas

Por quanto tempo as métricas do sandbox ficam guardadas?

24 horas, no servidor do sandbox, com passo de 5 s ou mais.

Dá para enviar os eventos para o meu monitoramento?

Por push, ainda não: não há webhooks nem exportação para OpenTelemetry. Acompanhe watch_sandbox_events, ou consulte list_sandbox_events periodicamente com o id do último evento que você leu.

As transcrições de um agente ficam guardadas?

Sim, no disco do sandbox, enquanto o sandbox existir. Uma pausa as guarda, e um fork as leva junto.

Dá para ver quais hosts um sandbox alcançou?

Sim. Os eventos de saída dele listam cada host e porta, um minuto por vez, permitido ou recusado, com as conexões e os bytes em cada sentido.

O que sobra depois que um sandbox é excluído?

O registro, com o uso final, por 30 dias; os eventos e as métricas, por um dia.

Relacionados

Dê um computador ao seu agente em 0,15 s

Começar o teste grátis