Polski
Zacznij

Agent Sandboxes Każde polecenie, host i tura

Zobacz wszystko, co zrobił sandbox

Gdy przebieg agenta pójdzie źle, chcesz wiedzieć, co stało się w jego sandboxie. Obserwowalność sandboxów przechowuje odpowiedź: metryki, zapis każdego polecenia, każdego osiągniętego hosta i każdej tury agenta, przez to samo API, które je uruchamia.

Metryki sandboxa

get_sandbox_metrics odpowiada CPU, gdzie 100% to wszystkie vCPU zajęte, zajętą pamięcią, zajętym dyskiem oraz bajtami przychodzącymi i wychodzącymi, jako punkty uśrednione w kroku: domyślnie z ostatniej godziny albo z dowolnego zakresu w ostatnich 24 godzinach, z krokiem co najmniej 5 s, do 1000 punktów. Serwer sandboxa trzyma jego metryki przez 24 godziny.

Zdarzenia: co się stało i kiedy

Każdy sandbox zapisuje, co się w nim działo, od najstarszych, jako listę, którą przeglądasz stronami, albo strumień na żywo, który śledzisz od dowolnego miejsca:

  • Cykl życia: utworzenie, wstrzymanie, zatrzymanie, wznowienie, zmiana rozmiaru i usunięcie, każde z powodem, takim jak żądanie, bezczynność, wybudzenie albo awaria; utworzenie podaje rozmiar, a fork swój oryginał.
  • Polecenia, które się zakończyły: pierwsze 1024 bajty polecenia, kod wyjścia, czas działania i to, czy uruchomiło je API, SSH czy terminal.
  • Ruch wychodzący, minuta po minucie na host i port: dozwolony albo odrzucony, liczba połączeń, bajty w każdą stronę i sekrety podstawione w jego żądaniach.
  • Porty, minuta po minucie: żądania, ile z nich dostało odpowiedź 5xx, i bajty w każdą stronę.
  • Tury agentów: agent, pierwsze 200 znaków promptu, jak tura się zakończyła, i jej tokeny wejściowe i wyjściowe.

Sandbox trzyma najnowsze 10 000 zdarzeń każdego rodzaju, a lista albo strumień może zawierać tylko te rodzaje, o które prosisz. Zapisuje do 600 poleceń i tur agentów na minutę; nadwyżka jest zapisywana w kolejnych minutach.

from pethost.sandboxes import Sandboxes

sandboxes = Sandboxes()  # czyta PETHOST_TOKEN
sandbox_id = sandboxes.list_sandboxes(name="api-dev").sandboxes[0].sandbox_id

points = sandboxes.get_sandbox_metrics(sandbox_id).points  # ostatnia godzina
print(max(point.cpu_percent for point in points), points[-1].memory_used_bytes)

for event in sandboxes.watch_sandbox_events(sandbox_id):  # to, co już się stało, potem na żywo
    if event.command:
        print(event.time, event.command.exit_code, event.command.command)
    elif event.egress and not event.egress.allowed:
        print(event.time, "refused:", event.egress.host)
pethost sandbox events api-dev -f                    # każde zdarzenie, potem nowe na bieżąco
pethost sandbox events api-dev --kind egress -n 50   # ostatnie 50 zdarzeń ruchu wychodzącego

Polecenia, transkrypty i zużycie

Obok zdarzeń list_commands pokazuje, co teraz działa, uruchomione przez API, SSH albo terminal. get_command i watch_command dają wynik polecenia, ostatnie 64 KiB, a potem na żywo, a sandbox trzyma 100 ostatnich zakończonych poleceń.

watch_conversation przesyła na żywo rozmowę agenta kodującego: każdy prompt, wiadomość, wywołanie narzędzia z wejściem i wyjściem i koniec każdej tury. Rozmowa zostaje na dysku sandboxa: wstrzymanie ją zachowuje, fork przenosi, a szablon pomija.

Każdy sandbox podaje sekundy działania i wstrzymania, GiB-godziny przechowywania i to, ile dotąd kosztował, a list_usage daje wiersz na każdy dzień, licznik i rozmiar, tak jak zostały naliczone. Konsola webowa pokazuje metryki i zdarzenia sandboxa na jego stronie.

Co jest przechowywane i jak długo

Metryki zostają 24 godziny, a zdarzenia, najnowsze 10 000 każdego rodzaju, tak długo, jak żyje sandbox. Gdy sandbox zostanie usunięty, jego rekord zostaje 30 dni, z końcowym zużyciem, a zdarzenia i metryki jeden dzień.

Czego jeszcze nie zbudowaliśmy

Nie ma jeszcze webhooków ani eksportu do OpenTelemetry. Żeby zasilić własny monitoring, śledź strumień albo przeglądaj listę od id ostatniego przeczytanego zdarzenia: późniejsze zdarzenie ma zawsze większy id, więc nigdy nie przeczytasz żadnego dwa razy. Przewodnik po obserwowalności ma każde pole, a strona listy dozwolonych dla ruchu wychodzącego mówi, jak oceniane są hosty w zdarzeniach ruchu wychodzącego.

Przeczytaj dokumentację

Pytania

Jak długo przechowywane są metryki sandboxa?

24 godziny, na serwerze sandboxa, z krokiem co najmniej 5 s.

Czy mogę wysyłać zdarzenia do swojego monitoringu?

Jeszcze nie w trybie push: nie ma webhooków ani eksportu do OpenTelemetry. Śledź watch_sandbox_events albo odpytuj list_sandbox_events z id ostatniego przeczytanego zdarzenia.

Czy transkrypty agenta są przechowywane?

Tak, na dysku sandboxa, tak długo, jak sandbox żyje. Wstrzymanie je zachowuje, a fork przenosi.

Czy widać, do których hostów dotarł sandbox?

Tak. Jego zdarzenia ruchu wychodzącego wymieniają każdy host i port minuta po minucie, dozwolony albo odrzucony, z liczbą połączeń i bajtów w każdą stronę.

Co zostaje po usunięciu sandboxa?

Jego rekord, z końcowym zużyciem, przez 30 dni; zdarzenia i metryki przez jeden dzień.

Powiązane

Daj swojemu agentowi komputer w 0,15 s

Zacznij darmowy okres próbny