Metryki sandboxa
get_sandbox_metrics odpowiada CPU, gdzie 100% to wszystkie vCPU zajęte, zajętą pamięcią, zajętym dyskiem oraz bajtami przychodzącymi i wychodzącymi, jako punkty uśrednione w kroku: domyślnie z ostatniej godziny albo z dowolnego zakresu w ostatnich 24 godzinach, z krokiem co najmniej 5 s, do 1000 punktów. Serwer sandboxa trzyma jego metryki przez 24 godziny.
Zdarzenia: co się stało i kiedy
Każdy sandbox zapisuje, co się w nim działo, od najstarszych, jako listę, którą przeglądasz stronami, albo strumień na żywo, który śledzisz od dowolnego miejsca:
- Cykl życia: utworzenie, wstrzymanie, zatrzymanie, wznowienie, zmiana rozmiaru i usunięcie, każde z powodem, takim jak żądanie, bezczynność, wybudzenie albo awaria; utworzenie podaje rozmiar, a fork swój oryginał.
- Polecenia, które się zakończyły: pierwsze 1024 bajty polecenia, kod wyjścia, czas działania i to, czy uruchomiło je API, SSH czy terminal.
- Ruch wychodzący, minuta po minucie na host i port: dozwolony albo odrzucony, liczba połączeń, bajty w każdą stronę i sekrety podstawione w jego żądaniach.
- Porty, minuta po minucie: żądania, ile z nich dostało odpowiedź 5xx, i bajty w każdą stronę.
- Tury agentów: agent, pierwsze 200 znaków promptu, jak tura się zakończyła, i jej tokeny wejściowe i wyjściowe.
Sandbox trzyma najnowsze 10 000 zdarzeń każdego rodzaju, a lista albo strumień może zawierać tylko te rodzaje, o które prosisz. Zapisuje do 600 poleceń i tur agentów na minutę; nadwyżka jest zapisywana w kolejnych minutach.
from pethost.sandboxes import Sandboxes
sandboxes = Sandboxes() # czyta PETHOST_TOKEN
sandbox_id = sandboxes.list_sandboxes(name="api-dev").sandboxes[0].sandbox_id
points = sandboxes.get_sandbox_metrics(sandbox_id).points # ostatnia godzina
print(max(point.cpu_percent for point in points), points[-1].memory_used_bytes)
for event in sandboxes.watch_sandbox_events(sandbox_id): # to, co już się stało, potem na żywo
if event.command:
print(event.time, event.command.exit_code, event.command.command)
elif event.egress and not event.egress.allowed:
print(event.time, "refused:", event.egress.host)pethost sandbox events api-dev -f # każde zdarzenie, potem nowe na bieżąco
pethost sandbox events api-dev --kind egress -n 50 # ostatnie 50 zdarzeń ruchu wychodzącegoPolecenia, transkrypty i zużycie
Obok zdarzeń list_commands pokazuje, co teraz działa, uruchomione przez API, SSH albo terminal. get_command i watch_command dają wynik polecenia, ostatnie 64 KiB, a potem na żywo, a sandbox trzyma 100 ostatnich zakończonych poleceń.
watch_conversation przesyła na żywo rozmowę agenta kodującego: każdy prompt, wiadomość, wywołanie narzędzia z wejściem i wyjściem i koniec każdej tury. Rozmowa zostaje na dysku sandboxa: wstrzymanie ją zachowuje, fork przenosi, a szablon pomija.
Każdy sandbox podaje sekundy działania i wstrzymania, GiB-godziny przechowywania i to, ile dotąd kosztował, a list_usage daje wiersz na każdy dzień, licznik i rozmiar, tak jak zostały naliczone. Konsola webowa pokazuje metryki i zdarzenia sandboxa na jego stronie.
Co jest przechowywane i jak długo
Metryki zostają 24 godziny, a zdarzenia, najnowsze 10 000 każdego rodzaju, tak długo, jak żyje sandbox. Gdy sandbox zostanie usunięty, jego rekord zostaje 30 dni, z końcowym zużyciem, a zdarzenia i metryki jeden dzień.
Czego jeszcze nie zbudowaliśmy
Nie ma jeszcze webhooków ani eksportu do OpenTelemetry. Żeby zasilić własny monitoring, śledź strumień albo przeglądaj listę od id ostatniego przeczytanego zdarzenia: późniejsze zdarzenie ma zawsze większy id, więc nigdy nie przeczytasz żadnego dwa razy. Przewodnik po obserwowalności ma każde pole, a strona listy dozwolonych dla ruchu wychodzącego mówi, jak oceniane są hosty w zdarzeniach ruchu wychodzącego.