Русский
Начать

Agent Sandboxes Каждая команда, хост и ход

Все, что сделала песочница, на виду

Когда запуск агента идет не так, хочется знать, что происходило внутри его песочницы. Наблюдаемость песочниц хранит ответ: метрики и запись каждой команды, каждого хоста и каждого хода агента — через тот же API, который их запускает.

Метрики песочницы

get_sandbox_metrics возвращает CPU, где 100% — все vCPU заняты, занятую память, занятый диск и байты на входе и выходе в виде точек, усредненных по шагу: по умолчанию за последний час или за любой интервал в последние 24 часа, с шагом от 5 с, до 1 000 точек. Сервер песочницы хранит ее метрики 24 часа.

События: что случилось и когда

Каждая песочница записывает, что в ней происходило, от старых к новым, — списком, который можно листать, или живым потоком, за которым можно следить с любой точки:

  • Жизненный цикл: создана, на паузе, остановлена, возобновлена, изменен размер, удалена — каждое с причиной, например запрос, простой, пробуждение или сбой; создание указывает размер, а форк — источник.
  • Завершившиеся команды: первые 1 024 байта команды, ее код выхода, сколько она работала и кто ее запустил — API, SSH или терминал.
  • Исходящий трафик поминутно по каждому хосту и порту: разрешено или отклонено, число соединений, байты в каждую сторону и секреты, подставленные в запросы.
  • Порты поминутно: запросы, сколько из них получили ответ 5xx, и байты в каждую сторону.
  • Ходы агентов: агент, первые 200 символов промпта, чем закончился ход, входные и выходные токены.

Песочница хранит 10 000 последних событий каждого вида, а список или поток может брать только те виды, которые вы попросите. Она записывает до 600 команд и ходов агентов в минуту; остальные записываются в следующие минуты.

from pethost.sandboxes import Sandboxes

sandboxes = Sandboxes()  # читает PETHOST_TOKEN
sandbox_id = sandboxes.list_sandboxes(name="api-dev").sandboxes[0].sandbox_id

points = sandboxes.get_sandbox_metrics(sandbox_id).points  # последний час
print(max(point.cpu_percent for point in points), points[-1].memory_used_bytes)

for event in sandboxes.watch_sandbox_events(sandbox_id):  # что уже случилось, потом вживую
    if event.command:
        print(event.time, event.command.exit_code, event.command.command)
    elif event.egress and not event.egress.allowed:
        print(event.time, "refused:", event.egress.host)
pethost sandbox events api-dev -f                    # все события, потом новые по мере появления
pethost sandbox events api-dev --kind egress -n 50   # последние 50 событий исходящего трафика

Команды, разговоры и использование

Помимо событий, list_commands показывает, что работает сейчас, запущенное через API, SSH или терминал. get_command и watch_command отдают вывод команды, последние 64 KiB, а потом вживую, и песочница хранит последние 100 завершившихся команд.

watch_conversation отдает потоком разговор агента для кода: каждый промпт, сообщение, вызов инструмента с его входом и выходом и конец каждого хода. Разговор остается на диске песочницы: пауза его сохраняет, форк переносит, а шаблон оставляет за бортом.

Каждая песочница сообщает, сколько секунд она работала и стояла на паузе, сколько GiB-часов хранилась и сколько уже стоила, а list_usage отдает строку на каждый день, счетчик и размер — так, как было списано. Панель показывает метрики и события песочницы на ее странице.

Что хранится и как долго

Метрики хранятся 24 часа, а события, 10 000 последних каждого вида, — пока песочница живет. Когда песочницу удаляют, ее запись хранится 30 дней вместе с итоговым использованием, а ее события и метрики — сутки.

Чего пока нет

Вебхуков и экспорта в OpenTelemetry пока нет. Чтобы передавать данные в свой мониторинг, следите за потоком или листайте список от id последнего прочитанного события: id более позднего события всегда больше, так что одно событие не прочитать дважды. Все поля описаны в руководстве по наблюдаемости, а как проверяются хосты в событиях исходящего трафика, сказано на странице о списке разрешенных адресов.

Читать документацию

Вопросы

Сколько хранятся метрики песочницы?

24 часа, на сервере песочницы, с шагом от 5 с.

Можно ли отправлять события в мой мониторинг?

Сами они пока не отправляются: вебхуков и экспорта в OpenTelemetry нет. Следите за watch_sandbox_events или опрашивайте list_sandbox_events с id последнего прочитанного события.

Хранятся ли разговоры агента?

Да, на диске песочницы, пока песочница живет. Пауза их сохраняет, а форк переносит.

Можно ли увидеть, к каким хостам обращалась песочница?

Да. Ее события исходящего трафика поминутно перечисляют каждый хост и порт, разрешенные или отклоненные, с числом соединений и байтами в каждую сторону.

Что остается после удаления песочницы?

Ее запись с итоговым использованием — на 30 дней; ее события и метрики — на сутки.

По теме

Дайте агенту компьютер за 0,15 с

Начать пробный период