Was auf dem Bildschirm ist
Der Desktop gehört zu unserer Vorlage base: ein X-Server (Xvfb) mit 1280×800, der Fenstermanager openbox, eine Leiste von tint2, Google Chrome stable, ein xterm und Noto-Schriften mit CJK und Emoji. Nichts davon läuft, bis du danach fragst: Der erste Aufruf von control_desktop oder der erste Desktop-Link startet ihn, was einige Sekunden dauert. Bis dahin belegt er keinen RAM.
Chrome ist für einen Agenten eingerichtet: keine Willkommensseiten, keine Fragen nach Standardbrowser oder Suchmaschine, keine Anmeldung, kein Sync, kein Passwortmanager, kein Autofill, keine Übersetzung, keine Metriken und keine der eingebauten Erweiterungen, die Seiten im Hintergrund weiterlaufen lassen. Es zeichnet ohne GPU. Unsere Basis wird jeden Monat neu gebaut und sofort bei einem Sicherheitsfix für Chrome; eine Sandbox behält die Version, mit der sie gestartet ist.
Computer Use in einem Aufruf: Aktionen, dann ein Screenshot
control_desktop nimmt eine Liste von Aktionen und führt sie der Reihe nach aus: an einen Punkt klicken (linke, rechte oder mittlere Taste, ein Doppelklick, mit gehaltenen Tasten wie Shift), den Mauszeiger bewegen, entlang eines Pfads ziehen, scrollen, Text tippen, Tasten zusammen drücken (Return, ctrl+l, ctrl+shift+t) und eine Anzahl Millisekunden warten. Dann antwortet er mit einem PNG des Bildschirms, wie die Aktionen ihn hinterlassen haben, und der Position des Mauszeigers. Ohne Aktionen ist es nur der Screenshot.
Er hält bei der ersten Aktion an, die fehlschlägt, und sagt, wie viele ausgeführt wurden, mit einem Grund, auf den dein Code reagieren kann: ein Punkt außerhalb des Bildschirms oder ein Tastenname, den er nicht kennt. Koordinaten sind die Pixel des Bildschirms von oben links, also liest ein Modell sie vom letzten Screenshot ab, und jeder Schritt des Modells ist ein Hin und Zurück: Die Klicks und das Bild, zu dem sie führen, kommen zusammen zurück.
from pethost.sandboxes import Click, DesktopAction, Sandboxes
sandboxes = Sandboxes() # liest PETHOST_TOKEN
box = sandboxes.create_sandbox()
answer = sandboxes.control_desktop(box.sandbox_id, actions=[
DesktopAction(press_keys="ctrl+l"),
DesktopAction(type_text="example.com"),
DesktopAction(press_keys="Return"),
DesktopAction(wait_ms=2000),
])
shot = answer.screenshot
open("screen.png", "wb").write(shot.image)
print(shot.width, shot.height) # 1280 800
click = DesktopAction(click=Click(x=640, y=400)) # ein Punkt, vom Screenshot abgelesen
answer = sandboxes.control_desktop(box.sandbox_id, actions=[click])pethost sandbox new --name browser --size default
pethost sandbox open browser --desktop # live, in deinem Browser
pethost sandbox open browser --desktop --view-only # nur zum ZusehenZusehen oder übernehmen
Ein Desktop-Link öffnet den Bildschirm live in einem Browser. Du kannst darin klicken und tippen, also kann eine Person einspringen, wo der Agent eine braucht, etwa bei einer Anmeldung, und den Bildschirm zurückgeben; oder du machst ihn nur ansehbar und zeigst ihn in deinem eigenen Produkt. Ein Link gilt standardmäßig eine Stunde und höchstens einen Tag, und solange er offen ist, bleibt die Sandbox wach. Die Seite jeder Sandbox in der Web-Konsole hat einen Tab „Desktop“ mit demselben Bildschirm.
Dieselbe Sandbox führt Befehle aus, bearbeitet Dateien und bedient Ports, also kann ein Agent eine App mit run_command starten und sie in Chrome unter localhost ausprobieren, alles in einer VM.
Grenzen und Preise
Ein Bildschirm, 1280×800, in jeder Sandbox. Ein Aufruf von control_desktop zählt als 16 der 64 Aufrufe, die eine Sandbox gleichzeitig bedient, und sein Screenshot darf bis zu 17 MiB groß sein. Chrome und der Desktop laufen innerhalb der Größe der Sandbox, sekundengenau abgerechnet: 0,018 $ pro Stunde für SMALL (2 vCPU, 4 GiB), 0,036 $ für DEFAULT (4 vCPU, 8 GiB). Nach 5 min Leerlauf, wenn niemand zusieht, pausiert eine Sandbox zu 30 % dieses Preises mit Chrome im RAM: Ihre Tabs, Cookies und die offene Seite sind beim Aufwachen da.
Im Vergleich
E2B und Daytona bieten ebenfalls Desktops, auf Sandboxes, die am 21. November 2026 mit 2 vCPU und 4 GiB 0,1656 $ pro Stunde kosteten; SMALL bei Pethost kostet 0,018 $. boat.dev streamt einen Desktop zu Preisen nahe an unseren, behält aber den RAM eines Browsers nicht, während er wartet: boat.dev hat keine Pause.