Ce qu’il y a à l’écran
Le bureau fait partie de notre template base : un serveur X (Xvfb) en 1280×800, le gestionnaire de fenêtres openbox, une barre tint2, Google Chrome stable, un xterm, et les polices Noto avec CJK et emoji. Rien de tout cela ne tourne tant que vous ne le demandez pas : le premier appel à control_desktop, ou le premier lien de bureau, le lance, ce qui prend quelques secondes. Jusque-là, il n’occupe aucune mémoire.
Chrome est configuré pour un agent : pas de pages de premier lancement, pas de questions sur le navigateur par défaut ou le moteur de recherche, pas de connexion, de synchronisation, de gestionnaire de mots de passe, de saisie automatique, de traduction ni de métriques, et aucune des extensions intégrées qui font tourner des pages en arrière-plan. Il s’affiche sans GPU. Notre base est reconstruite chaque mois, et aussitôt pour un correctif de sécurité de Chrome ; une sandbox garde la version avec laquelle elle a démarré.
Le computer use en un appel : des actions, puis une capture d’écran
control_desktop prend une liste d’actions et les exécute dans l’ordre : cliquer en un point (bouton gauche, droit ou du milieu, double-clic, avec des touches maintenues comme shift), déplacer le pointeur, glisser le long d’un chemin, faire défiler, taper du texte, appuyer sur des touches ensemble (Return, ctrl+l, ctrl+shift+t) et attendre un nombre de millisecondes. Puis il répond avec un PNG de l’écran tel que les actions l’ont laissé, et la position du pointeur. Sans actions, c’est juste la capture d’écran.
Il s’arrête à la première action qui échoue et dit combien ont été faites, avec une raison sur laquelle brancher votre code : un point hors de l’écran, ou un nom de touche qu’il ne connaît pas. Les coordonnées sont les pixels de l’écran depuis le coin supérieur gauche, si bien qu’un modèle les lit sur la dernière capture, et chaque étape du modèle est un seul aller-retour : les clics et l’image qu’ils produisent reviennent ensemble.
from pethost.sandboxes import Click, DesktopAction, Sandboxes
sandboxes = Sandboxes() # lit PETHOST_TOKEN
box = sandboxes.create_sandbox()
answer = sandboxes.control_desktop(box.sandbox_id, actions=[
DesktopAction(press_keys="ctrl+l"),
DesktopAction(type_text="example.com"),
DesktopAction(press_keys="Return"),
DesktopAction(wait_ms=2000),
])
shot = answer.screenshot
open("screen.png", "wb").write(shot.image)
print(shot.width, shot.height) # 1280 800
click = DesktopAction(click=Click(x=640, y=400)) # un point lu sur la capture d'écran
answer = sandboxes.control_desktop(box.sandbox_id, actions=[click])pethost sandbox new --name browser --size default
pethost sandbox open browser --desktop # en direct, dans votre navigateur
pethost sandbox open browser --desktop --view-only # pour regarder seulementRegarder, ou prendre la main
Un lien de bureau ouvre l’écran en direct dans un navigateur. Vous pouvez y cliquer et taper, pour qu’une personne intervienne là où l’agent en a besoin, comme pour une connexion, puis rende l’écran ; ou le mettre en lecture seule et l’afficher dans votre propre produit. Un lien dure une heure par défaut et un jour au plus, et tant qu’il est ouvert, la sandbox reste éveillée. La page de chaque sandbox dans la console web a un onglet Bureau avec le même écran.
La même sandbox exécute des commandes, modifie des fichiers et sert des ports : un agent peut lancer une application avec run_command et l’essayer dans Chrome sur localhost, le tout dans une seule VM.
Limites et prix
Un écran, 1280×800, dans chaque sandbox. Un appel à control_desktop compte pour 16 des 64 appels qu’une sandbox sert en même temps, et sa capture d’écran peut atteindre 17 MiB. Chrome et le bureau tournent dans la taille de la sandbox, facturée à la seconde : 0,018 $ de l’heure pour SMALL (2 vCPU, 4 GiB), 0,036 $ pour DEFAULT (4 vCPU, 8 GiB). Après 5 minutes d’inactivité, sans personne qui regarde, une sandbox se met en pause à 30 % de ce prix avec Chrome en mémoire : ses onglets, ses cookies et la page où elle était sont là à son réveil.
Face aux autres
E2B et Daytona proposent aussi des bureaux, sur des sandboxes qui coûtaient 0,1656 $ de l’heure pour 2 vCPU et 4 GiB le 21 novembre 2026 ; la SMALL de Pethost coûte 0,018 $. boat.dev diffuse un bureau à des prix proches des nôtres, mais ne garde pas la mémoire d’un navigateur pendant l’attente : boat.dev n’a pas de pause.