Images

Images Arrakis

Une machine démarre sur une image Arrakis, sauf si vous en choisissez une autre. Chacune repose sur une image de base officielle, à laquelle s’ajoutent SSH, une bannière de connexion et des outils courants : git, git-lfs, tmux, htop, nvtop, rsync, curl, wget, jq et un éditeur. Python est dans le PATH de chaque session SSH.

CUDA 13.0 est la version que fournit pip install torch : les wheels compilées pour PyTorch sont donc compatibles. Elle fonctionne sur toutes les machines d’Arrakis, Blackwell compris : chacune dispose d’un pilote NVIDIA de la série 580 ou plus récent. Les images sont publiques sur Docker Hub : vous pouvez donc récupérer la même sur votre propre ordinateur. goodailabs/arrakis:latest est l’image par défaut.

À la connexion, la machine affiche ses GPU, l’image et l’espace disque libre :

  6 × NVIDIA RTX A4000, 16 GB each
  PyTorch 2.14.1, CUDA 13.0, Python 3.12.3, Ubuntu 24.04.5 LTS
  32 CPU cores, 125 GB memory, 412 GB free in /workspace

Travaillez dans /workspace. Tout ce qui se trouve sur une machine, /workspace compris, est supprimé quand elle s’arrête.

Vos propres images

Toutes les images fonctionnent : vLLM, SGLang, les conteneurs NVIDIA NGC ou l’image de votre équipe, publique ou privée.

• Dans Images, choisissez Add an image et collez l’image telle que docker pull l’accepte, par exemple vllm/vllm-openai:v0.11.0. Pour une image publique, vous pouvez aussi choisir Your own image au moment de louer.
• Arrakis interroge d’abord le registre de l’image : l’image doit exister, être téléchargeable et disposer d’une version linux/amd64. Une faute de frappe ou un jeton erroné est refusé avant tout débit.
• Registres : Docker Hub, GitHub (ghcr.io), Amazon ECR et ECR Public, Google (Artifact Registry et gcr.io), Azure (azurecr.io), NVIDIA NGC (nvcr.io), Quay, GitLab et Microsoft (mcr.microsoft.com), ou le vôtre : Harbor, Artifactory, Nexus, un GitLab ou un Quay auto-hébergé, ou tout registre accessible par son nom DNS public, comme registry.example.com:5000/team/app:v1.
• SSH est ajouté à toute image au démarrage : vous vous connectez donc en root de la même manière. L’image doit contenir un shell.
• Le premier démarrage sur une machine télécharge l’image. Les images volumineuses prennent plus de temps : une image de 12 Go peut demander 10 à 20 minutes sur un réseau lent.

Images privées

Cochez It's private: log in to pull it quand vous ajoutez l’image, et saisissez les identifiants que docker login demanderait. Arrakis vérifie l’image avec ces identifiants avant de l’enregistrer, les conserve chiffrés et ne s’en sert que pour récupérer cette image quand vous louez. Le mot de passe n’est plus jamais affiché.

• Amazon ECR : utilisez un utilisateur AWS qui peut seulement récupérer des images (la stratégie AmazonEC2ContainerRegistryReadOnly). À chaque location, Arrakis échange la clé contre des identifiants valables 12 heures, ceux qu’affiche aws ecr get-login-password : la machine ne voit donc jamais la clé elle-même.
• Votre propre registre : les machines y récupèrent les images directement, où qu’elles se trouvent. Il doit donc répondre sur l’internet public en HTTPS, avec un certificat émis par une autorité publique (comme Let's Encrypt). Un registre derrière un VPN ou une liste d’adresses IP autorisées est injoignable ; un registre avec un certificat auto-signé est refusé.
• Utilisez un jeton en lecture seule. La machine s’en sert pour récupérer l’image, et l’image peut rester en cache sur cette machine après la fin de votre location : ne mettez donc aucun secret dans l’image, et transmettez-les au moment de l’exécution.
• Pour changer de jeton, choisissez Change login à côté de l’image, ou enregistrez de nouveau la même image avec le nouveau jeton. Supprimer l’image efface ses identifiants partout où Arrakis les conservait.

Au démarrage

Si la commande se termine, la machine n’est plus joignable. Dans le doute, choisissez Wait for me to log in.

Accédez à un serveur de la machine via SSH :

ssh -L 8000:localhost:8000 root@<host> -p <port>
curl localhost:8000/v1/models

Variables d’environnement

Ajoutez des paires KEY=value à une image, une par ligne. Elles sont stockées avec l’image : n’y mettez aucun secret, et définissez plutôt ceux-ci via SSH, par exemple export HF_TOKEN=... dans votre session.

Depuis la CLI, l’API et les agents

arrakis images list
arrakis images add vllm/vllm-openai:v0.11.0 --start image
arrakis instances create --node-id <node> --image vllm/vllm-openai:v0.11.0 --start image --termination-hours 2

Une image privée prend ses identifiants, avec le jeton sur stdin, comme le fait docker login :

echo "$GITHUB_TOKEN" | arrakis images add ghcr.io/acme/trainer:v3 --username acme-bot --password-stdin
arrakis instances create --node-id <node> --template-id <image id> --termination-hours 2

curl -X POST $ARRAKIS_URL/v1/instances -H "Authorization: Bearer $ARRAKIS_TOKEN" -H "Content-Type: application/json" \
  -d '{"node_id": "<node>", "name": "vllm", "termination_hours": 2, "ssh_public_key": "ssh-ed25519 AAAA...",
       "image": "vllm/vllm-openai:v0.11.0", "start": "image"}'

• GET /v1/templates liste les images Arrakis et les vôtres ; POST /v1/templates en enregistre une (image, start, command, environment et, pour une image privée, registry_username et registry_password). Le mot de passe est en écriture seule : les réponses indiquent private et registry_username. PATCH /v1/templates/{id} avec les deux remplace les identifiants.
• POST /v1/instances démarre template_id, ou n’importe quelle image publique avec un start.
• Via MCP, list_images les liste, en signalant les images privées, et rent_gpu accepte template_id ou image.