動かせますか？

Hugging Face 上のファイルにあるパラメータ数に、1 パラメータあたりのバイト数を掛けます。16 ビットで 2 バイト、8 ビットで 1 バイト、4 ビットで半バイトです。推論ではさらに KV キャッシュと活性化の分として約 20% 増えます。長いコンテキストや大きなバッチではもっと必要です。ルールとファインチューニングに必要なメモリは GPU メモリガイドにあります。

各トークンが使うエキスパートは少数ですが、どのトークンがどのエキスパートを使うかは決まっていないため、すべてを GPU メモリに載せておく必要があります。働くパラメータが少ないと速くなりますが、小さくはなりません。

はい。Hugging Face のどのモデルでも、名前かリンクをこのページ上部の確認欄に貼り付けてください。ゲート付きモデルも確認できます。パラメータ数は公開されています。

コンソールで Models を開き、モデル名を貼り付け、vLLM、SGLang、llama.cpp のいずれかを選んで、収まる GPU を借ります。専用の API キー付きの OpenAI 互換エンドポイントと、マシンへの root SSH が使えます。