Automanager Llama.cpp
OFFLINE
Sistema de Controle Neural
Parâmetros do Motor
Otimização Sistêmica
Marca se a GPU/CPU participa do carregamento do modelo. USO |
GPU principal (--main-gpu): recebe tensores centrais e costuma carregar mais peso no split. PRINCIPAL |
DISPOSITIVO | Percentual do modelo neste dispositivo (tensor-split). A soma das GPUs/CPU ativas deve totalizar 100%. DISTRIBUIÇÃO |
|---|---|---|---|
|
System RAM / CPU Offload
Latencia superior a VRAM
|
Offload para RAM/CPU quando a VRAM não comporta o modelo. Mais lento que GPU; o auto-balance usa como último recurso se habilitado.
%
|
||
|
Tesla P100-PCIE-16GB
ID: 0 · 16384 MB VRAM
|
Peso percentual desta GPU no tensor-split. Pin (📌) trava o valor durante o auto-balance manual.
%
VRAM
0 / 16384 MB
|
||
|
Tesla P100-PCIE-16GB
ID: 1 · 16384 MB VRAM
|
Peso percentual desta GPU no tensor-split. Pin (📌) trava o valor durante o auto-balance manual.
%
VRAM
0 / 16384 MB
|
||
|
NVIDIA GeForce RTX 3090
ID: 2 · 24576 MB VRAM
|
Peso percentual desta GPU no tensor-split. Pin (📌) trava o valor durante o auto-balance manual.
%
VRAM
0 / 24576 MB
|
Console de Instância
Integração
Autenticação
—
—
Modelos Disponíveis
Inicie a integração para listar modelos.
Uso no Cursor
No Cursor BYOK, use alias do catálogo (gpt-4o, gpt-4o-mini, …) ou o ID opaco gerado na listagem — ex.: antigravity-31prolow.gguf. Nomes com gemini/claude são bloqueados pelo Cursor.
Modo Proxy Inteligente
Usado quando esta plataforma não é a principal: requisições encaminhadas ao proxy são atendidas por este modelo.
Limites & Uso
—
Console de Requisições