NanoGPT : treine LLMs de 124 M parâmetros em minutos na sua laptop (RTX 4060 ou Apple M2/M3)

Introdução

Depois que o post sobre NanoGPT Speedrun viralizou no Hacker News, a pergunta que não para de aparecer é: “Será que consigo treinar um modelo do tamanho do GPT‑2 na minha máquina?” A resposta é sim – e em menos de 20 minutos. Com GPUs de consumo como a RTX 4060 ou os chips Apple M2/M3, você pode rodar todo o ciclo de experimentação localmente, sem depender de serviços de nuvem caros.

Neste artigo você vai descobrir:

• Como a arquitetura mínima do NanoGPT funciona;
• Os truques de speed‑run (mixed‑precision, batch dinâmico, checkpointing);
• Benchmarks reais e comparação de custos;
• Um tutorial passo‑a‑passo com comandos prontos;
• Notebooks e scripts de monitoramento (GPU → Slack/Telegram);
• Avisos sobre over‑fitting e viés.

Resultado: treine um modelo de 124 M parâmetros (equivalente ao GPT‑2‑small) em ≈ 18 min usando 8 GB de VRAM, gastando menos de US$ 3 em energia.

Perguntas frequentes

Por que isso importa agora

1. Custo quase zero – Uma corrida de 100 M tokens na nuvem pode ultrapassar US$ 200; na laptop o gasto se resume à eletricidade (≈ US$ 2‑3).
2. Iteração instantânea – Ciclos de desenvolvimento que antes levavam dias agora duram minutos, permitindo testar tokenizers, regularizações e arquiteturas em tempo real.
3. Privacidade – Dados sensíveis permanecem na sua máquina, atendendo GDPR, LGPD e outras normas.
4. Acessibilidade – Um laptop com RTX 4060 ou Apple M2 custa entre US$ 500‑800, democratizando a IA generativa.

Como funciona o NanoGPT

1. Arquitetura mínima

NanoGPT é uma re‑implementação ultra‑leve dos Transformers do GPT‑2, escrita em PyTorch com menos de 1 000 linhas. Os blocos principais são:

O código‑fonte pode ser visto em https://github.com/karpathy/nanoGPT, mas aqui vamos direto ao ponto com snippets prontos para copiar.

2. Truques de speed‑run

python\nwith torch.cuda.amp.autocast():\n loss = model(x).loss\n

|
| Batch size dinâmico |

python\nbatch_size = min(1024, 2**(20 - int(math.log2(step))))\n

|
| Checkpointing |

python\ntorch.save({\n 'model': model.state_dict(),\n 'optimizer': opt.state_dict(),\n 'step': step}, f'ckpt_{step}.pt')\n

|
| Gradient accumulation | Permite usar batch efetivo maior que a VRAM suporta: grad_accum_steps = 4. |

Benchmark real

Comparação: mesma tarefa na AWS p2.xlarge (GPU K80) leva ~45 min e custa US$ 45.

Tutorial passo‑a‑passo

1. Preparar o ambiente

# 1️⃣ Crie um ambiente virtual
python -m venv venv && source venv/bin/activate

# 2️⃣ Instale dependências
pip install torch==2.3.0 torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu118
pip install tqdm numpy pynvml transformers datasets

# 3️⃣ Clone o NanoGPT
git clone https://github.com/karpathy/nanoGPT.git
cd nanoGPT

2. Baixar e pré‑processar um dataset (ex.: Tiny Shakespeare)

python data/shakespeare_char.py   # gera train.bin e val.bin

3. Treinar (modo speed‑run)

python train.py \
    --device cuda \
    --compile False \
    --eval_iters 20 \
    --log_interval 1 \
    --block_size 256 \
    --batch_size 64 \
    --n_layer 6 \
    --n_head 8 \
    --n_embd 384 \
    --max_iters 5000 \
    --learning_rate 6e-4 \
    --lr_decay_iters 5000 \
    --dropout 0.0 \
    --amp True          # habilita mixed‑precision

Dica: ajuste --batch_size para 96 se a VRAM permitir; caso contrário, o script já reduz automaticamente.

4. Gerar texto de teste

python sample.py \
    --out_dir out-shakespeare \
    --start "ROMEO:" \
    --max_new_tokens 200

5. Monitoramento avançado (GPU → Slack)

Crie um webhook no Slack e salve a URL em SLACK_WEBHOOK. Depois, execute:

python monitor_gpu.py --threshold 90 --interval 5

O script enviará uma mensagem sempre que o uso de VRAM ultrapassar 90 %.

Riscos e boas práticas

Comparativo de custos: local × API

Conclusão: para experimentos internos e protótipos, o treinamento local paga a conta de milhares de chamadas de API.

Conclusão

NanoGPT demonstra que não é preciso um supercomputador para brincar com LLMs de 100 M+ parâmetros. Com alguns ajustes simples (mixed‑precision, batch

Herramienta mencionada: Groq Cloud