Agents & devAgentes & dev
Autoresearch (Karpathy)Autoresearch (Karpathy)
Karpathy's loop where an agent edits training, measures, and keeps or discardsLoop de Karpathy em que um agente edita o treino, mede e mantém ou descarta
What it isO que é
Andrej Karpathy's repository in which an AI agent edits a model's training code, trains for 5 minutes, compares the validation result and keeps or discards the change.
Repositório de Andrej Karpathy em que um agente de IA edita o código de treino de um modelo, treina por 5 minutos, compara o resultado de validação e mantém ou descarta a mudança.
What it’s forPara que serve
A conceptual basis for improving something iteratively and measurably, such as skills, with one reversible change at a time.
Base conceitual para melhorar algo de forma iterativa e medida, como skills, com uma mudança reversível por vez.
BenefitsVantagens
- Three files: a fixed prepare.py, a train.py edited by the agent and a program.md with the instructions
- A fixed budget of 5 minutes per experiment, which makes results comparable (about 12 per hour)
- A single metric, val_bpb, where lower is better
- Três arquivos: prepare.py fixo, train.py editado pelo agente e program.md com as instruções
- Orçamento fixo de 5 minutos por experimento, o que torna os resultados comparáveis (cerca de 12 por hora)
- Métrica única, val_bpb, em que menor é melhor
CaveatsRessalvas
- MIT license; the original requires an NVIDIA GPU (tested on an H100) and Python 3.10+
- The video uses a Claude Autoresearch plugin, not an official product; the exact repository wasn't legible in the narration
- No automatic improvement is guaranteed; the example's metrics are proxies
- Licença MIT; o original exige GPU NVIDIA (testado em H100) e Python 3.10+
- O vídeo usa um plugin Claude Autoresearch, não produto oficial; o repositório exato não ficou legível na fala
- Não há melhoria automática garantida; as métricas do exemplo são proxies
