{"id":"litserve","name":"LitServe","url":"https://wunderlust.xyz/r/litserve","category":"agents","category_label":"Agents & dev","tags":["open-source"],"short":"Python framework for serving AI models as APIs with batching and scaling","what":"A minimal Python framework for building your own inference servers, for models, agents, RAG or pipelines. You control batching, routing and streaming in code, with no config files.","uses":"For serving a model or agent as an API with batching and multiple GPUs, without MLOps glue.","benefits":["Inference logic written in plain Python","Batching, streaming and multi-GPU scaling","Runs locally, self-hosted or on Lightning AI"],"caveats":["According to its maker, it is twice as fast as FastAPI","Apache-2.0 license; managed hosting on Lightning AI is paid"],"links":{"official":"https://lightning.ai/litserve","github":"https://github.com/Lightning-AI/LitServe"},"image":"https://wunderlust.xyz/media/litserve-poster.jpg","video":"https://wunderlust.xyz/media/litserve.webm","share_image":"https://wunderlust.xyz/og/r/litserve.jpg","similar":["moonshine-voice","morphic","paperclip","ternary-bonsai-2","postiz","mlx"],"added_on":"2026-11-10","steal":"An AI server in one Python class, with batching and streaming in code and no config files.","patterns":[],"pt":{"name":"LitServe","short":"Framework Python para servir modelos de IA como APIs, com lotes e escala","steal":"Um servidor de IA em uma classe Python, com lotes e streaming no código e sem configuração.","what":"Framework mínimo em Python para montar servidores de inferência próprios, para modelos, agentes, RAG ou pipelines. Você controla lotes, roteamento e streaming no código, sem arquivos de configuração.","uses":"Para servir um modelo ou agente como API com lotes e várias GPUs, sem cola de MLOps.","benefits":["Lógica de inferência escrita em Python puro","Lotes, streaming e escala em várias GPUs","Roda localmente, em hospedagem própria ou na Lightning AI"],"caveats":["Segundo o criador, é duas vezes mais rápido que FastAPI","Licença Apache-2.0; hospedagem gerenciada da Lightning AI é paga"]},"schema_version":1}