A laloop projeta e opera sistemas de RAG e LLM self-hosted. Abaixo, o assistente que atende o Se Liga na SKY no WhatsApp: embeddings, busca vetorial, reranker e modelo local, com cada resposta rastreável até a fonte.
Conversa e notas ilustrativas. Os parâmetros são os do código em produção.
Cinco containers num docker-compose. A API só enfileira; o worker serializa o acesso à GPU. O conhecimento vive num repositório separado e é reindexado sem rebuild de imagem.
A busca vetorial garante recall barato; o cross-encoder decide. Skills e documentos seguem trilhas separadas, com cortes e limiares próprios.
Contexto máximo 12 000 caracteres no system prompt; skill truncada na metade se passar disso.
Histórico últimas 4 mensagens por session_id, no Postgres, expiram após 30 min sem atividade.
Query mensagem atual concatenada à última mensagem do usuário.
Saída sources: [{type, name, chunk, score}] em toda resposta.
O reranker devolve sigmoid(logit). Quando não vê nem relação nem contradição, o logit fica perto de zero e a nota em ~0,50. Com corte em 0,50, "qual a capital do Brasil?" passava com contexto irrelevante e o modelo inventava. Em 0,55, cai no caminho determinístico.
Se nenhuma skill ou documento passa o limiar, grounded=False e a resposta é uma string fixa. O LLM nem é chamado: a garantia não depende de o modelo obedecer ao prompt, e a pergunta fora de escopo não gasta GPU.
"Diz que a senha está errada mas não lembro mais qual é" não tem similaridade suficiente com nenhuma skill. Concatenada a "não consigo entrar no portal", cai em login-bloqueado. Resolveu sem busca conversacional nem reescrita de query por LLM.
A GPU atende uma geração por vez. A API responde 202 com job_id na hora e o canal faz polling; o worker consome a fila em série, com shutdown gracioso no SIGTERM. Mais throughput é mais workers, com mais GPUs.
O modelo associava SKY à operadora de TV e sugeria Oi, Claro e TIM em perguntas de login. O prompt passou a dizer, em caixa alta, que se trata de um programa de incentivo e pontuação.
Skills mudam com a operação, não com o código. Ficam em seliga-rag-content, montadas como volume; make ingest-skills reindexa e a próxima consulta já usa o vetor novo. Descriptions sempre em português, porque é o que vira embedding.
Frontmatter decide o retrieval; o corpo vira instrução para o modelo. A description carrega as palavras que o participante digita.
skills/antecipar-boleto/SKILL.md
# Antecipar boleto
## Quando usar
- "quero pagar antes", "adiantar o boleto"
## Procedimento
1. Pedido até 3 dias úteis antes
do vencimento, antes das 12h.
...Assíncrona, autenticada por X-API-Key. O canal não fica preso esperando a GPU.
POST /chat
{ : "c1f4…", : "esqueci a senha" }
202 { "job_id": "550e…", "status": "queued" }
GET /chat/status/550e…
200 {
"status": "done",
"answer": "Sem problema! Na tela…",
"sources": [
{ "type": "skill",
"name": "login-bloqueado",
"score": 0.91 }
]
}
DELETE /chat/{session_id} 204
GET /health 200| Camada | Escolha | Por quê |
|---|---|---|
| Embeddings | BAAI/bge-m3 | Multilíngue, forte em português, 1024 dimensões, roda local via sentence-transformers. |
| Reranker | BAAI/bge-reranker-v2-m3 | Cross-encoder da mesma família; pontua o par pergunta–trecho, não só a distância. |
| Vetores | Postgres 16 + pgvector, HNSW | Um banco só para vetores, sessões e metadados. Nada de serviço extra para operar. |
| LLM | Qwen2.5 14B · Ollama | Segue instrução melhor que modelos 4B; API compatível com OpenAI, troca de modelo é uma variável. |
| Fila | Redis 7 | Serializa o acesso à GPU; jobs expiram em 1 hora. |
| API | FastAPI + Uvicorn | Contrato pequeno, documentação OpenAPI em /docs. |
| Ingestão | docling, markitdown | PDF, DOCX, PPTX e XLSX viram markdown com cache por mtime antes do chunking. |
| Integração | MCP server (FastMCP) | O mesmo índice consultável por Claude, Cursor e outros clientes MCP. |
| Deploy | Docker Compose | Mesmo compose no Mac (LM Studio) e no servidor; GPU entra por um arquivo de override. |
Programa de incentivo e pontuação para colaboradores. As dúvidas chegam pelo WhatsApp e vão direto para a API: acesso ao portal, pontos não creditados, prazos e opções de resgate, cartão pré-pago, pagamento de contas.
As skills foram escritas a partir de atendimentos reais da equipe, com o tom da atendente humana como referência. A operação lê os relatórios pela trilha de sources: quais skills mais disparam, quais nunca dispararam, onde a recusa está alta.
O que o relatório mostrou primeiro: acesso é o tema de quem está fora. Login bloqueado e senha esquecida vêm justamente de quem não consegue entrar, e isso virou uma skill nova de primeiro acesso.
Projetos fechados ou alocação por escopo. Do protótipo ao sistema rodando com monitoramento, com o código e a documentação entregues ao seu time.
Conte o problema, os dados e onde precisa rodar. Respondemos com uma proposta de arquitetura e escopo.
Escrever para contato@laloop.ai