Setup
Instalar
Clone o repositório, instale dependências e dê uma olhada no qvac.config.json.
Clonar e instalar
git clone https://github.com/souzavinny/locallens.git
cd locallens
bun installbun install puxa o QVAC SDK e as dev tools (@biomejs/biome,
TypeScript, @types/bun). Não baixa pesos de modelo — esses
chegam no primeiro uso.
qvac.config.json
O QVAC lê o config de runtime de qvac.config.json na raiz do repositório. O
arquivo que vem é pequeno, e vale uma olhada rápida:
{
"loggerLevel": "info",
"loggerConsoleOutput": true,
"httpDownloadConcurrency": 3,
"serve": {
"models": {
"locallens-chat": {
"model": "QWEN3_1_7B_INST_Q4",
"default": true,
"preload": false,
"config": {
"ctx_size": 4096,
"temp": 0.2,
"top_p": 0.9
}
},
"locallens-embed": {
"model": "GTE_LARGE_FP16",
"default": true,
"preload": false
}
}
}
}Três botões que vale conhecer:
preload: false— modelos carregam no primeiro uso, não no boot. Mantém obun run devresponsivo.ctx_size: 4096— a janela de contexto do modelo de chat. Se você aumentar o top-K na recuperação, deixa esse número à vista.temp: 0.2— temperatura baixa para respostas embasadas em citações. O modelo deve reformular a fonte, não inventar.
Layout do projeto que você vai ver
locallens/
├── examples/sample-brain/ a small demo folder you can index
├── src/ the eight files that make up the app
├── tests/ Bun tests for chunker.ts and prompt.ts
├── biome.json lint + format config
├── qvac.config.json
├── package.json
└── tsconfig.jsonQuando bun install termina, você tem tudo que precisa para
rodar a CLI ou
rodar o app no navegador.