Setup
Instalar
Clona el repo, instala dependencias y revisa qvac.config.json.
Clonar e instalar
git clone https://github.com/souzavinny/locallens.git
cd locallens
bun installbun install trae el SDK de QVAC y las dev tools (@biomejs/biome,
TypeScript, @types/bun). No descarga pesos de modelos — esos
llegan en el primer uso.
qvac.config.json
QVAC lee su config de runtime desde qvac.config.json en la raíz
del repo. El archivo que viene incluido es chico, y vale la pena un
vistazo rápido:
{
"loggerLevel": "info",
"loggerConsoleOutput": true,
"httpDownloadConcurrency": 3,
"serve": {
"models": {
"locallens-chat": {
"model": "QWEN3_1_7B_INST_Q4",
"default": true,
"preload": false,
"config": {
"ctx_size": 4096,
"temp": 0.2,
"top_p": 0.9
}
},
"locallens-embed": {
"model": "GTE_LARGE_FP16",
"default": true,
"preload": false
}
}
}
}Tres perillas que vale la pena conocer:
preload: false— los modelos cargan en el primer uso, no en el boot. Mantienebun run devágil.ctx_size: 4096— la ventana de contexto del modelo de chat. Si subes el top-K en recuperación, mantén este número en la mira.temp: 0.2— temperatura baja para respuestas fundamentadas en citas. El modelo debe reformular la fuente, no inventar.
Layout del proyecto que vas a ver
locallens/
├── examples/sample-brain/ a small demo folder you can index
├── src/ the eight files that make up the app
├── tests/ Bun tests for chunker.ts and prompt.ts
├── biome.json lint + format config
├── qvac.config.json
├── package.json
└── tsconfig.jsonUna vez que bun install termina, tienes todo lo que necesitas para
correr la CLI o
correr la app del navegador.