インストール

クローンとインストール

git clone https://github.com/souzavinny/locallens.git
cd locallens
bun install

bun install は QVAC SDK と開発ツール(@biomejs/biome、TypeScript、 @types/bun)を取得します。モデルの重みはダウンロードされません。これは初回利用時に降ってきます。

qvac.config.json

QVAC はランタイム設定をリポジトリルートの qvac.config.json から読み込みます。同梱のファイルは小さく、一度目を通しておく価値があります。

{
  "loggerLevel": "info",
  "loggerConsoleOutput": true,
  "httpDownloadConcurrency": 3,
  "serve": {
    "models": {
      "locallens-chat": {
        "model": "QWEN3_1_7B_INST_Q4",
        "default": true,
        "preload": false,
        "config": {
          "ctx_size": 4096,
          "temp": 0.2,
          "top_p": 0.9
        }
      },
      "locallens-embed": {
        "model": "GTE_LARGE_FP16",
        "default": true,
        "preload": false
      }
    }
  }
}

押さえておきたいツマミが 3 つあります。

preload: false — モデルは起動時ではなく、初回利用時に読み込まれます。 bun run dev の起動を速く保ちます。
ctx_size: 4096 — チャットモデルのコンテキストウィンドウ。検索の top-K を上げる場合は、この数字を意識してください。
temp: 0.2 — 引用根拠付きの回答に向けた低温度設定。モデルにはソースを言い換えてほしいので、創作させない方向に振っています。

目にするプロジェクト構成

locallens/
├── examples/sample-brain/    インデックス対象になる小さなデモフォルダ
├── src/                      アプリを構成する 8 ファイル
├── tests/                    chunker.ts と prompt.ts 用の Bun テスト
├── biome.json                lint + フォーマット設定
├── qvac.config.json
├── package.json
└── tsconfig.json

bun install が完了すれば、CLI を実行するにもブラウザアプリを実行するにも必要なものが揃っています。

クローンとインストール

qvac.config.json

目にするプロジェクト構成

On this page