はじめに
ローカル環境でopen-webuiによるチャット画面と行き来していましたが、VSCodeの拡張機能Continueを使うことでVSCode内で完結できるようになったようなので環境構築しました。
プログラミングに対してはまだ使っていないので本領発揮はできていませんが、日本語文章に対して簡単な動作確認まではしました。
モデルの選定はもう少し検討する必要はありますが、VSCode内でやり取りできるのは便利ですね。
概要
- Ollamaの起動
- VScode拡張機能Continueのインストール
- 設定ファイルにモデル登録
- 動作確認
環境
- Windows 11 Pro
- CPU : 12th Gen Intel(R) Core(TM) i7-12700
- GPU : NVIDIA GeForce RTX 4070 Ti
- Visual Studio Code : Windowsでexe版を起動
- Ollama : WindowsのWSL2上にdockerで起動
1. Ollamaの起動
OllamaをWSL2上にdockerで起動する方法については過去記事を参照してください。
Windows側のブラウザでhttp://localhost:11434/
を開くとOllama is running
と表示されればollamaが起動できています。
モデルはqwen3の4Bとqwen2.5-coderの1.5Bをダウンロードしておきます。
docker exec ollama ollama pull qwen3:4b
docker exec ollama ollama pull qwen2.5-coder:1.5b
実行環境に対してモデルサイズが大きすぎるとエラーになるので、個人の環境に適切なモデルサイズを使用してください。
後ほどVSCodeの拡張機能Continueの設定ファイルで登録しますが、Qwen3はchat用、qwen2.5-coderはautocomplete用とします。
2. VScode拡張機能Continueのインストール
VSCodeのExtention画面でContinue
を検索し、インストールします。
インストールが完了すると、サイドバーにContinueのアイコンが追加されます。
3. 設定ファイルにモデル登録
VScodeのサイドバーからContinueのアイコンを選択し、表示された中でOr, configure your own models
をクリックすると設定ファイルconfig.yaml
が開きます。
初期値として何かしらのモデルが記述されているかと思いますが、自身がダウンロードしているモデルに書き換えます。
使用できるパラメータはContinueのReferenceを確認してください。
rolesについてはCustomizeのほうにありました。
apply機能は分からなかったのですが、初期値に合わせてひとまず記載しています。挙動を確認したいためchatモデルを複数登録しています。
name: Local Assistant
version: 1.0.0
schema: v1
models:
- name: Qwen3 4B
provider: ollama
model: qwen3:4b
roles:
- chat
- edit
- apply
- name: Qwen3 14B
provider: ollama
model: qwen3:14b
roles:
- chat
- edit
- apply
- name: Qwen2.5-Coder 7B
provider: ollama
model: qwen2.5-coder:7b
roles:
- chat
- edit
- apply
- name: Qwen2.5-Coder 1.5B
provider: ollama
model: qwen2.5-coder:1.5b
roles:
- autocomplete
- name: Nomic Embed
provider: ollama
model: nomic-embed-text:latest
roles:
- embed
context:
- provider: code
- provider: docs
- provider: diff
- provider: terminal
- provider: problems
- provider: folder
- provider: codebase
4. 動作確認
chat機能
よくあるチャット機能です。サイドバーに質問文を入力することができます。
@
を打つことでファイルを参照し、ファイルの要約をすることもできます。
Ctrl+L
でドラッグ中の文章を引用することもできます。
edit機能
本文を編集するための機能です。
Ctrl+I
でドラッグ中の文章を引用し、指示した内容で応答された結果で上書き(accept)するか拒否(reject)するか選択できます。
出来るはずなのですが、Qwen3:4Bモデルのサイズが小さいのか上手くいかなかったので今回は断念します。
autocomplete機能
文字をある程度打って数秒待機すると、時たま文章補正の提案をしてくれます。
この記事を書いている時にも発生しました。
ただし、autocomplete機能にはコード生成の得意なQwen2.5-coderモデルを指定しているのでたまたまかと思います。他の箇所では補正内容はそんなに良くなかったです。
エラー結果
どこか設定が悪いのかモデルサイズの大きいQwen3:14Bを使用した際にはエラーになりました。
open-webuiでは使用できていたのですが、今のところ大きいモデルを使う必要性はないので放置します。