PART 5 Continue + Graniteを使ってみる ～インストールからRPGコードの生成とその自動解説　｜特集　VSCode＋生成AIで加速するIBM i開発

GitHub Copilotはクラウド上のLLMをAPI経由で利用する方式だが、ローカルでLLMを稼働させて利用するにはどうすればよいだろうか。

LLMをローカルで稼働させるために使われるツールとしては、OllamaとLM Studioが有名だ。Ollamaはコマンドベース、LM StudioはGUI画面を経由して使用するが、今回はLM Studioを使ってみよう。

LM Studio の設定

まず、LM Studioのサイト（https://lmstudio.ai/）からダウンロードしてインストールしておこう。個人利用は無料だが、商用利用は問い合わせが必要となるので、その点は注意して使用してほしい。

LM Studioを起動したら、オープンで利用可能なLLMを選択してインストールしよう。本当にたくさんのLLMがあるが、今回はIBM granite 3.2 8bをダウンロードして使用する。左側の虫眼鏡アイコンをクリックすると、LLMを検索してダウンロードできる画面が表示される（図表23、図表24）。

検索窓にgraniteと入力し、表示されるgranite 3.2 8bをクリックして右下のダウンロード・ボタンをクリックすると、ダウンロード・ウインドウが表示される。マシンのスペックにもよるが、ダウンロードは数分で完了するはずだ。終わったらダウンロード・ウインドウを閉じ、右下に表示されているLoad Modelボタンをクリックして、ここでLLMをロードしておく。ロードが完了すると、LM Studioの上部にモデル名granite-3.2-8b-instructが表示される（図表25）。

続いて、APIでアクセスできるようにサーバーを起動しよう。Developerアイコンをクリックして表示される画面の右上の「Status：Stopped」のトグルスイッチをオンにするとサーバーが起動する（図表26、図表27）。

サーバーのアドレスはhttp://127.0.0.1:1234 。127.0.0.1は「localhost」と同義なので覚えておこう。

VSCodeから利用する

ローカルでgranite 3.2 8bを稼働できたので、続いてVSCodeからこのLLMにアクセスする準備をしよう。使用する拡張機能はContinueだ。今回はローカルで稼働しているLLMにアクセスする用途でContinueを使うが、アクセスはAPI経由なので、IP通信できればLLMがどこで稼働していようが構わない。

では、拡張機能Continueをインストールしよう（図表28）。

インストールが完了すると、Continueアイコンが左側に表示されるのでそれをクリックすると、Continueビューが表示される（図表29）。

初期値では左側に表示されるが、必要に応じてビューを右側にドラッグして表示位置を変更することも可能だ（図表30）。

次に、先ほどローカルで起動したLLMサーバーをContinueが参照するように設定する。まず、チャットのプロンプト入力ウインドウの下の「Select model」をクリックし、「+ Add Chat model」をクリックする（図表31）。

続いて表示される「Add Chat model」のProviderでLM Studioを選択する（2025年4月29日現在、Providerをクリックしても選択可能なリストが直後に表示されないので、キーボードでLMなどと打鍵して選択する必要がある。図表32）。

Modelが「Autodetect」になっていることを確認してConnectボタンをクリックする。するとconfig.yamlファイルが開き、Continueビューのプロンプト入力部分の下に、「granite-3.2-8b-instruct」と表示される。今回は自動的に作成されたconfig.yamlファイルを修正することはないので、そのまま閉じておこう（図表33）。

では、先ほどGitHub Copilotに作成させたプログラムtest01.sqlrpgleの解説をgranite に依頼してみよう。GitHub Copilotと異なり、対象ソースコードをVSCodeで開いても、それをプロンプト内に自動的に含めることはデフォルトでは行われない。GitHub Copilotとはこの点が異なるので注意しよう。

ソースコードをプロンプトに含めるには、@コマンドを使用する。@に続いてファイル名を打鍵すると候補が出るのでtest01.sqlrpgleを選択する。するとプロンプト内に「@test01.sqlrpgle」と表示され、対象として選択されたことがわかる。

ではプロンプトに「このプログラムを解説して」と入力して実行してみよう（図表34）。　

筆者の環境では、プロンプトを日本語で記述しても英語で応答が返ってきたので、その場合は「日本語にして」などと指定すればよい。

誌面の都合上割愛するが、GitHub Copilotほどではないにせよ、ローカルで稼働するgranite 3.2でもある程度のボリュームでソースコードの解説文を生成できることがおわかりいただけると思う。