コンパイラのセットアップ
Windows
VisualStudio 2019以降が必要です。
macOS
Xcode 14.2以降が必要です。
Linux
clangが必要です。
サンプルのビルド
cppフォルダに移動して、プラットフォーム別のビルドコマンドを実行します。
Windows
cl ailia_llm_sample.cpp ailia_llm.lib
macOS
clang++ -o ailia_llm_sample ailia_llm_sample.cpp libailia_llm.dylib -Wl,-rpath,./ -std=c++17
Linux
export LD_LIBRARY_PATH=./
g++ -o ailia_llm_sample ailia_llm_sample.cpp libailia_llm.so
モデルファイルのダウンロード
下記のモデルファイルをダウンロードして、modelsフォルダに配置します。
https://huggingface.co/bartowski/gemma-2-2b-it-GGUF/resolve/main/gemma-2-2b-it-Q4_K_M.gguf?download=true
サンプルの実行
下記のコマンドでサンプルを実行します。
プラットフォーム別の注意点
macOSにおけるダウンロード属性の解除
macOSにおいてブラウザからダウンロードしたバイナリには、ダウンロード属性が付与され、実行できない場合があります。 その場合、dylibを右クリックから実行して開くことで、ダウンロード属性を解除することが可能です。 また、コマンドラインから下記のコマンドを実行することでも、ダウンロード属性を解除することが可能です。
xattr -d com.apple.quarantine libailia_llm.dylib
