コンパイラのセットアップ

Windows

VisualStudio 2019以降が必要です。

macOS

Xcode 14.2以降が必要です。

Linux

clangが必要です。

サンプルのビルド

cppフォルダに移動して、プラットフォーム別のビルドコマンドを実行します。

Windows

cl ailia_tokenizer_sample.cpp ailia_tokenizer.lib

macOS

clang++ -o ailia_tokenizer_sample ailia_tokenizer_sample.cpp libailia_tokenizer.dylib -Wl,-rpath,./ -std=c++17

Linux

export LD_LIBRARY_PATH=./

g++ -o ailia_tokenizer_sample ailia_tokenizer_sample.cpp libailia_tokenizer.so

サンプルの実行

下記のコマンドでサンプルを実行します。

./ailia_tokenizer_sample

出力例です。

Tokenizer type 0
Input Text : ハードウェア ソフトウェア
Tokens : 15927 44165 20745 28571 12817 220 42668 17320 7588 20745 28571 12817 
Output Text : ハードウェア ソフトウェア

サンプルで指定可能なオプション

サンプルでは下記の引数を順に指定可能です。

./ailia_tokenizer_sample [tokenizer_type]

各引数の詳細は下記となります。

内容	詳細
トークナイザタイプ	トークナイザのタイプを数値で指定します。AILIA_TOKENIZER_TYPE_WHISPERとAILIA_TOKENIZER_TYPE_CLIP以外を使用する場合、別途、モデルファイルをhuggingfaceなどからダウンロードする必要があります。

プラットフォーム別の注意点

macOSにおけるダウンロード属性の解除

macOSにおいてブラウザからダウンロードしたバイナリには、ダウンロード属性が付与され、実行できない場合があります。その場合、dylibを右クリックから実行して開くことで、ダウンロード属性を解除することが可能です。また、コマンドラインから下記のコマンドを実行することでも、ダウンロード属性を解除することが可能です。

xattr -d com.apple.quarantine libailia_tokenizer.dylib