APIの使用方法

High Level API

ailia Tokenizerの使用例です。インスタンスを作成し、引数にUTF8の文字列を与えることで、トークンを取得可能です。

AiliaTokenizerModel model = new AiliaTokenizerModel();
model.Create(AiliaTokenizer.AILIA_TOKENIZER_TYPE_CLIP, AiliaTokenizer.AILIA_TOKENIZER_FLAG_UTF8_SAFE);
string text = "ハードウェア ソフトウェア";
int [] tokens = model.Encode(text);
string decoded = model.Decode(tokens);
model.Close();

モデルが必要なトークナイザの場合、Createの直後にOpen APIでモデルを読み込みます。

string model_path = "AiliaTokenizer/sentencepiece.bpe.model";
string asset_path = Application.streamingAssetsPath;
 
#if UNITY_ANDROID
  CopyModelToTemporaryCachePath(model_path);
  asset_path=Application.temporaryCachePath;
#endif
model.Open(model_path = asset_path+"/"+model_path);