ailia TokenizerのAPIの概要
基本的な使用方法
ailia Tokenizerの使用例です。インスタンスを作成し、引数にUTF8の文字列を与えることで、トークンを取得可能です。
#include <stdio.h>
#include <vector>
#include <stdint.h>
#include <stdlib.h>
int main(int argc, char *argv[]){
printf("Tokenizer type %d\n", type);
AILIATokenizer *net;
const char * text = u8"ハードウェア ソフトウェア";
printf("Input Text : %s\n", text);
unsigned int count;
std::vector<int> tokens(count);
printf("Tokens : ");
for (int i = 0; i < count; i++){
printf("%d ", tokens[i]);
}
printf("\n");
unsigned int len;
std::vector<char> out_text(len);
char * p_text = &out_text[0];
printf("Output Text : %s\n", p_text);
return 0;
}