ailia_tokenizer library

Classes

AILIANetwork
ネットワークオブジェクトのインスタンス
AILIATokenizer
トークナイズオブジェクトのインスタンス
ailiaTokenizerFFI
Written for the FFI article

Constants

AILIA_DATATYPE_BFLOAT16 → const int
AILIA_DATATYPE_BOOL → const int
AILIA_DATATYPE_DOUBLE → const int
AILIA_DATATYPE_FLOAT → const int
AILIA_DATATYPE_FLOAT16 → const int
AILIA_DATATYPE_INT16 → const int
AILIA_DATATYPE_INT32 → const int
AILIA_DATATYPE_INT64 → const int
AILIA_DATATYPE_INT8 → const int
AILIA_DATATYPE_UINT16 → const int
AILIA_DATATYPE_UINT32 → const int
AILIA_DATATYPE_UINT64 → const int
AILIA_DATATYPE_UINT8 → const int
AILIA_DATATYPE_UNDEFINED → const int
AILIA_ENVIRONMENT_BACKEND_CUDA → const int
AILIA_ENVIRONMENT_BACKEND_MPS → const int
AILIA_ENVIRONMENT_BACKEND_NONE → const int
AILIA_ENVIRONMENT_BACKEND_VULKAN → const int
AILIA_ENVIRONMENT_ID_AUTO → const int
AILIA_ENVIRONMENT_PROPERTY_FP16 → const int
AILIA_ENVIRONMENT_PROPERTY_LOWPOWER → const int
AILIA_ENVIRONMENT_PROPERTY_NORMAL → const int
AILIA_ENVIRONMENT_TYPE_BLAS → const int
AILIA_ENVIRONMENT_TYPE_CPU → const int
AILIA_ENVIRONMENT_TYPE_GPU → const int
AILIA_ENVIRONMENT_TYPE_REMOTE → const int
AILIA_ENVIRONMENT_VERSION → const int
AILIA_FILE_CALLBACK_VERSION → const int
AILIA_MEMORY_NO_OPTIMIZATION → const int
AILIA_MEMORY_OPTIMAIZE_DEFAULT → const int
AILIA_MEMORY_REDUCE_CONSTANT → const int
AILIA_MEMORY_REDUCE_CONSTANT_WITH_FILE_MAPPED → const int
AILIA_MEMORY_REDUCE_CONSTANT_WITH_INPUT_INITIALIZER → const int
AILIA_MEMORY_REDUCE_INTERSTAGE → const int
AILIA_MEMORY_REUSE_INTERSTAGE → const int
AILIA_MULTITHREAD_AUTO → const int
AILIA_PROFILE_AVERAGE → const int
AILIA_PROFILE_DISABLE → const int
AILIA_SHAPE_VERSION → const int
AILIA_STATUS_BROKEN → const int
AILIA_STATUS_DATA_HIDDEN → const int
AILIA_STATUS_DATA_REMOVED → const int
AILIA_STATUS_ERROR_FILE_API → const int
AILIA_STATUS_EXPIRED → const int
AILIA_STATUS_GPU_ERROR → const int
AILIA_STATUS_GPU_UNSUPPORT_LAYER → const int
AILIA_STATUS_INVALID_ARGUMENT → const int
AILIA_STATUS_INVALID_LAYER → const int
AILIA_STATUS_INVALID_PARAMINFO → const int
AILIA_STATUS_INVALID_STATE → const int
AILIA_STATUS_INVALID_VERSION → const int
AILIA_STATUS_LICENSE_BROKEN → const int
AILIA_STATUS_LICENSE_EXPIRED → const int
AILIA_STATUS_LICENSE_NOT_FOUND → const int
AILIA_STATUS_MEMORY_INSUFFICIENT → const int
AILIA_STATUS_NDIMENSION_SHAPE → const int
AILIA_STATUS_NOT_FOUND → const int
AILIA_STATUS_OTHER_ERROR → const int
AILIA_STATUS_PERMISSION_DENIED → const int
AILIA_STATUS_SUCCESS → const int
AILIA_STATUS_THREAD_ERROR → const int
AILIA_STATUS_UNIMPLEMENTED → const int
AILIA_STATUS_UNSETTLED_SHAPE → const int
AILIA_STATUS_UNSUPPORT_NET → const int
AILIA_TOKENIZER_FLAG_NONE → const int
AILIA_TOKENIZER_FLAG_UTF8_SAFE → const int
AILIA_TOKENIZER_TYPE_BERT → const int
AILIA_TOKENIZER_TYPE_BERT_JAPANESE_CHARACTER → const int
AILIA_TOKENIZER_TYPE_BERT_JAPANESE_WORDPIECE → const int
AILIA_TOKENIZER_TYPE_CLIP → const int
AILIA_TOKENIZER_TYPE_GPT2 → const int
AILIA_TOKENIZER_TYPE_LLAMA → const int
AILIA_TOKENIZER_TYPE_MARIAN → const int
AILIA_TOKENIZER_TYPE_ROBERTA → const int
AILIA_TOKENIZER_TYPE_T5 → const int
AILIA_TOKENIZER_TYPE_WHISPER → const int
AILIA_TOKENIZER_TYPE_XLM_ROBERTA → const int
AILIA_USER_API_FAILED → const int
AILIA_USER_API_SUCCESS → const int
NULL → const int
USER_ADDR_NULL → const int

Typedefs

AILIA_USER_API_FCLOSE = Pointer<NativeFunction<AILIA_USER_API_FCLOSEFunction>>
~japanese @brief ファイルを閉じます @param void * ユーザ定義ファイルポインタ @return 成功した場合、 \ref AILIA_USER_API_SUCCESS を返す。 失敗した場合、 \ref AILIA_USER_API_FAILED を返す。
AILIA_USER_API_FCLOSEFunction = Int Function(Pointer<Void>)
AILIA_USER_API_FOPEN = Pointer<NativeFunction<AILIA_USER_API_FOPENFunction>>
~japanese @brief ファイルを開きます @param const void * ailiaOpenStreamEx() もしくは ailiaOpenWeightEx() に与えたfopen_args @return 成功した場合、ユーザ定義ファイルポインタを返す。 失敗した場合、NULLを返す。
AILIA_USER_API_FOPENFunction = Pointer<Void> Function(Pointer<Void>)
AILIA_USER_API_FREAD = Pointer<NativeFunction<AILIA_USER_API_FREADFunction>>
~japanese @brief ファイルからデータを読み込みます @param void * 読み込みデータ格納先のポインタ @param \ref AILIA_FSIZE_RETURN_TYPE 読み込みデータのバイト長さ @param void * ユーザ定義ファイルポインタ @return 成功した場合、 \ref AILIA_USER_API_SUCCESS を返す。 失敗した場合、 \ref AILIA_USER_API_FAILED を返す。 標準APIとは異なり、返値はAILIA_USER_API_*になりますのでご注意ください。
AILIA_USER_API_FREADFunction = Int Function(Pointer<Void>, LongLong, Pointer<Void>)
AILIA_USER_API_FSEEK = Pointer<NativeFunction<AILIA_USER_API_FSEEKFunction>>
~japanese @brief ファイルをシークします @param void * ユーザ定義ファイルポインタ @param \ref AILIA_FSIZE_RETURN_TYPE ファイル先頭からのオフセットバイト @return 成功した場合、 \ref AILIA_USER_API_SUCCESS を返す。 失敗した場合、 \ref AILIA_USER_API_FAILED を返す。
AILIA_USER_API_FSEEKFunction = Int Function(Pointer<Void>, LongLong)
AILIA_USER_API_FSIZE = Pointer<NativeFunction<AILIA_USER_API_FSIZEFunction>>
~japanese @brief ファイルのサイズを取得します @param void * ユーザ定義ファイルポインタ @return 成功した場合、ファイルのサイズをバイト単位で返す。 失敗した場合、-1を返す。
AILIA_USER_API_FSIZEFunction = LongLong Function(Pointer<Void>)
AILIA_USER_API_FTELL = Pointer<NativeFunction<AILIA_USER_API_FTELLFunction>>
~japanese @brief ファイルの現在位置を取得します @param void * ユーザ定義ファイルポインタ @return 成功した場合、ファイルポインタの位置をバイト単位で返す。 失敗した場合、-1を返す。
AILIA_USER_API_FTELLFunction = LongLong Function(Pointer<Void>)
AILIAEnvironment = _AILIAEnvironment
ailiaFileCallback = _ailiaFileCallback
AILIAShape = _AILIAShape
DartAILIA_USER_API_FCLOSEFunction = int Function(Pointer<Void>)
DartAILIA_USER_API_FREADFunction = int Function(Pointer<Void>, int, Pointer<Void>)
DartAILIA_USER_API_FSEEKFunction = int Function(Pointer<Void>, int)
DartAILIA_USER_API_FSIZEFunction = int Function(Pointer<Void>)
DartAILIA_USER_API_FTELLFunction = int Function(Pointer<Void>)