ailiaTokenizerEncodeWithSpecialTokens method

int ailiaTokenizerEncodeWithSpecialTokens(
  1. Pointer<AILIATokenizer> net,
  2. Pointer<Char> utf8
)

~japanese @brief スペシャルトークンを含んだエンコードを行います。 @param net トークナイザオブジェクトポインタ @param text エンコードするテキスト(UTF8) @return 成功した場合は \ref AILIA_STATUS_SUCCESS 、そうでなければエラーコードを返す。 @details 認識した結果はailiaTokenizerGetTokens APIで取得します。 split_special_tokens=Falseと同様に、Special Tokenを出力します。

~english @brief Perform encode with special tokens @param net A tokenizer instance pointer @param text Text for encode (UTF8) @return If this function is successful, it returns \ref AILIA_STATUS_SUCCESS , or an error code otherwise. @details Get the encoded result with ailiaTokenizerGetTokens API. Similarly to split_special_tokens=False, special tokens will be output.

Implementation

int ailiaTokenizerEncodeWithSpecialTokens(
  ffi.Pointer<AILIATokenizer> net,
  ffi.Pointer<ffi.Char> utf8,
) {
  return _ailiaTokenizerEncodeWithSpecialTokens(
    net,
    utf8,
  );
}