ailiaTokenizerDecodeWithSpecialTokens method

int ailiaTokenizerDecodeWithSpecialTokens(
  1. Pointer<AILIATokenizer> net,
  2. Pointer<Int> tokens,
  3. int token_count
)

~japanese @brief スペシャルトークンを含んだデコードを行います。 @param net トークナイザオブジェクトポインタ @param tokens デコードするトークン @param token_count トークンの数 @return 成功した場合は \ref AILIA_STATUS_SUCCESS 、そうでなければエラーコードを返す。 @details デコードした結果はailiaTokenizerGetText APIで取得します。 skip_special_tokens=Falseと同様に、Special Tokenを出力します。

~english @brief Perform decode with special tokens @param net A tokenizer instance pointer @param tokens Tokens for decode @param token_count The number of tokens @return If this function is successful, it returns \ref AILIA_STATUS_SUCCESS , or an error code otherwise. @details Get the decoded result with ailiaTokenizerGetText API. Similarly to skip_special_tokens=False, special tokens will be output.

Implementation

int ailiaTokenizerDecodeWithSpecialTokens(
  ffi.Pointer<AILIATokenizer> net,
  ffi.Pointer<ffi.Int> tokens,
  int token_count,
) {
  return _ailiaTokenizerDecodeWithSpecialTokens(
    net,
    tokens,
    token_count,
  );
}