ailiaTokenizerGetCharEnds method

int ailiaTokenizerGetCharEnds(
  1. Pointer<AILIATokenizer> net,
  2. Pointer<Int> char_ends,
  3. int count
)

~japanese @brief 終了文字位置を取得します。 @param net トークナイザオブジェクトポインタ @param char_ends 終了文字位置 @param count 格納先トークン数 @param @return 成功した場合は \ref AILIA_STATUS_SUCCESS 、そうでなければエラーコードを返す。 @details ailiaTokenizerEncode() を一度も実行していない場合は \ref AILIA_STATUS_INVALID_STATE が返ります。 AILIA_TOKENIZER_TYPE_ROBERTAとAILIA_TOKENIZER_TYPE_BERTの場合のみ有効です。 各トークンに対応するUTF32単位での終了文字位置が返ります。

~english @brief Gets the Char end positions. @param net A tokenizer instance pointer @param char_ends Char end position @param count Token count @return If this function is successful, it returns \ref AILIA_STATUS_SUCCESS , or an error code otherwise. @details If ailiaTokenizerEncode() is not run at all, the function returns \ref AILIA_STATUS_INVALID_STATE . This is valid only for AILIA_TOKENIZER_TYPE_ROBERTA and AILIA_TOKENIZER_TYPE_BERT. The character end positions in UTF-32 units corresponding to each token are returned.

Implementation

int ailiaTokenizerGetCharEnds(
  ffi.Pointer<AILIATokenizer> net,
  ffi.Pointer<ffi.Int> char_ends,
  int count,
) {
  return _ailiaTokenizerGetCharEnds(
    net,
    char_ends,
    count,
  );
}