ailia_tokenizer  1.5.0.0
ailiaTokenizer.AiliaTokenizerModel メンバ一覧

継承メンバを含む ailiaTokenizer.AiliaTokenizerModel の全メンバ一覧です。

AddSpecialTokens(string[] tokens)ailiaTokenizer.AiliaTokenizerModelinline
Close()ailiaTokenizer.AiliaTokenizerModelinlinevirtual
Create(int type, int flag)ailiaTokenizer.AiliaTokenizerModelinline
Decode(int[] tokens)ailiaTokenizer.AiliaTokenizerModelinline
DecodeWithSpecialTokens(int[] tokens)ailiaTokenizer.AiliaTokenizerModelinline
Dispose()ailiaTokenizer.AiliaTokenizerModelinlinevirtual
Dispose(bool disposing)ailiaTokenizer.AiliaTokenizerModelinlineprotectedvirtual
Encode(string utf8)ailiaTokenizer.AiliaTokenizerModelinline
EncodeWithSpecialTokens(string utf8)ailiaTokenizer.AiliaTokenizerModelinline
GetVocab(int token)ailiaTokenizer.AiliaTokenizerModelinline
GetVocabSize()ailiaTokenizer.AiliaTokenizerModelinline
Open(string model_path=null, string dictionary_path=null, string vocab_path=null, string merge_path=null)ailiaTokenizer.AiliaTokenizerModelinline
構築: doxygen 1.9.1