ailiaTokenizer.AiliaTokenizerModel クラス

ailiaTokenizer.AiliaTokenizerModel の継承関係図

ailiaTokenizer.AiliaTokenizerModel 連携図

公開メンバ関数
bool	Create (int type, int flag)
	インスタンスを作成します。 [詳解]
bool	Open (string model_path=null, string dictionary_path=null, string vocab_path=null)
	モデルファイルを開きます。 [詳解]
virtual void	Close ()
	インスタンスを破棄します。 [詳解]
virtual void	Dispose ()
	リソースを解放します。 [詳解]
int[]	Encode (string utf8)
	エンコードを実行します。 [詳解]
int[]	EncodeWithSpecialTokens (string utf8)
	スペシャルトークンを含んだエンコードを実行します。 [詳解]
string	Decode (int[] tokens)
	デコードを実行します。 @pram tokens 入力トークン [詳解]
string	DecodeWithSpecialTokens (int[] tokens)
	スペシャルトークンを含んだデコードを実行します。 @pram tokens 入力トークン [詳解]
int	GetVocabSize ()
	Vocabの数を取得します。 [詳解]
string	GetVocab (int token)
	Vocabの取得を行います。 [詳解]

限定公開メンバ関数
virtual void	Dispose (bool disposing)

関数詳解

Close()

virtual void ailiaTokenizer.AiliaTokenizerModel.Close ( )

inlinevirtual

インスタンスを破棄します。

インスタンスを破棄し、初期化します。

    {
        if (net != IntPtr.Zero){
            AiliaTokenizer.ailiaTokenizerDestroy(net);
            net = IntPtr.Zero;
        }
    }

Create()

bool ailiaTokenizer.AiliaTokenizerModel.Create ( int  type, int  flag  )

inline

インスタンスを作成します。

引数

type	タイプ（AiliaTokenizer.AILIA_TOKENIZER_TYPE_*)
flag	フラグの論理和（AiliaTokenizer.AILIA_TOKENIZER_FLAG_*)

戻り値

成功した場合はtrue、失敗した場合はfalseを返す。

                                          {
        if (net != null){
            Close();
        }
 
        int status = AiliaTokenizer.ailiaTokenizerCreate(ref net, type, flag);
        if (status != 0){
            return false;
        }
 
        return true;
    }

Decode()

string ailiaTokenizer.AiliaTokenizerModel.Decode ( int[]  tokens )

inline

デコードを実行します。 @pram tokens 入力トークン

戻り値

成功した場合は文字列、失敗した場合は空文字列を返す。

    {
        return DecodeCore(tokens, false);
    }

DecodeWithSpecialTokens()

string ailiaTokenizer.AiliaTokenizerModel.DecodeWithSpecialTokens ( int[]  tokens )

inline

スペシャルトークンを含んだデコードを実行します。 @pram tokens 入力トークン

戻り値

成功した場合は文字列、失敗した場合は空文字列を返す。

    {
        return DecodeCore(tokens, true);
    }

Dispose() [1/2]

virtual void ailiaTokenizer.AiliaTokenizerModel.Dispose ( )

inlinevirtual

リソースを解放します。

    {
        Dispose(true);
    }

Dispose() [2/2]

virtual void ailiaTokenizer.AiliaTokenizerModel.Dispose ( bool  disposing )

inlineprotectedvirtual

    {
        if (disposing){
            // release managed resource
        }
        Close(); // release unmanaged resource
    }

Encode()

int [] ailiaTokenizer.AiliaTokenizerModel.Encode ( string  utf8 )

inline

エンコードを実行します。

引数

utf8

入力文字列

戻り値

成功した場合はトークン列、失敗した場合は空配列を返す。

    {
        return EncodeCore(utf8, false);
    }

EncodeWithSpecialTokens()

int [] ailiaTokenizer.AiliaTokenizerModel.EncodeWithSpecialTokens ( string  utf8 )

inline

スペシャルトークンを含んだエンコードを実行します。

引数

utf8

入力文字列

戻り値

成功した場合はトークン列、失敗した場合は空配列を返す。

    {
        return EncodeCore(utf8, true);
    }

GetVocab()

string ailiaTokenizer.AiliaTokenizerModel.GetVocab ( int  token )

inline

Vocabの取得を行います。

引数

token

トークン

戻り値

成功した場合は string 、そうでなければnullを返す。

    {
        IntPtr ptr = IntPtr.Zero;
        int status = AiliaTokenizer.ailiaTokenizerGetVocab(net, token, ref ptr);
        if (status != 0){
            return null;
        }
        return Marshal.PtrToStringAnsi(ptr);
    }

GetVocabSize()

int ailiaTokenizer.AiliaTokenizerModel.GetVocabSize ( )

inline

Vocabの数を取得します。

戻り値

成功した場合は 0以上の数値 、そうでなければ-1を返す。

    {
        uint len = 0;
        int status = AiliaTokenizer.ailiaTokenizerGetVocabSize(net, ref len);
        if (status != 0){
            return -1;
        }
        return (int)len;
    }

Open()

bool ailiaTokenizer.AiliaTokenizerModel.Open ( string  model_path = null, string  dictionary_path = null, string  vocab_path = null  )

inline

モデルファイルを開きます。

引数

model_path	モデルファイルへのパス。(nullの場合は読み込まない)
dictionary_path	辞書ファイルへのパス。(nullの場合は読み込まない)
vocab_path	Vocabファイルへのパス。(nullの場合は読み込まない)

戻り値

成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                                       {
        if (net == null){
            return false;
        }
 
        int status = 0;
        
        if (model_path != null){
            status = AiliaTokenizer.ailiaTokenizerOpenModelFile(net, model_path);
            if (status != 0){
                return false;
            }
        }
        if (dictionary_path != null){
            status = AiliaTokenizer.ailiaTokenizerOpenDictionaryFile(net, dictionary_path);
            if (status != 0){
                return false;
            }
        }
        if (vocab_path != null){
            status = AiliaTokenizer.ailiaTokenizerOpenVocabFile(net, vocab_path);
            if (status != 0){
                return false;
            }
        }
 
        return true;
    }

---

このクラス詳解は次のファイルから抽出されました:

• AiliaTokenizerModel.cs