ailiaLLM.AiliaLLMModel クラス

ailiaLLM.AiliaLLMModel の継承関係図

ailiaLLM.AiliaLLMModel 連携図

公開メンバ関数
bool	Create ()
	インスタンスを作成します。 [詳解]
bool	Open (string model_path, uint n_ctx=0)
	モデルファイルを開きます。 [詳解]
virtual void	Close ()
	インスタンスを破棄します。 [詳解]
virtual void	Dispose ()
	リソースを解放します。 [詳解]
bool	SetSamplingParam (uint top_k, float top_p, float temp, uint dist)
	サンプリングパラメータを設定します。 [詳解]
bool	SetPrompt (List< AiliaLLMChatMessage > messages)
	プロンプトを設定します。 [詳解]
bool	Generate (ref bool done)
	生成を実行します。 [詳解]
string	GetDeltaText ()
	生成結果のテキストを取得します。 [詳解]
bool	ContextFull ()
	コンテキスト長の上限に達したかどうかを取得します。 [詳解]

限定公開メンバ関数
virtual void	Dispose (bool disposing)

関数詳解

Close()

virtual void ailiaLLM.AiliaLLMModel.Close ( )

inlinevirtual

インスタンスを破棄します。

インスタンスを破棄し、初期化します。

    {
        if (net != IntPtr.Zero){
            AiliaLLM.ailiaLLMDestroy(net);
            net = IntPtr.Zero;
        }
    }

ContextFull()

bool ailiaLLM.AiliaLLMModel.ContextFull ( )

inline

コンテキスト長の上限に達したかどうかを取得します。

戻り値

上限に達した場合はtrue、達していない場合はfalse。

    {
        return context_full;
    }

Create()

bool ailiaLLM.AiliaLLMModel.Create ( )

inline

インスタンスを作成します。

戻り値

成功した場合はtrue、失敗した場合はfalseを返す。

                        {
        if (net != IntPtr.Zero){
            Close();
        }
 
        int status = AiliaLLM.ailiaLLMCreate(ref net);
        if (status != 0){
            if (logging)
            {
                Debug.Log("ailiaLLMCreate failed " + status);
            }
            return false;
        }
 
        return true;
    }

Dispose() [1/2]

virtual void ailiaLLM.AiliaLLMModel.Dispose ( )

inlinevirtual

リソースを解放します。

    {
        Dispose(true);
    }

Dispose() [2/2]

virtual void ailiaLLM.AiliaLLMModel.Dispose ( bool  disposing )

inlineprotectedvirtual

    {
        if (disposing){
            // release managed resource
        }
        Close(); // release unmanaged resource
    }

Generate()

bool ailiaLLM.AiliaLLMModel.Generate ( ref bool  done )

inline

生成を実行します。

引数

done	生成が終了したかどうか。

戻り値

成功した場合はtrue、失敗した場合はfalseを返す。

    {
        uint done_uint = 0;
        int status = AiliaLLM.ailiaLLMGenerate(net, ref done_uint);
        context_full = false;
        done = (done_uint == 1);
        if (status != 0){
            if (logging)
            {
                Debug.Log("ailiaLLMGenerate failed " + status);
            }
            if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                context_full = true;
            }
            return false;
        }
        return true;
    }

GetDeltaText()

string ailiaLLM.AiliaLLMModel.GetDeltaText ( )

inline

生成結果のテキストを取得します。

戻り値

テキストを返します。

    {
        uint len = 0;
        int status = AiliaLLM.ailiaLLMGetDeltaTextSize(net, ref len);
        if (status != 0){
            if (logging)
            {
                Debug.Log("ailiaLLMGetDeltaTextSize failed " + status);
            }
            return "";
        }
        byte[] text = new byte [len];
        GCHandle handle = GCHandle.Alloc(text, GCHandleType.Pinned);
        IntPtr output = handle.AddrOfPinnedObject();
        status = AiliaLLM.ailiaLLMGetDeltaText(net, output, len);
        handle.Free();
        if (status != 0){
            if (logging)
            {
                Debug.Log("ailiaLLMGetDeltaText failed " + status);
            }
            return "";
        }
        
        byte[] new_buf = new byte [buf.Length + len - 1];
        for (int i = 0; i < buf.Length; i++){
            new_buf[i] = buf[i];
        }
        for (int i = 0; i < len - 1; i++){ // NULLの削除
            new_buf[buf.Length + i] = text[i];
        }
        buf = new_buf;
 
        string decoded_text = System.Text.Encoding.UTF8.GetString(buf); // Unicode Decode Errorは発生しない
        string delta_text = "";
        if (decoded_text.Length > before_text.Length){
            delta_text = decoded_text.Substring(before_text.Length);
        }
        before_text = decoded_text;
        return delta_text;
    }

Open()

bool ailiaLLM.AiliaLLMModel.Open ( string  model_path, uint  n_ctx = 0  )

inline

モデルファイルを開きます。

引数

model_path	モデルファイルへのパス。
n_ctx	コンテキスト長（0でモデルのデフォルト）

戻り値

成功した場合はtrue、失敗した場合はfalseを返す。

                                                       {
        if (net == IntPtr.Zero){
            return false;
        }
 
        int status = 0;
        
        status = AiliaLLM.ailiaLLMOpenModelFile(net, model_path, n_ctx);
        if (status != 0){
            if (logging)
            {
                Debug.Log("ailiaLLMOpenModelFile failed " + status);
            }
            return false;
        }
 
        return true;
    }

SetPrompt()

bool ailiaLLM.AiliaLLMModel.SetPrompt ( List< AiliaLLMChatMessage >  messages )

inline

プロンプトを設定します。

引数

messages

プロンプトメッセージ。

戻り値

成功した場合はtrue、失敗した場合はfalseを返す。

    {
        List<GCHandle> handle_list = new List<GCHandle>();
        int len = messages.Count;
        byte[][] role_text_list = new byte [len][];
        byte[][] conntent_text_list = new byte [len][];
        AiliaLLM.AILIAChatMessage [] message_list = new AiliaLLM.AILIAChatMessage[len];
        for (int i = 0; i< len; i++){
            AiliaLLM.AILIAChatMessage message = new AiliaLLM.AILIAChatMessage();
 
            role_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].role+"\u0000");
            GCHandle role_handle = GCHandle.Alloc(role_text_list[i], GCHandleType.Pinned);
            IntPtr role_input = role_handle.AddrOfPinnedObject();
 
            conntent_text_list[i] = System.Text.Encoding.UTF8.GetBytes(messages[i].content+"\u0000");
            GCHandle content_handle = GCHandle.Alloc(conntent_text_list[i], GCHandleType.Pinned);
            IntPtr content_input = content_handle.AddrOfPinnedObject();
 
            message.role = role_input;
            message.content = content_input;
            message_list[i] = message;
 
            handle_list.Add(role_handle);
            handle_list.Add(content_handle);
        }
 
        int size = Marshal.SizeOf(typeof(AiliaLLM.AILIAChatMessage)) * message_list.Length;
        IntPtr ptr = Marshal.AllocHGlobal(size);
 
        int status = 0;
 
        try
        {
            for (int i = 0; i < message_list.Length; i++)
            {
                IntPtr offset = new IntPtr(ptr.ToInt64() + i * Marshal.SizeOf(typeof(AiliaLLM.AILIAChatMessage)));
                Marshal.StructureToPtr(message_list[i], offset, false);
            }
 
            status = AiliaLLM.ailiaLLMSetPrompt(net, ptr, (uint)len);
        }
        finally
        {
            Marshal.FreeHGlobal(ptr);
        }
 
        for (int i = 0; i < handle_list.Count; i++){
            handle_list[i].Free();
        }
 
        context_full = false;
        buf = new byte[0];
        before_text = "";
 
        if (status != 0){
            if (logging)
            {
                Debug.Log("ailiaLLMSetPrompt failed " + status);
            }
            if (status == AiliaLLM.AILIA_LLM_STATUS_CONTEXT_FULL){
                context_full = true;
            }
            return false;
        }
 
        return true;
    }

SetSamplingParam()

bool ailiaLLM.AiliaLLMModel.SetSamplingParam ( uint  top_k, float  top_p, float  temp, uint  dist  )

inline

サンプリングパラメータを設定します。

引数

top_k	サンプリングする確率値の上位個数、デフォルト40
top_p	サンプリングする確率値の範囲、デフォルト0.9（0.9〜1.0）
temp	温度パラメータ、デフォルト0.4
dist	シード、デフォルト1234

戻り値

成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                {
        int status = AiliaLLM.ailiaLLMSetSamplingParams(net, top_k, top_p, temp, dist);
        if (status != 0){
            if (logging)
            {
                Debug.Log("ailiaLLMSetSamplingParams failed " + status);
            }
            return false;
        }
        return true;
    }

---

このクラス詳解は次のファイルから抽出されました:

• AiliaLLMModel.cs