ailiaSpeech.AiliaSpeechModel の継承関係図

ailiaSpeech.AiliaSpeechModel 連携図

公開メンバ関数
bool	IsError ()
	エラーが発生したか確認します。 [詳解]

string	GetErrorDetail ()
	エラーの詳細を取得します。 [詳解]

int	GetEnvironmentId (bool is_gpu)
	実行環境を取得します。 [詳解]

string	GetEnvironmentName ()
	実行環境の名称を取得します。 [詳解]

bool	Open (string encoder_path, string decoder_path, int env_id, int memory_mode, int model_type, int task, int flag, string language)
	インスタンスを作成します。 [詳解]

bool	OpenVad (string vad_path, int vad_type)
	VADファイルを開きます。 [詳解]

bool	OpenDictionary (string dictionary_path, int dictionary_type)
	辞書ファイルを開きます。 [詳解]

bool	OpenPostProcess (string encoder_path, string decoder_path, string source_path, string target_path, string prefix, int type)
	ポストプロセスファイルを開きます。 [詳解]

bool	OpenDiarization (string segmentation_path, string embedding_path, int type)
	話者分離に適用するAIモデルを開きます。 [詳解]

virtual void	Close ()
	インスタンスを破棄します。 [詳解]

virtual void	Dispose ()
	リソースを解放します。 [詳解]

bool	SetPrompt (string prompt)
	プロンプトの設定を行います。 [詳解]

bool	SetConstraint (string constraint, int constraint_type)
	制約の設定を行います。 [詳解]

bool	Transcribe (float[] waveData, uint frequency, uint channels, bool tail)
	音声認識を実行します。 [詳解]

bool	IsProcessing ()
	サブスレッドが実行中かどうか取得します。 [詳解]

bool	IsTranscribing ()
	Speech2Textを実行中かどうか取得します。 [詳解]

bool	IsCompleted ()
	全ての音声の処理が完了したかどうか取得します。 [詳解]

List< string >	GetResults ()
	Speech2Textの実行結果を取得してクリアします。 [詳解]

List< AiliaSpeechText >	GetStructuredResults ()
	Speech2Textの実行結果を構造体で取得してクリアします。 [詳解]

string	GetIntermediateText ()
	Speech2Textの途中のテキストを取得します。 [詳解]

bool	ResetTranscribeState ()
	Speech2Textのステートを初期化します。 [詳解]

静的公開メンバ関数
static int	IntermediateCallback (IntPtr handle, IntPtr text)

限定公開メンバ関数
virtual void	Dispose (bool disposing)

関数詳解

◆ Close()

virtual void ailiaSpeech.AiliaSpeechModel.Close ( )

inlinevirtual

インスタンスを破棄します。

インスタンスを破棄し、初期化します。

     {
         DestroyThread();
         DestroyInterrupt();
         if (net != IntPtr.Zero)
         {
             AiliaSpeech.ailiaSpeechDestroy(net);
             net = IntPtr.Zero;
         }
     }

◆ Dispose() [1/2]

virtual void ailiaSpeech.AiliaSpeechModel.Dispose ( )

inlinevirtual

リソースを解放します。

     {
         Dispose(true);
     }

◆ Dispose() [2/2]

virtual void ailiaSpeech.AiliaSpeechModel.Dispose ( bool disposing )

inlineprotectedvirtual

     {
         if (disposing){
             // release managed resource
         }
         Close(); // release unmanaged resource
     }

◆ GetEnvironmentId()

int ailiaSpeech.AiliaSpeechModel.GetEnvironmentId ( bool is_gpu )

inline

実行環境を取得します。

引数

is_gpu GPUを使用するかどうか

戻り値: env_id

                                             {
         int env_id = Ailia.AILIA_ENVIRONMENT_ID_AUTO;
         if (is_gpu) { // GPU
             int count = 0;
             Ailia.ailiaGetEnvironmentCount(ref count);
             for (int i = 0; i < count; i++){
                 IntPtr env_ptr = IntPtr.Zero;
                 Ailia.ailiaGetEnvironment(ref env_ptr, (uint)i, Ailia.AILIA_ENVIRONMENT_VERSION);
                 Ailia.AILIAEnvironment env = (Ailia.AILIAEnvironment)Marshal.PtrToStructure(env_ptr, typeof(Ailia.AILIAEnvironment));
  
                 if (env.backend == Ailia.AILIA_ENVIRONMENT_BACKEND_MPS || env.backend == Ailia.AILIA_ENVIRONMENT_BACKEND_CUDA || env.backend == Ailia.AILIA_ENVIRONMENT_BACKEND_VULKAN){
                     env_id = env.id;
                     env_name = Marshal.PtrToStringAnsi(env.name);
                 }
             }
         } else {
             env_name = "cpu";
         }
         return env_id;
     }

◆ GetEnvironmentName()

string ailiaSpeech.AiliaSpeechModel.GetEnvironmentName ( )

inline

実行環境の名称を取得します。

戻り値: env_name

                                       {
         return env_name;
     }

◆ GetErrorDetail()

string ailiaSpeech.AiliaSpeechModel.GetErrorDetail ( )

inline

エラーの詳細を取得します。

戻り値: エラーの詳細を示す文字列。

                                   {
         return m_error_detail;
     }

◆ GetIntermediateText()

string ailiaSpeech.AiliaSpeechModel.GetIntermediateText ( )

inline

Speech2Textの途中のテキストを取得します。

戻り値: 認識結果を返す。

                                        {
         lock (m_intermediate_lock_async){
             return m_intermediate_text;
         }
     }

◆ GetResults()

List<string> ailiaSpeech.AiliaSpeechModel.GetResults ( )

inline

Speech2Textの実行結果を取得してクリアします。

戻り値: 認識結果を返す。

                                     {
         lock (m_lock_async)
         {
             List<string> results = new List<string>(m_results);
             m_results.Clear();
             return results;
         }
     }

◆ GetStructuredResults()

List<AiliaSpeechText> ailiaSpeech.AiliaSpeechModel.GetStructuredResults ( )

inline

Speech2Textの実行結果を構造体で取得してクリアします。

戻り値: 認識結果を返す。

         {
             lock (m_lock_async)
             {
                 List<AiliaSpeechText> results_struct = new List<AiliaSpeechText>(m_results_struct);
                 m_results_struct.Clear();
                 return results_struct;
             }
         }

◆ IntermediateCallback()

static int ailiaSpeech.AiliaSpeechModel.IntermediateCallback	(	IntPtr	handle,
		IntPtr	text
	)

inlinestatic

                                                                       {
         lock (m_intermediate_lock_async){
             try{
                  string decoded_text = Marshal.PtrToStringAnsi(text);
                  m_intermediate_text = decoded_text;
             }catch(Exception e){
             }
         }
         if (Marshal.ReadInt32(handle) != 0){
             return -1; // 中断
         }
         return 0;
     }

◆ IsCompleted()

bool ailiaSpeech.AiliaSpeechModel.IsCompleted ( )

inline

全ての音声の処理が完了したかどうか取得します。

戻り値: 完了した場合はtrue、それ以外の場合はfalseを返す。

                              {
         lock (m_lock_async)
         {
             return m_complete;
         }
     }

◆ IsError()

bool ailiaSpeech.AiliaSpeechModel.IsError ( )

inline

エラーが発生したか確認します。

戻り値: エラーが発生した場合はtrue、発生していない場合はfalseを返す。

                          {
         return m_error;
     }

◆ IsProcessing()

bool ailiaSpeech.AiliaSpeechModel.IsProcessing ( )

inline

サブスレッドが実行中かどうか取得します。

戻り値: 実行中はtrue、それ以外の場合はfalseを返す。

                               {
         lock (m_lock_async)
         {
             return m_processing;
         }
     }

◆ IsTranscribing()

bool ailiaSpeech.AiliaSpeechModel.IsTranscribing ( )

inline

Speech2Textを実行中かどうか取得します。

戻り値: 実行中はtrue、それ以外の場合はfalseを返す。

                                 {
         lock (m_lock_async)
         {
             return m_decoding;
         }
     }

◆ Open()

bool ailiaSpeech.AiliaSpeechModel.Open	(	string	encoder_path,
		string	decoder_path,
		int	env_id,
		int	memory_mode,
		int	model_type,
		int	task,
		int	flag,
		string	language
	)

inline

インスタンスを作成します。

引数

encoder_path	エンコーダのONNXファイルヘのパス
decoder_path	デコーダのONNXファイルヘのパス
env_id	実行環境 (Ailia.AILIA_ENVIRONMENT_ID_AUTOで自動選択)
memory_mode	メモリモード (Ailia.AILIA_MEMORY_REDUCE_CONSTANT \| Ailia.AILIA_MEMORY_REDUCE_CONSTANT_WITH_INPUT_INITIALIZER \| Ailia.AILIA_MEMORY_REUSE_INTERSTAGE など)
model_type	モデル種別（AiliaSpeech.AILIA_SPEECH_MODEL_TYPE_*)
task	タスク種別（AiliaSpeech.AILIA_SPEECH_TASK_*)
flag	フラグの論理和（AiliaSpeech.AILIA_SPEECH_FLAG_*)
language	言語（jaやenなど、autoの場合は自動選択）

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                                                                                 {
         AiliaLicense.CheckAndDownloadLicense();
  
         if (net != null){
             Close();
         }
  
         AiliaSpeech.AILIASpeechApiCallback callback = AiliaSpeech.GetCallback();
  
         int status = AiliaSpeech.ailiaSpeechCreate(ref net, env_id, Ailia.AILIA_MULTITHREAD_AUTO, memory_mode, task, flag, callback, AiliaSpeech.AILIA_SPEECH_API_CALLBACK_VERSION);
         Check(status, "ailiaSpeechCreate");
         if (status != 0){
             return false;
         }
  
         status = AiliaSpeech.ailiaSpeechOpenModelFile(net, encoder_path, decoder_path, model_type);
         Check(status, "ailiaSpeechOpenModelFile");
         if (status != 0){
             return false;
         }
  
         if (language != "auto"){
             status = AiliaSpeech.ailiaSpeechSetLanguage(net, language);
             Check(status, "ailiaSpeechSetLanguage");
             if (status != 0){
                 return false;
             }
         }
  
         status = AiliaSpeech.ailiaSpeechSetSilentThreshold(net, THRESHOLD_VOLUME, SPEECH_SEC, NO_SPEECH_SEC);
         Check(status, "ailiaSpeechSetSilentThreshold");
         if (status != 0){
             return false;
         }
  
         CreateInterrupt();
  
         status = AiliaSpeech.ailiaSpeechSetIntermediateCallback(net, IntermediateCallback, m_interrupt_ptr);
         Check(status, "ailiaSpeechSetIntermediateCallback");
         if (status != 0){
             return false;
         }
  
         CreateThread();
  
         m_error = false;
         m_error_detail = "";
  
         if ((flag & AiliaSpeech.AILIA_SPEECH_FLAG_LIVE) != 0){
             live_mode = true;
         }else{
             live_mode = false;
         }
  
         return true;
     }

◆ OpenDiarization()

bool ailiaSpeech.AiliaSpeechModel.OpenDiarization	(	string	segmentation_path,
		string	embedding_path,
		int	type
	)

inline

話者分離に適用するAIモデルを開きます。

引数

segmentation_path	onnxファイルのパス名
embedding_path	onnxファイルのパス名
type	AILIA_SPEECH_DIARIZATION_TYPE_PYANNOTE_AUDIO

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                           {
         if (net == null){
             return false;
         }
         int status;
         status = AiliaSpeech.ailiaSpeechOpenDiarizationFile(net, segmentation_path, embedding_path, type);
         Check(status, "ailiaSpeechOpenDializationFile");
         if (status != 0){
             return false;
         }
         return true;
     }

◆ OpenDictionary()

bool ailiaSpeech.AiliaSpeechModel.OpenDictionary	(	string	dictionary_path,
		int	dictionary_type
	)

inline

辞書ファイルを開きます。

引数

dictionary_path	辞書ファイルヘのパス
dictionary_type	辞書種別（AiliaSpeech.AILIA_SPEECH_DICTIONARY_TYPE_*)

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                            {
         if (net == null){
             return false;
         }
         int status = AiliaSpeech.ailiaSpeechOpenDictionaryFile(net, dictionary_path, dictionary_type);
         Check(status, "ailiaSpeechOpenDictionaryFile");
         if (status != 0){
             return false;
         }
         return true;
     }

◆ OpenPostProcess()

bool ailiaSpeech.AiliaSpeechModel.OpenPostProcess	(	string	encoder_path,
		string	decoder_path,
		string	source_path,
		string	target_path,
		string	prefix,
		int	type
	)

inline

ポストプロセスファイルを開きます。

引数

encoder_path	onnxファイルのパス名
decoder_path	onnxファイルのパス名
source_path	Tokenizerのmodelファイルのパス名
target_path	Tokenizerのmodelファイルのパス名
prefix	T5のprefix (UTF8)、FuguMTの場合はnull
post_process_type	AILIA_SPEECH_POST_PROCESS_TYPE_*

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                                                                                           {
         if (net == null){
             return false;
         }
         int status;
         if (prefix == null){
             status = AiliaSpeech.ailiaSpeechOpenPostProcessFile(net, encoder_path, decoder_path, source_path, target_path, IntPtr.Zero, type);
         }else{
             byte[] text = System.Text.Encoding.UTF8.GetBytes(prefix+"\u0000");
             GCHandle handle = GCHandle.Alloc(text, GCHandleType.Pinned);
             IntPtr prefix_ptr = handle.AddrOfPinnedObject();
             status = AiliaSpeech.ailiaSpeechOpenPostProcessFile(net, encoder_path, decoder_path, source_path, target_path, prefix_ptr, type);
             handle.Free();
         }
         Check(status, "ailiaSpeechOpenPostProcessFile");
         if (status != 0){
             return false;
         }
         post_process_mode = true;
         return true;
     }

◆ OpenVad()

bool ailiaSpeech.AiliaSpeechModel.OpenVad	(	string	vad_path,
		int	vad_type
	)

inline

VADファイルを開きます。

引数

vad_path	VADのONNXファイルヘのパス
vad_type	VAD種別（AiliaSpeech.AILIA_SPEECH_VAD_TYPE_*)

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                       {
         if (net == null){
             return false;
         }
         int status = AiliaSpeech.ailiaSpeechOpenVadFile(net, vad_path, vad_type);
         Check(status, "ailiaSpeechOpenVadFile");
         if (status != 0){
             return false;
         }
         status = AiliaSpeech.ailiaSpeechSetSilentThreshold(net, THRESHOLD_VAD, SPEECH_SEC, NO_SPEECH_SEC);
         Check(status, "ailiaSpeechSetSilentThreshold");
         if (status != 0){
             return false;
         }
         return true;
     }

◆ ResetTranscribeState()

bool ailiaSpeech.AiliaSpeechModel.ResetTranscribeState ( )

inline

Speech2Textのステートを初期化します。

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                       {
         int status = AiliaSpeech.ailiaSpeechResetTranscribeState(net);
         lock (m_lock_async)
         {
             m_complete = false;
         }
         if (status == 0){
             return true;
         }
         return false;
     }

◆ SetConstraint()

bool ailiaSpeech.AiliaSpeechModel.SetConstraint	(	string	constraint,
		int	constraint_type
	)

inline

制約の設定を行います。

引数

constraint	constraintとなるテキスト(UTF8)
constraint_type	AILIA_SPEECH_CONSTRAINT_*

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                                                      {
         byte[] text = System.Text.Encoding.UTF8.GetBytes(constraint+"\u0000");
         GCHandle handle = GCHandle.Alloc(text, GCHandleType.Pinned);
         IntPtr input = handle.AddrOfPinnedObject();
         int status = AiliaSpeech.ailiaSpeechSetConstraint(net, input, constraint_type);
         handle.Free();
         if (status != 0){
             return false;
         }
         return true;
     }

◆ SetPrompt()

bool ailiaSpeech.AiliaSpeechModel.SetPrompt ( string prompt )

inline

プロンプトの設定を行います。

引数

prompt promptとなるテキスト(UTF8)

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。

                                         {
         byte[] text = System.Text.Encoding.UTF8.GetBytes(prompt+"\u0000");
         GCHandle handle = GCHandle.Alloc(text, GCHandleType.Pinned);
         IntPtr input = handle.AddrOfPinnedObject();
         int status = AiliaSpeech.ailiaSpeechSetPrompt(net, input);
         handle.Free();
         if (status != 0){
             return false;
         }
         return true;
     }

◆ Transcribe()

bool ailiaSpeech.AiliaSpeechModel.Transcribe	(	float[]	waveData,
		uint	frequency,
		uint	channels,
		bool	tail
	)

inline

音声認識を実行します。

引数

waveQueue	入力PCM
frequency	入力PCMの周波数
channels	入力PCMのチャンネル数
tail	入力が最後かどうか

戻り値: 成功した場合はtrue、失敗した場合はfalseを返す。 @detail 音声認識を実行します。ノンブロッキングAPIです。実行が完了するとIsTranscribed APIがTrueを返します。実行結果はGetResults APIで取得可能です。実行の途中結果はGetIntermediateText APIで取得可能です。

     {
         if (waveData.Length == 0){
             return false;
         }
         lock (m_lock_async)
         {
             threadChannels = channels;
             threadFrequency = frequency;
             threadWaveQueue.Add(waveData);
             threadComplete = tail;
             m_processing = true;
             m_auto_event.Set();
         }
         return true;
     }

このクラス詳解は次のファイルから抽出されました:

AiliaSpeechModel.cs

公開メンバ関数

静的公開メンバ関数

限定公開メンバ関数

関数詳解

◆ Close()

◆ Dispose() [1/2]

◆ Dispose() [2/2]

◆ GetEnvironmentId()

◆ GetEnvironmentName()

◆ GetErrorDetail()

◆ GetIntermediateText()

◆ GetResults()

◆ GetStructuredResults()

◆ IntermediateCallback()

◆ IsCompleted()

◆ IsError()

◆ IsProcessing()

◆ IsTranscribing()

◆ Open()

◆ OpenDiarization()

◆ OpenDictionary()

◆ OpenPostProcess()

◆ OpenVad()

◆ ResetTranscribeState()

◆ SetConstraint()

◆ SetPrompt()

◆ Transcribe()