ailia Tokenizerの概要

ailia TokenizerはUnityやC++から使用できるNLP向けトークナイザです。トークナイザは、テキストをAIが扱えるトークンに変換したり、トークンをテキストに戻したりすることができます。

ailia Tokenizerの特徴

様々な形式のトークナイズに対応

Whisper、CLIP、XLMRoberta、Marian、BERT Japanese WordPiece、BERT Japanese Character、T5、Roberta、BERT、GPT2、LLAMAに対応しています。

日本語のトークナイズに対応

Mecabを使用する日本語のトークナイズに対応しています。

Unicode正規化に対応

UKFC形式に自動的に正規化します。

Unity対応

C APIに加えて、C# API とUnity Pluginを提供しているため、Unityを使用したアプリケーションに簡単に音声認識を実装可能です。

対応プラットフォーム

ailia TokenizerはWindows、macOS、Linux、iOS、Androidで動作します。