ベンチマーク機能
ailia DX Insight内の機能を使い、お使いのハードウェアでのAI実行環境のベンチマークを測定することができます。 数多くあるLLMの中からご利用されるLLMに迷った場合や、ご利用されるPCを決める際の指標にご活用ください。
- 設定
の「AI実行環境」の項目を選択します。
実行環境を選択します。
GPUとCPUの選択肢が表示されるので、生成時に使用するものを選択します。
画像検索および音声検索のクエリ処理、リランクはFP16に非対応のモデルです。それ以外の、文章登録、画像登録、音声登録、OCR、音声認識のモデルはFP16に対応しています。ベンチマーク対象のモデルはすべてFP16モデルとなっています。そのため、上の「実行環境（FP16対応モデル）」の項目を変更してください。
ベンチマークを計測する項目を「ドキュメント登録」「画像登録」「音声登録」「OCR」「音声認識」「ローカルLLM」の中から任意のものを選択して、「ベンチマークを実行」を選択します。
AI処理にかかる時間が計測され、結果が表示されます。
