Google、LiteRT.jsでブラウザ内AI推論を最大約3倍に高速化
出典: https://ledge.ai/articles/google_litert_js_web_ai_inference
LiteRT.jsは、.tflite形式のAIモデルをウェブブラウザ内で実行し、WebGPUやWebAssemblyで推論を加速する実行基盤である。Googleの管理環境で、画像認識・音声処理モデルは既存ランタイム比でCPUとWebGPUの双方で最大約3倍の性能を示した。
背景
LiteRTは旧TensorFlow Liteを引き継ぐオンデバイスAI向けランタイムであり、スマートフォン、デスクトップ、組み込み機器でAIモデルを動かすために使われてきた。ウェブアプリにはTensorFlow.jsの既存パイプラインがあり、前処理や後処理を維持したまま、モデル推論部分だけを別の実行基盤へ移行できる構成がある。
要望・目的
AIモデルの推論をサーバーへ送らず、ウェブブラウザ内で完結させることを可能にする。端末内で処理することで、データ送信を抑え、プライバシーの向上、通信遅延の低減、サーバー運用コストの削減につなげる狙いが示されている。既存のウェブAIアプリを全面的に作り直さず、推論処理を高速化できるようにする。
実装・実施内容
Googleは2026年7月9日、JavaScript向けランタイムLiteRT.jsを発表し、npmパッケージとソースコードを公開した。開発者はJavaScriptまたはTypeScriptのウェブアプリへ組み込み、PyTorch、JAX、TensorFlowで構築したモデルをLiteRT形式へ変換して利用できる。量子化によるモデルサイズ縮小と高速化にも対応する。
AIサービス・システム
LiteRT.jsは、LiteRTと共通の.tflite形式のモデルをブラウザ内で実行する。CPU処理にはWebAssembly経由でXNNPACKを使い、GPU処理にはWebGPU経由でML Driftを用いる。NPU向けのWebNN対応も進められているが、WebNNは実験段階である。テキスト生成、物体検出、音声処理などをクライアント側で実行できる。
結果・効果
Googleは、画像認識および音声処理モデルでLiteRT.jsとONNX Runtimeの実行性能を比較した。2024年モデルのM4搭載MacBook Proを使う管理環境では、CPUとWebGPUの双方で既存ランタイム比最大約3倍の性能を示した。WebGPUまたはWebNNの処理は、CPU実行比でモデルにより5〜60倍高速だったとしている。結果はGPU性能、発熱、ブラウザ、ドライバーの最適化状況で変わる。