モデルサービング(AI の文脈でのサービング)
一言まとめ
学習済みモデルを API として常時立てておき、リクエストが来たら推論して返す仕組み。「学習」の対になる運用側の言葉。
一言で
モデルを「作る」のが学習(トレーニング)、「使わせる」のがサービング。サービングはエンドポイントを立てて、推論(インファレンス)を返す。
例えで言うと
- AWS: SageMaker Endpoint。Lambda で言えば、デプロイして URL が生えた状態。
- Python:
model.fit()が学習、model.predict()を FastAPI で包んで公開するのがサービング。 - サッカー: 練習が学習、試合がサービング。試合中に練習はしない。
会話で出る周辺語
| 語 | 意味 |
|---|---|
| レイテンシ / スループット | 1 件の応答時間 / 単位時間にさばける件数 |
| バッチ推論 ⇔ リアルタイム推論 | まとめて夜間に回す / 1 件ずつ即答する |
| vLLM、TGI、Triton | LLM や深層学習モデルのサービング専用ソフト |
| 量子化 | 重みを粗くして軽く速くする。GPU の VRAM 節約 |
| ドリフト | 運用中にデータの性質が変わり、モデルが古びること。監視対象 |
つながり
| 向き | 語 |
|---|---|
| 上位 | MLOps |
| 隣 | エンドポイント、推論、モニタリング |
| 対義 | 学習(トレーニング) |
関連
- Databricks — Model Serving 機能を持つ
- オムニモデル
更新履歴
- 2026-10-08: 初版(気になるワード整理から)