オムニモデル

一言まとめ

テキスト・画像・音声などを 1 つのモデルで扱えるもの。GPT-4o の「o」が omni。以前は入力の種類ごとに別モデルを横に置いていた。

作成 · 更新 · #ai#llm#multimodal
目次 5 sections
  1. 01 一言で
  2. 02 例えで言うと
  3. 03 つながり
  4. 04 関連
  5. 05 更新履歴

一言で#

入力と出力の種類(モダリティ)を問わず 1 つのモデルで受ける設計。「ネイティブマルチモーダル」とほぼ同義で使われる。

方式仕組み
後付けマルチモーダルテキストモデルの横に画像認識や音声認識のモデルを置いてつなぐ
オムニ(ネイティブ)1 つのモデルが最初から全部を学習している。音声なら音声のまま理解し、音声で返せる

例えで言うと#

  • Python: 型ごとに別関数を書いていたのが、1 つの関数で何でも受けられるようになった。
  • サッカー: ポジション固定の選手と、どこでもこなすユーティリティプレイヤー。

つながり#

向き語
上位マルチモーダル → モダリティ(テキスト・画像・音声・動画)
隣リアルタイム音声対話、Speech-to-Text / Text-to-Speech、Vision、OCR
対義単一モダリティのモデル

関連#

更新履歴#

  • 2026-10-08: 初版(気になるワード整理から)

同じトピック — AI