VLM（視覚言語モデル）とは？開発で使える機能と見極め方

VLM（視覚言語モデル）は、スクリーンショット、グラフ、スキャン文書、商品写真の内容を読み解くのに役立ちます。ただし、この4種類の入力にはそれぞれ異なる確認が必要です。回答をアプリに取り込む前に、用途に応じて検証しましょう。データの取り扱いルールが許すなら、まずは範囲を絞ったAPIの試験導入から始めます。ローカル処理が必要な場合や、実測した運用上の要件から追加の手間に見合うと判断できる場合は、オープンウェイトモデルの自前運用を検討します。

APIを使うと、アプリから提供元がホストするモデルを呼び出せます。オープンウェイトとは、ダウンロード可能なモデルのパラメータのことで、自分で管理するインフラ上でモデルを実行できます。

ダッシュボードをもっともらしく説明できるモデルでも、画面内の小さな数値を読み間違えることがあります。製品に組み込む機能は、結果を検証できる範囲に収めるのが実用的です。たとえば、商品説明の下書き、出典を添えた文書の抽出項目、実行後の結果をアプリ側で確認できるUI操作の提案などです。

モデル名、機能、画像処理のルールは、2026年10月26日に各開発元の公開ドキュメントで確認しています。 以下の選定基準と試験導入の手順は、設計上の判断として提案するものです。モデルのベンチマークを実行して得た結果ではありません。

VLMとは？視覚言語モデルの基本

視覚言語モデル（VLM）は、視覚情報と言語を結び付け、画像について質問できるようにするモデルです。 この記事で扱う生成型のVLMは、画像とプロンプトを入力として、文章で回答します。隣で一緒に写真を見ている同僚を想像すると分かりやすいでしょう。気になる点を尋ねられますが、自信のある説明でも、写真と照らして確かめる必要があります。

大規模言語モデル（LLM）は言語を扱います。視覚に対応したモデルは、それに加えて画像を表現した情報も受け取ります。光学文字認識（OCR）が文字を抽出するのに対し、VLMはその文字を周囲の場面やレイアウト、質問と結び付けて解釈できます。NVIDIAのVLM解説では、この組み合わせと活用例が説明されています。

VLMは、複数の種類の情報を扱うシステムの総称であるマルチモーダルAIに含まれます。画像を入力できるからといって、画像の生成、音声の入力、ブラウザの操作にも対応しているとは限りません。入力、出力、ツールの各機能を個別に確認してください。

視覚言語モデルはどのように動くのか

一般的な構成では、画像の各領域を数値的な特徴に変換し、その特徴を言語モデルにつなぎます。そして、画像と質問の両方を踏まえて回答を生成します。関連する画像とテキストを学習することで、目に見える内容と、それを人がどう説明するかの対応を身に付けます。同じ写真から、キャプションの作成、写っている物についての回答、情報の抽出ができるのはこのためです。

独立した視覚エンコーダを使う構成は一般的ですが、すべてのモデルがそうとは限りません。GoogleのGemma 4モデルカードでは、12Bモデルにエンコーダを使わない方式が採用されていると説明されています。どのアーキテクチャでも変わらない実装上の要点は、前処理の過程で判断の根拠となる画像情報を失わないことです。Gemma 4モデルカード。

仕入先の帳票であれば、配送先住所と、その根拠となる記載を抽出させます。そのうえで、抽出された住所を配送可能な宛先と照合します。モデルが担うのは解釈です。結果を受け入れる基準はアプリケーション側で管理します。

製品やエージェントでVLMを活用しやすい場面

最初は、質問が明確で、回答を確認できる解釈タスクから始めましょう。 場面の説明、画像に関する質問への回答、文書理解は、すでに確立された活用分野です。ただし、実際に役立つかどうかは、対象の画像と、誤りがもたらす影響によって変わります。NVIDIAによる活用例の解説。

スクリーンショットとコンピュータ操作エージェント

スクリーンショットから、エージェントが必要とする画面の状態を把握できます。ただし、モデルが回答しただけでは何もクリックされません。コンピュータ操作の機能を組み込む場合は、ソフトウェア側が要求された操作を実行し、その結果のスクリーンショットをモデルに返します。この観察と操作を繰り返す仕組みは、OpenAIのコンピュータ操作ガイドで説明されています。

サポート製品で最初に取り組むなら、画面に表示されたエラーメッセージを特定し、ドキュメントに沿った次の手順を提案する機能が適しています。ブラウザエージェントなら、レポートを開くといった、元に戻せる操作から始めましょう。操作後はページの状態を確認します。エージェント自身の「成功した」という報告を、そのまま成功の証拠にしてはいけません。

アプリに信頼できるAPIが用意されているなら、操作にはそのAPIを使います。画面操作による複雑さに見合う価値があるのはどのような場面かは、コンピュータ操作エージェントのガイドで解説しています。スクリーンショット内の文字は、信頼できないタスクデータとして扱います。ページに「指示を無視しろ」と書かれていても、それがエージェントへの指示より優先されてはいけません。

グラフと商品写真

グラフの解釈は、全体像をつかむ用途に役立ちます。たとえば、どの系列で傾向が変わったか、目に見えるピークがどこにあるか、凡例が何を示しているか、といった確認です。正確な数値を報告するなら、可能な限り元の表を入手しましょう。OpenAIは、グラフの色や線種の区別が難しい場合があると明記しています。画像認識の制約。

商品カタログでは、説明文を生成する前に、記載を許可する属性を定義します。「ファスナーが見える」は、画像から確認できる説明です。一方、「防水」、正確な寸法、ブランド品の真贋について述べるには、別の根拠が必要です。テストでは、文章が自然でも、根拠のない属性を記載したら失敗と判定します。

スキャン画像からの項目抽出

どちらの住所が受取人のものかを判断するなど、レイアウトを踏まえた項目の解釈が必要な場合にVLMを使います。単に文字を書き起こすだけなら、比較対象としてOCRを残してください。生成モデルが、周辺の文脈から欠けている発注番号を勝手に補ってはいけません。

各項目に出典ページを付け、根拠がない場合は欠損値を明示するよう求めます。その後、日付、識別子、合計値をアプリのコードで検証します。インテリジェント文書処理のワークフローでは、抽出の前後に文書分類、例外処理、後続処理への振り分けを加え、より広い業務の流れを扱います。

視覚言語モデルが今も苦手とすること

壁になるのは精度です。流暢な回答ができても、計測システムの代わりにはなりません。 Anthropicは、個数や位置関係の出力が概算になることや、低品質の画像、回転した画像で誤りが生じることを説明しています。OpenAIも、小さな文字の読み取りや画像の説明に誤りが生じる可能性を挙げています。こうした制約は、検証を設計する理由になります。どの画像でも失敗すると決め付ける理由ではありません。Claudeの画像認識の制約、OpenAIの画像認識の制約。

個数のカウント：「棚に物がたくさんある」と説明することと、在庫数を正確に数えることは別です。正確なカウントが必要なら、専用の物体検出ワークフローや、人が付けた正解の個数と比較します。物が重なっている場合、一部しか写っていない場合、同じ模様が繰り返される場合は、それぞれ分けてテストしてください。

小さな文字： アップロードされた原画像を保持し、向きを補正します。対象項目を切り出す際は、何の項目か分かるだけの周辺情報も含めてテストします。ぼやけた文字を拡大しても、失われた情報は戻りません。確実に読み取れない場合は、より鮮明な画像を求めます。

正確な位置： モデルが実際に処理した画像を追跡できるようにします。スクリーンショットを切り抜いたりリサイズしたりした場合は、クリックや枠の描画を行う前に、座標を元画像の座標系に戻します。Anthropicは、出力される座標はリサイズ後の処理済み画像を基準にすると明記しています。Claudeの座標に関する説明。

長い文書： ファイルを受け付けられることと、全ページの情報を正しく突き合わせられることは、別の要件です。Googleの文書処理ガイドでは、コンテキストの制約を受けるものの、最大50 MBまたは1,000ページのPDFを扱えるとしています。この上限が示すのは入力できる範囲であり、すべての行をどれだけ正確に抽出できるかではありません。Geminiの文書理解。

仕入先から届く大量の資料なら、まず関連ページを特定し、ページ参照付きでレコードを抽出します。重複や矛盾の照合は、別の工程で行います。評価には、文書の後半に答えが埋もれているケースや、内容が食い違う改訂版を含めてください。文書全体の要約がもっともらしくても、こうした情報の見落としは隠れてしまいます。

APIで利用できる大規模な視覚言語モデル

評価の単位には、開発元が指定する正確なモデルIDを使います。 提供企業の名前だけでは、モデル、画像の前処理、ツール対応は特定できません。以下は現時点で評価候補になる例であり、おすすめ順のランキングではありません。

OpenAI GPT-6 Astra

OpenAI GPT-6 Astraは汎用モデルで、モデルページには画像入力、テキスト出力、構造化出力、コンピュータ操作への対応が記載されています。推論やツール呼び出しも必要なエージェントで、スクリーンショットを解釈する候補になります。画像についての回答にも、前述の精度検証が必要です。画像を入力できることは、正確な検出を保証するものではありません。GPT-6 Astraのモデルページ。

Anthropic Claude

AnthropicのClaudeは、画像理解に対応するモデルファミリーです。現在の概要ページにはClaude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5、Claude Fable 5.1が掲載されており、いずれもテキストと画像を入力し、テキストを出力します。タスクに必要な応答速度と推論能力で候補を絞り、同じ画像で評価してください。このファミリーが出力する概算の座標を、意図した対象かどうかの確認の代わりにしてはいけません。Claudeモデルの概要。

Google Gemini

Google Gemini 4 ArgonとGoogle Gemini 3.8 Flashは、どちらも画像とPDFの入力、テキストの出力に対応すると記載されています。モデルページでは、コンピュータ操作はいずれもプレビュー扱いです。同じアプリでスクリーンショットと文書の両方を扱う場合の候補になりますが、本番導入の判断では、回答の品質に加えてツールのリリース段階も考慮する必要があります。Gemini 4 Argon、Gemini 3.8 Flash。

オープンソースの視覚言語モデル：自前で動かせる選択肢

オープンウェイトは、自分で運用する選択肢を与えるものです。それだけでサービスが完成するわけではありません。 モデルを実行するための対応した推論ソフトウェア、実際の負荷に見合うメモリ、監視、更新方針が必要です。ダウンロードできるモデルはすべて同じ条件で使えると思い込まず、個別のライセンスを確認してください。

Alibaba Qwen

Alibaba Qwen3-VL-8B-Instructは、保存されたモデルの重みであるチェックポイントが公開された視覚言語モデルです。開発元はOCR、視覚的推論、GUI操作の機能を説明しています。より新しいQwen3.8-27Bの重みを公開しているリポジトリでは、画像と動画をネイティブに扱うモデルと説明され、対応する推論フレームワークも示されています。これらは別々のチェックポイントです。片方の評価結果や設定を、検証せずにもう片方へ引き継いではいけません。Qwen3-VL-8B-Instructモデルカード、Qwen3.8-27Bモデルカード。

実運用で壁になるのは、モデルを提供するサーバーの構成です。本番で使う重みの数値精度、画像プロセッサ、同時実行数をそのまま再現してテストします。負荷のないサーバーでデモが成功しても、複数の文書が同時にアップロードされたときの応答時間は分かりません。

Google Gemma

Google Gemma 4は、テキストと画像を入力し、テキストを出力するオープンウェイトのモデルファミリーです。モデルカードにはE2B、E4B、12B、26B A4B、31Bの各モデルが掲載され、ローカル実行に向く小型モデルについても説明されています。処理をどこで実行するかが重要な場合には評価する価値があります。ただし、小型モデルでスキャン文書の最も小さな文字まで読めると示しているわけではありません。Gemma 4モデルカード。

社員のノートPCやスマートフォンで使う場合は、オンデバイスAIのガイドを参考に、ローカル推論とアプリのそれ以外のデータフローを分けて考えます。モデルがローカルで動いていても、リモートへのログ送信、クラウドへのフォールバック、ファイル同期までローカルになるわけではありません。

Hugging Faceで視覚言語モデルを探すときは公開元を確認する

Hugging Faceは、モデルカードや重みを入手する場所であり、単一のVLMではありません。開発元のリポジトリを起点に、リビジョンを記録し、ライセンスを読み、対応するプロセッサとプロンプト形式に従います。コミュニティが公開した圧縮版を使うなら、その配布物自体を評価してください。名前が似ているだけでは、元のモデルと同じ挙動をする証拠にはなりません。

画像はトークンに変換され、解像度で入力が変わる

処理量の見積もりは、ファイルサイズではなく、前処理後の画像を基準にします。 画像対応APIは、視覚情報をモデル入力の計数単位であるトークンに変換します。テキストのプロンプト、回答、再試行によっても使用量は増えます。JPEGのファイルサイズを小さくしても、画像の縦横の画素数は同じままの場合があります。そのため、ファイルの圧縮だけをトークン削減の確実な方法とは考えられません。

各開発元が用意する制御方法は異なります。

• OpenAI： detailで前処理が変わり、指定できる設定はモデルによって異なります。現在のガイドでは、lowのトークン数が必ずhighより少なくなるとは限らないとしています。GPT-6 Astraのhigh設定では、1024 × 1024の画像が1,229入力トークンに変換される例が記載されています。モデルごとのサイズ計算ルールに従ってください。OpenAIの画像処理。
• Anthropic： 画像認識ガイドでは、必要に応じたリサイズ後に、28 × 28ピクセルのパッチを基準として画像のトークン数を計算します。画像の上限はモデルのクラスによって異なります。あらかじめリサイズしておくと、座標の処理を単純にできる場合もあります。Claudeの画像処理。
• Google： Gemini 4とGemini 3のメディア解像度の表では、画像のトークン数はlowで約280、highで1,120と記載されています。ガイドは、ほとんどの画像タスクでhighを推奨しており、入力項目ごとに設定することもできます。これらの画像向けの数値を、すべてのPDFページに共通するルールとして扱ってはいけません。Geminiのメディア解像度。

アプリでは、同じ画像を対象となる設定で比較し、APIが報告する実際の使用量を記録します。観測した誤りを解消できる場合に、詳細度を上げます。必要な根拠が小さな領域に収まっているなら、その項目や物体を特定するための文脈を残したうえで、対象部分の切り出しを検討します。合計の使用量には、すべての切り出し画像と再試行を含めてください。

自前運用でも、ベンダーからトークン単位で請求されないだけで、画像のトークンはモデルのコンテキストと計算資源を消費します。本番で使うプロセッサと現実的なバッチサイズで、メモリ使用量と応答時間を測定します。ホスト型サービスの画像トークン計算式を、そのまま別のモデルの処理容量の見積もりに流用しないでください。

VLMの選び方：許容できる失敗から判断する

タスクの受け入れテストを通過する構成のうち、導入・運用の負担が最も小さいものを選びます。 スクリーンショットを扱うアシスタントの有用性を確かめたい創業者なら、まずは最先端のモデルを提供するAPIから始めます。モデルのサーバー運用を引き受ける前に、機能が役立つかを検証できるためです。ローカル処理が必須の開発者なら、初めから利用を許可されたハードウェア上でオープンウェイトを評価します。

似た写真を継続的に処理する運用担当者なら、実測した稼働率と人員体制を踏まえて採算が合う場合に、自前運用が候補になります。未使用の処理容量、需要のピーク、保守も含めて考えます。エージェントの開発を発注する場合は、モデル名を指定するだけでなく、受け入れテストと人がレビューする手順を要件に入れてください。

整った元データだけですでに答えが得られるなら、現在のワークフローを維持します。誤ったクリックや捏造された項目を確実に検出できない場合は、自律的な操作の導入を待ちましょう。最初の導入では、操作を完了させるところまで任せず、人が確認するための下書きを用意するだけでも役に立ちます。

視覚言語モデルのランキングだけでは機能の採用を決められない

ベンチマークは候補を絞るために使い、その後、実際の利用状況を反映した手元の画像でテストします。ランキングに使われる科学図表、自然な写真、画像に関する質問の構成は、圧縮されたモバイル画面のスクリーンショットの性能を判断する材料として、あまり役立たないかもしれません。プロンプト、画像設定、利用可能なツールの違いも、比較を難しくします。

判断を決めるのは、自分たちの処理対象で正しく受け入れられた結果の割合と、検出をすり抜けた失敗です。グラフの数値を間違えているなら、説明が見事でも失敗として数えるべきです。

手元の画像で試すための短い評価手順

モデルを比較する前に、正解データを用意します。 以下は試験導入の提案です。統計的な認証ではなく、この記事のために各モデルをテストしたという主張でもありません。

1. 1

   対象業務を絞り、実例を集める

   対象業務から30件の例を集めます。通常のケースを10件、難しいケースを10件、根拠が欠けているか曖昧なケースを10件に分けます。請求書の項目抽出なら、回転したスキャン、かすれた識別子、項目そのものが存在しない例を含めます。UI操作なら、重ねて表示された要素、変更されたレイアウト、対象が画面に存在しない例を用意します。処理する権限のある画像を使ってください。

2. 2

   期待する回答と却下する条件を定める

   テキストなら、正確な文字列を記録します。グラフなら、値、単位、系列を記録します。座標なら、操作対象として許容する領域を示します。説明文なら、必ず含める観察内容と、根拠がなく記載してはいけない主張を列挙します。「不明」や「要確認」が正解になる条件も明示してください。

3. 3

   モデルだけでなく構成全体を比較する

   APIの候補と、必要に応じてオープンウェイトの候補に、同じタスク指示と元画像を渡します。モデルIDまたはリビジョン、実行環境、プロンプト、切り出し範囲、画像の縦横の画素数、解像度設定を記録します。用途に応じて、OCR、構造化された元データ、専用の画像認識を比較基準に含めます。

4. 4

   正答と、見逃した誤りを分けて評価する

   項目単位の正確さ、全項目が正しいレコード、適切に回答を控えたケース、システムが受け入れてしまった誤答を追跡します。再試行を含めた応答時間と総使用量も記録します。エージェントでは、自身による実行内容の説明ではなく、操作後のアプリの状態を評価します。失敗したケースは3回再実行して挙動の不安定さを確認し、この再実行の結果は初回のスコアと分けて管理します。

5. 5

   失敗の原因を直し、調整に使わない評価用データを残す

   小さな文字で失敗するなら、切り出し方や解像度を改善します。値を捏造するなら、欠損値を明示できるようにして検証を強化します。調整に使わない例を一部残し、修正のために見たケース以外でも改善が通用するかを確認します。未解決のケースはレビューに回す形で、範囲を絞って試験導入します。

抽出用のプロンプトでは、対象項目の名前、画面や文書に見える根拠のテキスト、出典ページ、明示的な欠損値を求めると役立ちます。ただし、これは出発点となる指示であり、正しさの保証ではありません。提示された根拠が項目の値を裏付けていない回答は、引き続き検証処理で却下する必要があります。

VLMへの期待で、過大評価されていることは何か

「画像が見える」だけでは、製品の要件として曖昧すぎます。 場面の認識、正確な文字起こし、空間的な位置の特定、操作の実行は、それぞれ別の仕事です。ある仕事で成功しても、ほかの仕事に使えると判断する根拠にはなりません。

「解像度を上げれば画像認識は解決する」という考えも、大ざっぱすぎます。入力の改善は小さなラベルの読み取りには役立つかもしれませんが、正確な個数のカウントや、矛盾する文書の版の照合まで保証するものではありません。「オープンウェイトならインフラは無料」という見方は、サーバー運用と保守を見落としています。「コンテキストウィンドウが大きければ全ページを確実に読める」という考えは、容量と検証済みの結果を混同しています。

週明けに取り組むなら、いま最も手作業での入力し直しや目視確認が発生している画像タスクを選び、正解データを作り、書き込みを無効にした状態で試験導入を実施します。どの出力を自動で受け入れられるかは、失敗の内容を確認してから決めてください。

よくある質問

ChatGPTは視覚言語モデルですか？

ChatGPTはアプリケーションであり、単一のモデルIDではありません。画像を使ったやり取りの裏側で、視覚に対応するモデルが視覚と言語を結び付ける処理を担います。自分でアプリを開発する場合は、ChatGPTとの会話をAPIのベンチマークとみなさず、仕様が公開されたAPIモデルとその設定を評価してください。

VLMはOCRより優れていますか？

レイアウトや関係性の解釈が必要なら、VLMが候補になります。文字起こしでは、OCRも比較基準として有用です。実際に使う文書で、項目をどれだけ正確に読み取れるか、根拠が欠けている場合にどう対応するかを比較してください。どちらの方式かという名前だけで、結果の優劣は保証されません。

Geminiは視覚言語モデルですか？

Gemini 4 ArgonとGemini 3.8 Flashのモデルページには、画像入力とテキスト出力への対応が記載されており、視覚言語タスクを扱えます。Geminiは、より広いモデルファミリーの名称です。使うモデルが対応するモダリティを個別に確認してください。

視覚言語モデルにはどのようなものがありますか？

この記事で取り上げた現時点の例には、OpenAI GPT-6 Astra、Anthropic Claudeの現行モデル、Google Gemini 4 ArgonとGemini 3.8 Flash、Alibaba Qwen3.8-27BとQwen3-VL-8B-Instruct、Google Gemma 4があります。

ChatGPTは言語モデルだけで動いているのですか？

製品とモデルは、異なる層の話です。画像を入力するには視覚機能を持つモデルが必要で、操作を実行するには接続されたツールとアプリ側のロジックが必要です。組み込む際は、それぞれの機能を分けて確認してください。

画像認識に最も優れたAIモデルはどれですか？

この記事では、処理対象に関係なく最適といえるモデルは示していません。自分たちの画像に求められる精度、応答時間、データの取り扱い要件を満たすモデルと構成を選びます。自信ありげな誤答を検出するための確認も含めてください。

ChatGPTより優れたAIモデルはありますか？

製品への組み込みを考えるなら、比較するAPIモデルとタスクを特定する必要があります。モデルとアプリのブランド名を比べるのではなく、同じ入力に対する抽出の正確さ、受け入れられた回答、検証済みのエージェントの実行結果を比較してください。

最も安く使える視覚モデルはどれですか？

実用的な指標は、受け入れ可能な結果を得るための総費用です。画像の解像度、出力、再試行、レビューを含めて考えます。自前運用では、ハードウェアの稼働率と運用費も加えます。入力トークンの単価が安いだけでは、実際に使える構成のうちどれが最安かは判断できません。

LLMの視覚モデルとは何ですか？

一般には、視覚情報を入力できるように拡張された言語モデルを指します。画像は、モデルがプロンプトと組み合わせて扱える形式で表現されます。その結果、見えている内容について文章で回答できます。

AIを活用した開発の実践ガイドは、ニュースレターに登録してお受け取りください。