Computer Useとは？AIがPCを操作する仕組みと事例
「この作業、毎回手作業でやらないといけないの？」と感じたことはあるでしょうか。
- 複数のSaaSを行き来しながらデータを入力する
- Webフォームに毎月同じ内容を打ち込む
- 競合サイトを手動で確認してスプレッドシートにまとめる
AIに指示を出せれば楽になる。でも「APIがない」「コードが書けない」で詰まっている。そういう場面でComputer Useが役に立ちます。
Computer Useとは、AIが画面を「見て」マウスクリック・キーボード入力・スクロールといったPC操作を人間のように行う技術です。
2024年10月にAnthropicのClaudeが初めて一般公開。1年でOSWorldベンチマークスコアは12%から78%へ約6倍に向上し、OpenAI・Googleも同様機能をリリースして競合領域になっています。
この記事では、AIツールを業務効率化に活用する立場から、Computer Useの仕組み・各社の比較・海外導入事例・できることと限界を解説します。
具体的には
- Computer Useの仕組みと従来RPAとの違い
- Claude・OpenAI・Googleの最新実装状況
- TELUS・Klarna・JPMorganなど海外大企業の導入事例
- 日本での活用シーンと今後の課題
の順番でご紹介します。
Computer Useとは？
画面を「見て・考えて・操作する」3ステップのループで動きます。従来のRPAが座標ベースなのに対し、LLMが意図を解釈するため環境変化に強いのが特徴です。
Computer Useとは、AIが画面のスクリーンショットを解析し、マウス・キーボードを制御してPC上のあらゆる操作を実行できる技術です。
従来のRPAは決まった座標を固定で操作します。Computer Useは画面を見て状況を判断してから操作します。
仕組みの概要
Computer Useの動作は、大きく3つのステップで成り立ちます。
1. 画面を見る（Perception）
AIが画面のスクリーンショットを取得します。何が表示されているか、どこにボタンがあるか、テキストフィールドはどこかを視覚的に解析します。
2. 判断する（Reasoning）
「ゴールを達成するために次に何をすべきか」をLLMが考えます。「検索ボックスにキーワードを入れる」「このフォームの次のフィールドに移動する」といった判断を行います。
3. 操作する（Action）
マウスクリック、キーボード入力、スクロール、ドラッグなど実際の操作を実行します。その結果の画面を再び取得して、次の判断に使います。
このループを繰り返すことで、複数ステップにわたる複雑な作業を自動で完了します。
従来のRPA・マクロとの違い
| 比較項目 | Computer Use | 従来のRPA | マクロ |
|---|---|---|---|
| 操作の基準 | 画面を「見て」判断 | 決まった座標 | 記録した操作 |
| 環境変化への対応 | 高い（画面を再解釈） | 低い（座標が変わると壊れる） | 低い |
| 必要なスキル | 指示を書くだけ | 設定・プログラミング | 録画操作 |
| 対応できる作業 | GUI操作全般 | 定型業務 | 単純繰り返し |
| コード不要 | ◎ | △ | ◎ |
主要AIのComputer Use比較
2026年6月時点で、AnthropicのClaude・OpenAI・Googleの3社が競合しており、OSWorldベンチマークは78%前後で拮抗しています。
AnthropicのClaude（Computer Use）
Anthropicは2024年10月、Claude 3.5 Sonnetのアップデートで初めてComputer Useを一般公開しました。これが現在の「AI PC操作」競争の起点となりました。
2026年3月にはClaude CoworkとしてGUI化されました。ノーコードでPC操作を自動化できる形に進化しています。コードエディタ・ブラウザ・デスクトップアプリなど、OS全体の操作に対応します。
OSWorldベンチマーク（AI PC操作の評価指標）での達成率は73%程度です（2025年後半時点）。
OpenAIのOperator・Codex Computer Use
OpenAIのアプローチは2種類あります。ブラウザ操作に特化したOperatorと、Codex上のComputer Useです。
Codex上のComputer UseはRecord & Replayと連携し、「録画したスキルをComputer Useで実行する」形で使います。2026年6月時点のGPT-5.4はOSWorldベンチマークで上位スコアを出しています。
GoogleのGemini（Computer Use）
Googleは2026年6月24日、Gemini 3.5 FlashにComputer Use機能を公開プレビューとしてリリースしました。OSWorldベンチマークで78.4スコアを記録しており、現時点でGPT-5.4（78.7）と僅差の上位です。
Googleはブラウザ操作ツールProject Marinerも別途提供しており、Web上の操作に特化したアプローチも持っています。
ベンチマーク推移
OSWorldはAIのPC操作能力を評価する標準的なベンチマークです。その推移を見ると、技術の進化速度がわかります。
- 2025年初頭：トップスコア約12%
- 2026年6月：トップスコア約78%
1年間で12%から78%へ、約6倍のスコア向上です。Stanfordの2026年AIインデックスレポートはこの急速な進化を記録しています。
ただし、スコアはモデル提供会社の自己申告であり、2026年6月時点で第三者機関による独立検証は行われていません。
海外の企業導入事例
TELUS（$90M削減）・Klarna（853人分代替）・JPMorgan（450エージェント稼働）など、大企業での本番導入が2026年に入って急増しています。
TELUS（カナダ）｜通信・ヘルスケア企業
カナダの大手通信・ヘルスケア企業TELUSはClaudeを核とした社内AIプラットフォーム「Fuel iX」を構築しました。
- 規模： 57,000人の社員が利用
- 成果： 500,000時間以上の作業時間を削減、$90M（約130億円）以上の経済効果
- 内容： ワークフロー自動化、ドキュメント処理、カスタマーサポートなど47本の大規模GenAIアプリを展開
TELUSはAnthropicとの公式ケーススタディで「1回のAIインタラクションあたり40分の時間削減」を報告しています。
Klarna（スウェーデン）｜フィンテック企業
スウェーデンのBNPL（後払い）大手KlarnaはAIエージェントをカスタマーサポートに導入しました。
- 成果： 1つのAIエージェントが853人分の業務を代替
- 対応言語： 35言語対応
- 内容： カスタマーサービスの問い合わせ対応を自動化
この事例はAIによる業務代替の象徴として、海外テックメディアで広く引用されています。
Newfront（米国）｜保険ブローカー
米国の保険ブローカーNewfrontはClaudeを社内業務に組み込みました。
- 用途： HRサポートのBot化、保険契約書の自動レビュー、社内ナレッジ管理
- 成果： 保険契約書の処理速度が大幅に改善
特に「HR Bot」は社員の問い合わせにClaudeが自動回答する仕組みで、HR担当者の業務負荷を軽減しています。
Foxconn × BCG（台湾・米国）｜製造業
台湾の電子機器製造大手FoxconnはBCGと協力し、AIエージェントのエコシステムを構築しました。
- 規模： 意思決定プロセスの80%を自動化
- 経済効果： 約$8億相当の価値を解放（BCG推計）
- 内容： 製造ライン管理、品質検査、サプライチェーン最適化
Siemens × EthonAI（ドイツ・スイス）｜製造業
ドイツのSiemensとスイスのAIスタートアップEthonAIが工場の視覚検査を自動化しました。
- 成果： 1拠点あたり€30,000〜€100,000（約450万〜1,500万円）のコスト削減
- 内容： 製造ラインの不良品検知をAI視覚検査で自動化
Computer Useとは直接異なりますが、「AIが映像を見て判断する」という技術基盤は共通です。
JPMorgan（米国）｜金融
米国の大手金融機関JPMorganは2025〜2026年に450以上のAIエージェントを本番環境で稼働させています。
- 用途： 財務分析、コンプライアンスチェック、カスタマーコミュニケーション
- 規模： 日次で450以上のエージェントが稼働
この事例の注目点は「450以上のエージェントが同時稼働」という規模感です。金融業界での本番導入が進んでいることを示しています。
Computer Useでできること
ブラウザ操作・フォーム入力・複数アプリをまたぐ連携が得意です。「APIがない」「コードが書けない」を理由に諦めていた自動化の多くが対象になります。
ブラウザ操作・情報収集
Webサイトを閲覧してデータを収集し、スプレッドシートにまとめる作業が得意です。
たとえば「競合3社のプレスリリースを調べて比較表にまとめて」と指示します。AIがブラウザを起動して各社サイトにアクセスし、情報を読み取ってスプレッドシートに入力します。手作業なら30分〜1時間かかる調査が、待つだけで完了します。
Webフォームへの入力・申請
自治体への届出・業界団体への報告書提出・SaaS管理画面の設定変更など、定型フォーム入力が得意です。入力内容の変動部分（日付・金額・担当者名など）だけを指定すれば、残りの手順はAIが実行します。
UIテスト・QA
開発したWebアプリを実際に動かして動作確認する「E2Eテスト」をComputer Useで自動化できます。画面を見て操作するため、実際のユーザーと同じ方法でテストができます。
複数サービスをまたぐ連携
複数のサービスをまたぐ複合作業も対応できます。例えば以下のような手順も自動化できます。
- 講座動画のリンクを見つけてクリック
- 動画URLを取得してローカルにダウンロード
- YouTube Studioにアップロードしてタイトル・設定を入力して保存
ドキュメント・レポートの自動生成
ドキュメント自動生成や、画面キャプチャからのマニュアル作成にも使えます。
Computer Useの現在の限界
ベンチマーク78%でも実務では失敗が起きます。カスタムUI・エッジケース・動作の速いUIへの対応と、プライバシーリスクが現時点の主な課題です。
ベンチマークと現実のギャップ
OSWorldで70%以上のスコアを出しているAIが、実際の業務では期待通りに動かない。この現象が2026年現在でも報告されています。
理由はいくつかあります。
カスタムSaaS・独自UIへの対応
ベンチマークは一般的なアプリで測定されます。企業独自の社内システムや、カスタマイズされたUIでは、学習データが少ないため精度が落ちます。
エッジケース
手順は決まっているが、例外的な状況（エラー画面・ポップアップ・タイムアウト）が発生したときの対処が苦手です。
動作の速いUI
マウスオーバーで表示されるメニュー、アニメーション中の要素のクリックなど、タイミングが重要なUI操作は失敗率が上がります。
スコアの信頼性問題
2026年6月時点で、OSWorldのスコアはモデル提供会社の自己申告です。第三者機関による独立検証はありません。「ベンチマークと実際のパフォーマンスが乖離している」という指摘が研究者・エンジニアから出ています。
プライバシー・セキュリティの懸念
Computer Useを使うとき、AIは画面全体を見ます。機密情報、個人情報、パスワードが画面に表示されている場合、それもAIの入力情報になります。
業務で導入する際は、扱うデータの性質を確認したうえで判断する必要があります。
コスト
API経由ではスクリーンショットを繰り返し送るため、コストが高くなります。長時間・複雑な作業では事前に試算が必要です。
日本での普及状況と活用シーン
日本市場での現状（2026年）
Computer Useは海外での企業導入が先行していますが、日本でも2026年に入ってから認知が広がっています。
Claude Coworkの日本語対応が整ったこと、国内メディアへの露出が増えたことが背景にあります。特に注目されているのは以下の3つのシーンです。
1. Web制作・マーケティング業務
競合調査、SEO分析、SNSモニタリングといった定期的なリサーチ作業。複数サイトを回ってデータを収集する作業は手間がかかりますが、Computer Useが代行できます。
2. バックオフィス業務
経費処理、勤怠管理システムへの入力、社内申請フォームの提出。日本の職場に多い「決まっているのに手間がかかる」作業がターゲットです。
3. 開発・テスト業務
Webアプリのエンドツーエンドテスト、UIのスクリーンショット取得、ドキュメント自動生成。エンジニア・開発者の間での活用が先行しています。
日本での普及を阻む課題
日本での普及においては、独自の課題もあります。
日本語UIへの対応精度
Computer Useは英語UIでの学習データが多く、日本語UIでは精度が落ちるケースが報告されています。特に縦書き・独自フォントを使った画面では認識精度が下がります。
セキュリティポリシーの壁
日本企業はセキュリティポリシーが厳しい傾向があり、AIに画面を見せることへの抵抗感が強い場合があります。「どのデータがAI側に送られるか」の説明責任が普及の鍵になります。
既存システムの複雑さ
レガシーシステムや独自開発の社内システムが多い日本企業では、AIが画面を解釈する難易度が上がります。
Computer Useの今後
2026年の動向
2026年は「Computer Useが実験フェーズから実用フェーズへ移行する年」と位置付けられています。
- ベンチマークスコアが1年で6倍に向上した
- TELUSやJPMorganのような大企業での本番導入事例が出てきた
- Claude Coworkのように、ノーコードで使えるUIが整備されてきた
「ベンチマークと実務のギャップを埋めることが2026年の課題」というのが業界の共通認識です。
マルチエージェントとの組み合わせ
「指示するAI」と「操作するAI」を分けるマルチエージェント設計が注目されています。
Record & Replayがその一例です。Codexが「何をするか（スキル）」を定義して、Computer Useが「実際に操作する（実行）」という分担です。この構造は複雑な業務ほど効果を発揮します。
実際の業務改善フロー：Computer Useの使い方
Claude Coworkで使う場合
2026年3月にリリースされたClaude Coworkは、Computer Useをノーコードで使えるようにしたAnthropicのインターフェースです。
Claude CoworkのDispatch機能でスマートフォン・PCからタスクを依頼し、バックグラウンドで実行できます。
基本的な使い方の流れは以下です。
1. タスクを指示する
「競合3社の最新プレスリリースを調べて、比較表としてドキュメントに保存して」のように自然言語で指示します。
2. Claudeが実行する
Claudeがブラウザを起動し、各社サイトにアクセスして情報を収集し、ドキュメントアプリに入力するまでを自動で行います。この間、ユーザーは別の作業ができます。
3. 結果を確認する
完了通知を受け取り、成果物を確認します。意図と違う部分があれば追加指示を出します。
よくある業務での具体フロー
情報収集・レポート作成
毎週月曜日に業界ニュースをまとめて報告書を作る作業を例に挙げます。
従来：各サイトを手動で確認 → メモ → Word/Notionに整理 → 送付（30〜60分）
Computer Use活用後：「AI業界の主要ニュースを5つ選んで、要約つきでNotionにまとめて」と指示→ 待つだけ（5〜10分）
この差が毎週積み重なると、月に2〜4時間の削減につながります。
Webフォームへの定型入力
行政機関・業界団体・クライアントのポータルに毎月同じ内容を入力する作業があります。
入力内容（日付・金額・担当者名など）を指定して「このフォームに入力して」と指示するだけです。AIがフォームを特定してフィールドに入力し、送信まで行います。
ウェブスクレイピング・データ収集
従来はPythonスクリプトが必要だった「Webサイトの情報を定期収集してスプレッドシートへ記録」する作業も対象です。「このサイトの商品名と価格を毎日スプレッドシートに記録して」という指示で実現できます。
ただし、サイトの利用規約でスクレイピングが禁止されている場合は使えません。使用前に必ず確認が必要です。
OpenAI Operatorとの使い分け
OpenAIのOperatorはブラウザ操作に特化したComputer Useエージェントです。Claude（Cowork）と比較すると以下の違いがあります。
| 比較項目 | Claude Cowork | OpenAI Operator |
|---|---|---|
| 対応範囲 | ブラウザ＋デスクトップアプリ全般 | ブラウザ操作が中心 |
| 連携機能 | Record & Replayとの連携 | GPT-5との統合 |
| 使いやすさ | ノーコードUIが整備 | ChatGPTから呼び出せる |
| 対応OS | Mac/Windows | ブラウザベース |
どちらが優れているというより、用途に合わせて選ぶのが現実的です。ブラウザ中心の作業はOperator、デスクトップアプリを含む操作が必要ならClaude Coworkが向いています。
Computer Useのメリット・デメリット
メリット
1. APIのないシステムでも自動化できる
APIのない社内システム・レガシーシステム・Webフォームへの入力など、従来は難しかった操作も対応できます。「画面を見て操作する」ため、インターフェースさえあれば動作します。
2. 人間と同じ方法で作業できる
マウスとキーボードを使う操作であれば、基本的に何でも自動化の候補になります。アプリを選びません。
3. 非エンジニアでも指示できる
コードを書く必要がありません。「この作業をして」という自然言語での指示で動きます。
デメリット・注意点
1. 精度が完全ではない
現時点ではベンチマークで78%程度。4回に1回は失敗する計算です。重要な業務への適用は、十分なテストと人間のレビューが必要です。
2. 画面をAIが見るためプライバシーリスクがある
機密情報・個人情報を扱う業務では、セキュリティポリシーを確認したうえで使うことが必要です。
3. 実行が遅い
スクリーンショットを取って判断して操作するサイクルを繰り返すため、人間が操作するより時間がかかります。スピードが求められる業務には向いていません。
よくある質問（FAQ）
Q. Computer Useはどのアプリでも使えますか？
A. 原則としてGUIがある（画面に表示される）アプリであれば対応できます。ただし、複雑なカスタムUIや動作が速いUIでは精度が落ちる場合があります。
Q. Computer UseはAPIを使わない操作も自動化できますか？
A. できます。これがComputer Useの最大のメリットです。APIのないシステムやWebフォームでも、画面を通じて操作できます。
Q. ClaudeとOpenAIのComputer Use、どちらを選ぶべきですか？
A. 2026年6月時点では、Claude CoworkはノーコードUI、OpenAIはCodexとRecord & Replayとの連携が強みです。用途と使いやすさで選ぶのが現実的です。
Q. Computer Useはどのくらいのコストがかかりますか？
A. Claude Coworkの場合、個人向けのProプラン（$20/月）から利用できます。API経由で大規模に使う場合はトークン消費量が多いため、別途コスト試算が必要です。
Q. 業務で使う前に確認すべきことはありますか？
A. 最低限、以下の3点を確認してください。
- セキュリティポリシー（扱うデータの機密性）
- テストによる精度確認
- 失敗時のフォロー体制の整備
まとめ
Computer Useは「APIがなくても自動化できる」技術として、2026年に実用フェーズへ移行しています。
- AIが画面を「見て・考えて・操作する」ループでPC上の作業を自動化する
- Anthropic Claude・OpenAI・Googleが競合し、OSWorldスコアは1年で12%→78%に向上
- TELUSの50万時間削減・Klarna853人分代替など海外大企業の本番導入事例が続く
- APIのないシステムや複数アプリをまたぐ作業に強く、非エンジニアでも指示できる
- 精度100%ではないため、重要業務は十分なテストと人間レビューが必要
「繰り返し業務の一部を引き受ける仕組み」として使い始めるのが、現時点での賢い活用法です。まず小さな定型作業で精度を体験してみてください。
▼ AnthropicのComputer Use（Claude Cowork）を確認する
https://claude.ai/
関連記事
