Computer Useとは？AIがPCを操作する仕組みと事例

「この作業、毎回手作業でやらないといけないの？」と感じたことはあるでしょうか。

• 複数のサービスを行き来しながら同じデータを入力する
• Webフォームに毎月同じ内容を打ち込む
• 競合サイトを手動で確認してスプレッドシートにまとめる

AIに任せられたら楽になる。でも「APIがない」「コードが書けない」で止まってしまう。そういう場面で使えるのがComputer Useです。

Computer Useとは、AIが画面を「見て」マウスクリック・キーボード入力・スクロールといったPC操作を人間のように行う技術です。

まず、この記事全体の要点を先にまとめます。

2024年10月にAnthropicのClaudeが初めて一般公開しました。1年でOSWorldというテストのスコアは12%から78%へ約6倍に向上し、OpenAI・Googleも同じ機能をリリースして各社が競う領域になっています。

この記事では、AIツールを業務効率化に活用する立場から、Computer Useの仕組み・できること・実際の使い方・限界までを解説します。

具体的には

• Computer Useの仕組みと、従来の自動化ツールとの違い
• できること・できないことの線引き
• 週次レポート作成を例にした具体的な使い方
• Claude・OpenAI・Googleの比較と海外大企業の導入事例

の順番でご紹介します。

Computer Useとは？

画面を「見て・考えて・操作する」3ステップのくり返しで動きます。従来の自動化ツールが「決まった座標を押す」のに対し、Computer Useは毎回そのとき見えている画面を解釈するため、多少の変化に強いのが特徴です。

Computer Useとは、AIが画面のスクリーンショットを解析し、マウス・キーボードを制御してPC上のあらゆる操作を実行できる技術です。

画面を「見て・考えて・操作する」3ステップ

Computer Useの動作は、大きく3つのステップで成り立ちます。

1. 画面を見る（Perception）
AIが画面のスクリーンショットを取得します。何が表示されているか、どこにボタンがあるか、テキストフィールドはどこかを視覚的に解析します。

2. 判断する（Reasoning）
「ゴールを達成するために次に何をすべきか」をLLM（大規模言語モデル。ChatGPTやClaudeの頭脳にあたる部分）が考えます。「検索ボックスにキーワードを入れる」「このフォームの次のフィールドに移動する」といった判断を行います。

3. 操作する（Action）
マウスクリック、キーボード入力、スクロール、ドラッグなど実際の操作を実行します。その結果の画面を再び取得して、次の判断に使います。

このループを繰り返すことで、複数ステップにわたる複雑な作業を自動で完了します。

従来のRPA・マクロとの違い

RPA（Robotic Process Automation）は、あらかじめ決めた手順どおりにPC操作を再生する自動化ソフトのことです。マクロは、自分の操作を録画して同じ動きを繰り返させる仕組みを指します。

どちらも「決まったことを、決まったとおりに」実行します。Computer Useは、そのつど画面を見て判断してから操作する点が違います。

比較項目	Computer Use	従来のRPA	マクロ
操作の基準	画面を「見て」判断	決まった座標	記録した操作
環境変化への対応	高い（画面を再解釈）	低い（座標が変わると壊れる）	低い
必要なスキル	指示を書くだけ	設定・プログラミング	録画操作
対応できる作業	画面上の操作全般	定型業務	単純繰り返し
コード不要	◎	△	◎

この表の要点は1つです。RPAやマクロは「手順」を登録するのに対し、Computer Useは「目的」を伝えるだけで済みます。

Computer Useでできること

ブラウザ操作・フォーム入力・複数アプリをまたぐ連携が得意です。逆に、速さが求められる作業や、間違いが許されない最終処理は人がやったほうが確実です。

得意な作業を、もう少し具体的に見ていきます。

ブラウザ操作・情報収集

Webサイトを閲覧してデータを収集し、スプレッドシートにまとめる作業が得意です。

たとえば「競合3社のプレスリリースを調べて比較表にまとめて」と指示します。AIがブラウザを起動して各社サイトにアクセスし、情報を読み取ってスプレッドシートに入力します。手作業なら30分〜1時間かかる調査が、待つだけで完了します。

Webフォームへの入力・申請

自治体への届出・業界団体への報告書提出・管理画面の設定変更など、定型フォーム入力が得意です。入力内容の変動部分（日付・金額・担当者名など）だけを指定すれば、残りの手順はAIが実行します。

複数サービスをまたぐ連携

サービスをまたぐ複合作業も対応できます。例えば以下のような手順も自動化できます。

1. 講座動画のリンクを見つけてクリック
2. 動画URLを取得してローカルにダウンロード
3. YouTube Studioにアップロードしてタイトル・設定を入力して保存

これまでは、こうした作業をつなぐにはAPI（アプリ同士を機械的につなぐための接続口）が必要でした。APIが用意されていないサービスは、そもそも自動化の対象外だったわけです。Computer Useは画面を経由するため、APIの有無を問いません。

画面の動作チェック（UIテスト・QA）

開発したWebアプリを実際に動かして動作確認する「E2Eテスト」をComputer Useで自動化できます。E2Eテストとは、実際の画面を人と同じ手順で操作して、最初から最後まで通しで動くかを確かめるテストのことです。

画面を見て操作するため、実際のユーザーと同じ方法でテストができます。

ドキュメント・レポートの自動生成

集めた情報を資料の形にまとめる作業や、画面キャプチャからの手順マニュアル作成にも使えます。

Computer Useならではの強み

ここまでの内容を、従来の自動化と比べたときの強みとして整理すると3点になります。

1. APIのないシステムでも自動化できる
社内システム・古いシステム・Webフォームへの入力など、従来は難しかった操作も対応できます。「画面を見て操作する」ため、画面さえあれば動作します。

2. アプリを選ばない
マウスとキーボードを使う操作であれば、基本的に何でも自動化の候補になります。ツールごとの対応可否を調べる必要がありません。

3. 非エンジニアでも指示できる
コードを書く必要がありません。「この作業をして」という普通の日本語での指示で動きます。

実際の使い方：週次レポート作成を例に

ここからは、実際にどう使うのかを見ていきます。まず、身近な業務が具体的にどう変わるかを図にしました。

Claude Coworkで使う場合

2026年3月にリリースされたClaude Coworkは、Computer Useをノーコード（コードを書かずに、指示と設定だけで使えること）で扱えるようにしたAnthropicのインターフェースです。

Claude CoworkのDispatch機能を使うと、スマートフォンやPCからタスクを投げて、裏側で実行させることができます。

基本的な使い方の流れは以下です。

1. タスクを指示する
「競合3社の最新プレスリリースを調べて、比較表としてドキュメントに保存して」のように普通の日本語で指示します。

2. Claudeが実行する
Claudeがブラウザを起動し、各社サイトにアクセスして情報を収集し、ドキュメントアプリに入力するまでを自動で行います。この間、ユーザーは別の作業ができます。

3. 結果を確認する
完了通知を受け取り、成果物を確認します。意図と違う部分があれば追加指示を出します。

よくある業務での具体フロー

情報収集・レポート作成

毎週月曜日に業界ニュースをまとめて報告書を作る作業が、前の図で示したケースです。

従来：各サイトを手動で確認 → メモ → Word/Notionに整理 → 送付（30〜60分）

Computer Use活用後：「AI業界の主要ニュースを5つ選んで、要約つきでNotionにまとめて」と指示 → 待つだけ（5〜10分）

実際に打つ指示は、次のように書くと結果が安定します。

そのまま使えるプロンプト：

（AI業界）の今週のニュースを調べて、レポートにまとめてください。

調べ先：（参照してよいサイトを3つまで挙げる）
選ぶ基準：今週公開されたもののうち、（自社のWeb制作業務）に関係するもの5件
まとめ方：
- 見出し / 3行要約 / 出典URL の順で1件ずつ
- 最後に「今週の全体傾向」を3行

出典URLが確認できなかった項目は、載せずに「確認できず」と報告してください。
保存先は（Notionの「週次まとめ」ページ）です。

出典を確認できないものを載せさせないのが要点です。指定しないと、それらしい内容が出典なしで並び、結局こちらが全部裏を取ることになります。

この差が毎週積み重なると、月に2〜4時間の削減につながります。

Webフォームへの定型入力

行政機関・業界団体・クライアントのポータルに毎月同じ内容を入力する作業があります。

入力内容（日付・金額・担当者名など）を指定して「このフォームに入力して」と指示するだけです。AIがフォームを特定してフィールドに入力し、送信まで行います。

そのまま使えるプロンプト：

（フォームのURL）を開いて、次の内容を入力してください。

- （報告月）：2026年8月
- （担当者名）：小松
- （金額）：120,000円
- （備考）：特記事項なし

送信はしないでください。
入力し終えたら、入力済みの画面を見せて、そこで止まってください。
私が確認してから送信します。

「送信はしない」「そこで止まる」の2つを必ず入れてください。1行入れておくだけで、内容を確認しないまま申請が出てしまう事故を防げます。

Webサイトからのデータ収集

従来はPythonスクリプトが必要だった「Webサイトの情報を定期収集してスプレッドシートへ記録」する作業も対象です。「このサイトの商品名と価格を毎日スプレッドシートに記録して」という指示で実現できます。

ただし、サイトの利用規約でデータの自動収集が禁止されている場合は使えません。使用前に必ず確認が必要です。

使い始める前に決めておく3つのこと

導入前に、最低限この3点を決めておくと事故を防げます。

1. 扱ってよいデータの範囲 — 顧客情報・パスワードなど、画面に映してはいけないものを先に決める
2. どこまで自動で進めさせるか — 送信・決済・削除の直前で止めるのか、最後までやらせるのか
3. 失敗したときの気づき方 — 結果を誰がいつ確認するかを決めておく

この3点は、毎回の指示の先頭に付けておくと守られます。

そのまま使えるプロンプト（安全のための前置き）：

これから作業をお願いしますが、先に守ってほしい条件です。

- 送信・購入・削除・保存の操作は、実行する前に必ず私に確認する
- （パスワード管理画面 / 経理システム）は開かない
- 途中でうまくいかない場合は、別の方法を試さずに止めて報告する

以上を守れる場合だけ、次の作業を進めてください。
（ここに作業内容）

「別の方法を試さずに止める」が効きます。指定しないと、行き詰まったときに想定外の操作で回り込もうとして、意図しない画面まで進んでしまうことがあります。

Computer Useの限界と注意点

ここまで得意なことを中心に書いてきましたが、現時点では万能ではありません。導入判断に直結する4点を挙げます。

4回に1回は失敗する

現時点の最高スコアはOSWorldというテストで78%程度です。OSWorldは、AIがPCをどれだけ正しく操作できるかを測る国際的なテストで、満点が100%です。

78%ということは、単純計算で4回に1回は失敗するということになります。重要な業務にそのまま任せられる精度ではありません。

しかも、テストで70%以上を出しているAIが実際の業務では期待通りに動かない、という報告が続いています。理由はいくつかあります。

独自のシステム・カスタマイズされた画面
テストは一般的なアプリで測定されます。企業独自の社内システムや、大きくカスタマイズされた画面では、学習データが少ないため精度が落ちます。

例外的な状況
手順は決まっているが、エラー画面・ポップアップ・タイムアウトといった想定外の状況が発生したときの対処が苦手です。

動きの速い画面
マウスを乗せると出てくるメニュー、アニメーション中の要素のクリックなど、タイミングが重要な操作は失敗率が上がります。

スコアそのものの信頼性
2026年6月時点で、OSWorldのスコアはモデル提供会社の自己申告です。第三者機関による独立検証はありません。「テストの点数と実際の性能が乖離している」という指摘が研究者・エンジニアから出ています。

画面全体がAIに渡る

Computer Useを使うとき、AIは画面全体を見ます。機密情報、個人情報、パスワードが画面に表示されていれば、それもAIに渡る情報になります。

業務で導入する際は、扱うデータの性質を確認したうえで判断する必要があります。作業前に不要なウィンドウを閉じる、専用のユーザーアカウントで動かすといった運用でリスクを下げられます。

人が操作するより遅い

スクリーンショットを取って判断して操作するサイクルを繰り返すため、人間が操作するより時間がかかります。「3分で終わる作業」を任せても速くはなりません。

向いているのは、時間がかかるうえに待っていられる作業です。

コストがかさむ場合がある

API経由ではスクリーンショットを繰り返し送るため、その分のコストがかかります。長時間・複雑な作業では事前に試算が必要です。個人利用であれば、後述の月額プランの範囲で試すのが現実的です。

主要AIのComputer Use比較

ここからは、どのAIを選べばいいかの話です。2026年6月時点で、AnthropicのClaude・OpenAI・Googleの3社が競合しており、OSWorldのスコアは78%前後で拮抗しています。

AnthropicのClaude（Computer Use）

Anthropicは2024年10月、Claude 3.5 Sonnetのアップデートで初めてComputer Useを一般公開しました。これが現在の「AI PC操作」競争の起点となりました。

2026年3月にはClaude CoworkとしてGUI化されました。コードを書かずにPC操作を自動化できる形に進化しています。コードエディタ・ブラウザ・デスクトップアプリなど、OS全体の操作に対応します。

OSWorldでの達成率は73%程度です（2025年後半時点）。

OpenAIのOperator・Codex Computer Use

OpenAIのアプローチは2種類あります。ブラウザ操作に特化したOperatorと、Codex上のComputer Useです。

Codex上のComputer UseはRecord & Replayと連携します。Record & Replayとは、人が1回だけ操作を録画しておき、次回以降はAIにその手順を再現させる機能です。「録画したスキルをComputer Useで実行する」形で使います。2026年6月時点のGPT-5.4はOSWorldで上位スコアを出しています。

GoogleのGemini（Computer Use）

Googleは2026年6月24日、Gemini 3.5 FlashにComputer Use機能を公開プレビューとしてリリースしました。OSWorldで78.4を記録しており、現時点でGPT-5.4（78.7）と僅差の上位です。

Googleはブラウザ操作ツールProject Marinerも別途提供しており、Web上の操作に特化したアプローチも持っています。

ベンチマーク推移

OSWorldの推移を見ると、技術の進化速度がわかります。

• 2025年初頭：トップスコア約12%
• 2026年6月：トップスコア約78%

1年間で12%から78%へ、約6倍のスコア向上です。Stanfordの2026年AIインデックスレポートはこの急速な進化を記録しています。

ただし前述のとおり、スコアはモデル提供会社の自己申告であり、2026年6月時点で第三者機関による独立検証は行われていません。

Claude CoworkとOpenAI Operatorの使い分け

比較項目	Claude Cowork	OpenAI Operator
対応範囲	ブラウザ＋デスクトップアプリ全般	ブラウザ操作が中心
連携機能	Record & Replayとの連携	GPT-5との統合
使いやすさ	ノーコードUIが整備	ChatGPTから呼び出せる
対応OS	Mac/Windows	ブラウザベース

どちらが優れているというより、用途に合わせて選ぶのが現実的です。ブラウザ内で完結する作業ならOperator、デスクトップアプリを含む操作が必要ならClaude Coworkが向いています。

海外の企業導入事例

大企業での本番導入が2026年に入って急増しています。まず全体像を一覧にまとめます。

企業	国・業種	主な成果
TELUS	カナダ・通信/ヘルスケア	50万時間以上を削減、$90M以上の経済効果
Klarna	スウェーデン・フィンテック	1つのAIが853人分の問い合わせ対応を代替
JPMorgan	米国・金融	450以上のAIエージェントが日次で稼働
Newfront	米国・保険	保険契約書の処理速度が大幅に改善
Foxconn × BCG	台湾/米国・製造	意思決定プロセスの80%を自動化
Siemens × EthonAI	ドイツ/スイス・製造	1拠点あたり€3万〜10万のコスト削減

規模の大きい3社を、もう少し詳しく見ていきます。

TELUS（カナダ）｜通信・ヘルスケア企業

カナダの大手通信・ヘルスケア企業TELUSはClaudeを核とした社内AIプラットフォーム「Fuel iX」を構築しました。

• 規模： 57,000人の社員が利用
• 成果： 500,000時間以上の作業時間を削減、$90M（約130億円）以上の経済効果
• 内容： ワークフロー自動化、ドキュメント処理、カスタマーサポートなど47本の大規模GenAIアプリを展開

TELUSはAnthropicとの公式ケーススタディで「1回のAIとのやり取りあたり40分の時間削減」を報告しています。

Klarna（スウェーデン）｜フィンテック企業

スウェーデンの後払い決済大手KlarnaはAIエージェントをカスタマーサポートに導入しました。

• 成果： 1つのAIエージェントが853人分の業務を代替
• 対応言語： 35言語対応
• 内容： カスタマーサービスの問い合わせ対応を自動化

この事例はAIによる業務代替の象徴として、海外テックメディアで広く引用されています。

JPMorgan（米国）｜金融

米国の大手金融機関JPMorganは2025〜2026年に450以上のAIエージェントを本番環境で稼働させています。

• 用途： 財務分析、コンプライアンスチェック、カスタマーコミュニケーション
• 規模： 日次で450以上のエージェントが稼働

この事例の注目点は「450以上のエージェントが同時稼働」という規模感です。ミスが許されない金融業界でも本番導入が進んでいることを示しています。

その他の事例

米国の保険ブローカーNewfrontは、社員の問い合わせにClaudeが自動回答する「HR Bot」や保険契約書の自動レビューを導入し、HR担当者の業務負荷を軽減しています。

台湾のFoxconnはBCGと協力してAIエージェントのエコシステムを構築し、意思決定プロセスの80%を自動化。BCGの推計で約$8億相当の価値を解放したとされています。

ドイツのSiemensとスイスのEthonAIは工場の視覚検査を自動化し、1拠点あたり€30,000〜€100,000（約450万〜1,500万円）のコストを削減しました。これはComputer Useそのものではありませんが、「AIが映像を見て判断する」という技術基盤は共通です。

日本での普及状況と活用シーン

日本市場での現状（2026年）

Computer Useは海外での企業導入が先行していますが、日本でも2026年に入ってから認知が広がっています。

Claude Coworkの日本語対応が整ったこと、国内メディアへの露出が増えたことが背景にあります。特に注目されているのは以下の3つのシーンです。

1. Web制作・マーケティング業務
競合調査、SEO分析、SNSモニタリングといった定期的なリサーチ作業。複数サイトを回ってデータを収集する作業は手間がかかりますが、Computer Useが代行できます。

2. バックオフィス業務
経費処理、勤怠管理システムへの入力、社内申請フォームの提出。日本の職場に多い「決まっているのに手間がかかる」作業がターゲットです。

3. 開発・テスト業務
Webアプリの通し動作テスト、画面のスクリーンショット取得、ドキュメント自動生成。エンジニア・開発者の間での活用が先行しています。

日本での普及を阻む課題

日本での普及においては、独自の課題もあります。

日本語画面への対応精度
Computer Useは英語画面での学習データが多く、日本語画面では精度が落ちるケースが報告されています。特に縦書き・独自フォントを使った画面では認識精度が下がります。

セキュリティポリシーの壁
日本企業はセキュリティポリシーが厳しい傾向があり、AIに画面を見せることへの抵抗感が強い場合があります。「どのデータがAI側に送られるか」の説明責任が普及の鍵になります。

既存システムの複雑さ
古いシステムや独自開発の社内システムが多い日本企業では、AIが画面を解釈する難易度が上がります。

Computer Useの今後

2026年の動向

2026年は「Computer Useが実験フェーズから実用フェーズへ移行する年」と位置付けられています。

• ベンチマークスコアが1年で6倍に向上した
• TELUSやJPMorganのような大企業での本番導入事例が出てきた
• Claude Coworkのように、コードを書かずに使える形が整備されてきた

「テストの点数と実務のギャップを埋めることが2026年の課題」というのが業界の共通認識です。

マルチエージェントとの組み合わせ

「指示するAI」と「操作するAI」を分けるマルチエージェント設計が注目されています。役割の違う複数のAIに分担させる考え方です。

Record & Replayがその一例です。Codexが「何をするか（手順）」を定義して、Computer Useが「実際に操作する（実行）」という分担です。この構造は複雑な業務ほど効果を発揮します。

2026年9月：Fable 5.1で操作の安定性が上がった

2026年9月1日に公開されたClaude Fable 5.1では、改善された6つの領域のひとつにコンピュータ操作が挙げられています。ブラウザやデスクトップアプリの操作そのものに加え、失敗した手順からの復帰が安定したとされています。

Computer Useは途中で1ステップ失敗すると全体が止まりやすい仕組みなので、復帰の安定は実用性に直結します。ただしFable 5.1は入力$10・出力$50とOpus 5の2倍で、速度も遅い。短い操作では差が出にくいため、どちらを使うかは作業の長さで判断することになります。

• Fable 5.1とOpus 5は何が違う？差が出る場面と節約術

Computer Useのメリット・デメリット

判断材料として、ここまでの内容を一覧に整理します。

	内容
メリット1	APIのないシステム・社内システム・Webフォームでも自動化できる
メリット2	マウスとキーボードで操作できるものなら、アプリを選ばない
メリット3	コード不要。普通の日本語の指示で動かせる
デメリット1	精度は78%程度。単純計算で4回に1回は失敗する
デメリット2	画面全体がAIに渡るため、機密情報を扱う業務では注意が必要
デメリット3	1画面ずつ確認しながら進むため、人が操作するより遅い

「失敗しても取り返しがつく作業」から始めて、精度を自分の目で確かめる。 これが現時点でいちばん安全な使い方です。

よくある質問（FAQ）

Q. Computer Useはどのアプリでも使えますか？

A. 原則として画面に表示されるアプリであれば対応できます。ただし、複雑にカスタマイズされた画面や動きの速い画面では精度が落ちる場合があります。

Q. Computer UseはAPIを使わない操作も自動化できますか？

A. できます。これがComputer Useの最大のメリットです。APIのないシステムやWebフォームでも、画面を通じて操作できます。

Q. プログラミングの知識は必要ですか？

A. 必要ありません。Claude Coworkのようなツールを使えば、「この作業をして」と普通の日本語で指示するだけで動きます。

Q. ClaudeとOpenAIのComputer Use、どちらを選ぶべきですか？

A. 2026年6月時点では、Claude Coworkはコード不要の画面が整っている点、OpenAIはCodexとRecord & Replayとの連携が強みです。用途と使いやすさで選ぶのが現実的です。

Q. Computer Useはどのくらいのコストがかかりますか？

A. Claude Coworkの場合、個人向けのProプラン（$20/月）から利用できます。API経由で大規模に使う場合はトークン消費量が多いため、別途コスト試算が必要です。

Q. 業務で使う前に確認すべきことはありますか？

A. 最低限、以下の3点を確認してください。

• セキュリティポリシー（扱うデータの機密性）
• テストによる精度確認
• 失敗時のフォロー体制の整備

まとめ

Computer Useは「APIがなくても自動化できる」技術として、2026年に実用フェーズへ移行しています。

1. AIが画面を「見て・考えて・操作する」ループでPC上の作業を自動化する
2. APIのないシステムや複数アプリをまたぐ作業に強く、コードを書かずに指示できる
3. 精度は78%程度で、4回に1回は失敗する。最後の確認は人が行う前提で使う
4. Anthropic Claude・OpenAI・Googleが競合し、OSWorldスコアは1年で12%→78%に向上
5. TELUSの50万時間削減・Klarna853人分代替など海外大企業の本番導入事例が続く

「繰り返し業務の一部を引き受ける仕組み」として使い始めるのが、現時点での賢い活用法です。まず小さな定型作業で精度を体験してみてください。

▼ AnthropicのComputer Use（Claude Cowork）を確認する
https://claude.ai/

関連記事

• Codex Record & Replayとは？録画1回で業務を自動化する
• Claude Codeとは？非エンジニア向けの業務活用法