レポート
2026.10.20(火) 公開
Computer Useとは？AIがPCを直接操作する仕組み・RPAとの違い・活用例を解説
目次
1. はじめに
生成AIを仕事で利用する機会は急速に増えています。文章を作成する、資料を要約する、データを分析する、Web上の情報を調査するといった使い方は、すでに多くの企業や個人にとって身近なものになりました。一方で、これまでの生成AIには一つ大きな壁がありました。AIが「次に何をすればよいか」を教えてくれても、実際にWebブラウザを開いたり、ボタンをクリックしたり、フォームへ情報を入力したりするのは人間だったということです。
たとえばAIへ「競合3社の商品価格を調べて一覧にしてください」と依頼した場合、AIが検索結果をまとめるところまではできても、利用するサービスによっては人間がWebサイトを移動し、商品ページを開き、必要な情報をコピーし、別のシステムへ入力するといった作業が残ります。このAIと実際のパソコン操作の間にある部分まで担当しようとしている技術が、今回紹介するComputer Useです。Computer Useでは、AIがスクリーンショットなどから画面を認識し、マウスクリックやキーボード入力といった操作を行います。
重要なのは、Computer Useが単なる「自動クリックツール」ではないことです。画面を見て状況を確認し、次に何をすべきかをAIが判断しながら仕事を進める点に大きな特徴があります。本記事では、Computer Useとは何なのか、その仕組みやChatGPT・Claude・Geminiでの取り組み、AIエージェントやRPAとの違い、企業で実際に利用するときの活用方法や注意点まで詳しく解説します。
1. Computer Useとは？
1-1. AIが人間のようにパソコンを操作する
Computer Useとは、AIモデルがブラウザやデスクトップなどの画面を認識し、マウスやキーボードを使うようにGUI（グラフィカルユーザーインターフェース）を操作する技術です。通常、人間がパソコンを使うときは、画面を見て「ここをクリックすればよい」「この入力欄に文字を入れればよい」と判断します。Computer Useでも基本的な流れはよく似ています。
たとえばWebサイトで問い合わせフォームを入力する場合、人間ならページを開き、名前の入力欄を確認し、クリックして文字を入力します。その後、メールアドレスや問い合わせ内容を入力し、最後に送信ボタンを確認します。Computer Useでは、この「画面を見る→場所を判断する→操作する」という工程をAIが担当します。OpenAIはブラウザやデスクトップのインターフェース操作、Anthropicはスクリーンショットやマウス・キーボード操作などをComputer Useの仕組みとして提供しています。つまりComputer Useは、これまで人間が使っていた「画面そのもの」をAIにも使わせる技術と考えると分かりやすいでしょう。
1-2. なぜ今Computer Useが注目されているのか
Computer Useが注目される理由の一つは、企業で利用されているすべてのシステムにAI向けのAPIが用意されているわけではないからです。最近のWebサービスであればAPIが提供されていることもありますが、企業の現場では、何年も使われている社内システム、専用の業務ソフト、ブラウザ上でしか操作できない管理画面なども珍しくありません。こうしたシステムをAIと接続しようとすると、専用のAPI連携を開発したり、別の自動化ツールを用意したりする必要があります。
Computer Useの場合、人間が操作できる画面があれば、その画面をAIが認識して利用できる可能性があります。OpenAIが2025年に公開したComputer-Using Agent（CUA）も、画面上のボタン、メニュー、テキストフィールドなどを人間と同じGUIとして扱うことで、OSやWebサイト専用のAPIに頼らずデジタルタスクを実行することを目指していました。これまでは「AIと接続できるシステムを探す」という考え方が中心でしたが、Computer Useが実用化されれば、「人間が操作できる既存システムをAIにも使わせる」という選択肢が増えることになります。
2. Computer UseはどのようにPCを操作している？
2-1. 画面を「見る」
Computer Useの最初の工程は、現在の画面をAIへ伝えることです。代表的な方法がスクリーンショットです。たとえばブラウザ上に検索ページが表示されている場合、そのスクリーンショットをAIへ渡します。AIは画像として画面を確認し、検索欄、ボタン、メニュー、表示されている文章などを認識します。GoogleのGemini Computer Useでも、アプリケーションから現在のスクリーンショットをモデルへ送り、モデルが画面とユーザーの指示を分析する仕組みになっています。人間が「この画面なら次はここを押そう」と考えるのと同じように、AIにも現在の状態を把握させるわけです。
2-2. 次に行う操作を判断する
画面を確認したAIは、ユーザーから与えられた目的に合わせて次の操作を判断します。たとえば「Googleで福岡のゴルフショップを検索して店舗名を調べる」という仕事なら、Googleを開き、検索欄を選び、「福岡 ゴルフショップ」と入力し、検索結果を確認するという複数の工程があります。従来型の自動化では、この一連の手順を人間があらかじめ設定することが一般的でした。Computer Useでは、AIが現在の画面と最終的な目的を見ながら「次は検索欄へ文字を入力しよう」「検索結果が表示されたから店舗情報を確認しよう」と判断します。
OpenAIのComputer Useでは、モデルがマウスやキーボードの構造化された操作を返す方式に加え、現在はPyAutoGUIやPlaywrightなどを利用するコードを書かせ、複数の操作やループ、条件分岐をまとめて実行する方法も用意されています。GPT-6 Astraではコード実行方式が推奨されており、単に一回クリックするだけではなく、複数ステップの作業をまとめて考えられる方向へ進化しています。
2-3. 操作後の画面を確認して次へ進む
Computer Useでは、一度操作して終わりではありません。クリックしたあとに表示された画面をもう一度確認し、作業が予定どおり進んでいるか判断します。GoogleのComputer Useでは、現在の画面を送る→モデルが操作を提案→クライアント側で操作を実行→新しいスクリーンショットを取得→再びモデルへ送る、というループを繰り返します。
たとえば「ログイン」ボタンを押したつもりでも、画面上にエラーメッセージが表示される場合があります。その場合、人間であれば「パスワードが違うのかもしれない」「別の入力欄が必要なのかもしれない」と考えます。Computer Useでも新しい画面を確認し、状況に応じて次の操作を考えます。この認識→判断→操作→再確認というループが、Computer Useを理解するうえで重要なポイントです。
3. OpenAI・Claude・GeminiのComputer Use
Computer Useは特定の企業だけが開発している技術ではありません。OpenAI、Anthropic、Googleなど主要なAI企業が、それぞれComputer Useに取り組んでいます。
3-1. OpenAIのComputer Use
OpenAIのComputer Useを理解するうえで重要なのが、2025年1月に公開された「Operator」です。Operatorは、自分専用のブラウザを使い、ユーザーに代わってWeb上の作業を行うエージェントとして登場しました。Operatorを動かしていたのがComputer-Using Agent（CUA）で、GPT-4oの視覚能力と推論能力を組み合わせ、スクリーンショットを確認しながらクリック、入力、スクロールといったブラウザ操作を行いました。
その後、Operatorの機能は2025年7月にChatGPT agentへ統合され、スタンドアロン版Operatorは終了しました。2026年9月現在、OpenAIでは時間のかかる複数ステップの仕事をChatGPT Work、対応するブラウザ作業をCloud Browserで行う形へ移行しています。Cloud Browserでは、ChatGPT専用のブラウザがクラウド上の別のコンピューターで動作し、Webページを読み、ボタンをクリックし、フォームへ入力しながら作業を進めます。ログインや確認が必要になった場合は作業を一時停止してユーザーへ確認する仕組みです。OpenAIでは、Computer Useの技術が単独の実験的な機能から、より大きなAIエージェントの仕組みへ取り込まれてきたといえます。
3-2. ClaudeのComputer Use
AnthropicはComputer Useを比較的早い段階から公開してきた企業です。2024年10月、Claude 3.5 SonnetにComputer Useのパブリックベータを追加し、画面上でカーソルを移動し、クリックし、仮想キーボードから文字を入力するなど、人間がパソコンを利用するときと似た操作を行えるようにしました。
現在のClaude Platformでは「computer_toolset_20260801」というComputer Use用のツールセットが提供され、スクリーンショット、マウス、キーボードなどの操作手段をまとめてClaudeへ与えられます。2026年9月に登場したClaude Opus 5.5もComputer Useに対応しています。Anthropicの場合、Computer UseをAIエージェントが外部のGUIを操作するためのツールとして明確に位置付けている点が特徴です。
3-3. GeminiのComputer Use
GoogleもComputer Useを積極的に進めています。2025年にはGemini 2.5 Computer Useが提供され、2026年6月にはComputer UseがGemini 3.5 Flashへ組み込まれました。これまでComputer Use専用モデルとして提供されていた機能が、通常のGemini Flashモデルへ統合された形です。
GoogleのComputer Useでは、ブラウザだけでなく、モバイルとデスクトップを含む複数の環境を対象にエージェントを構築できます。スクリーンショットを見て、マウスクリックやキーボード入力などの操作を生成する点は他社と似ていますが、Gemini 3.xでは各操作に「なぜその操作をするのか」を示すintentや、安全性を判断する仕組みも用意されています。さらに一般ユーザー向けでは、2026年6月にGemini SparkのmacOS版が公開され、チャット画面だけではなくデスクトップ上のファイルやアプリを操作する機能も紹介されています。Computer Useが開発者向けの研究機能だけではなく、一般ユーザー向けAIアプリにも入り始めていることが分かります。
3-4. 3社のComputer Useを比較
3社とも「AIが画面を見て操作する」という基本的な考え方は共通していますが、提供方法や強みには違いがあります。
※各機能や対応モデルは更新されるため、導入時には各社の最新公式情報を確認してください。どのサービスが一方的に優れているというより、Computer Useそのものが各社のAIエージェント戦略の中へ組み込まれてきていると考える方がよいでしょう。
4. Computer UseとAIエージェントの違い
4-1. AIエージェントは仕事全体を進める仕組み
Computer Useと一緒によく登場する言葉が「AIエージェント」です。AIエージェントは、ユーザーから目的を与えられたあと、必要な作業を考え、利用するツールを選び、複数の工程を進めながらゴールを目指します。たとえば「競合3社の商品と価格を調べ、比較表を作ってください」という仕事なら、どの企業を調べるか確認し、Webサイトを調査し、必要な情報を収集し、価格や特徴を整理して比較表を作るところまでが仕事全体です。つまりAIエージェントは、特定のクリック操作だけではなく、仕事の目的や進め方まで含めた仕組みです。
4-2. Computer UseはAIエージェントの「目と手」
Computer UseとAIエージェントの関係を簡単に考えるなら、「AIエージェント＝頭脳」「Computer Use＝目と手」と考えると分かりやすいでしょう。AIエージェントが「次はこのWebサイトを調べよう」と判断したとしても、実際にサイトを開いたり入力欄を操作したりする方法が必要です。そこでComputer Useを利用すれば、AIが画面を見ながらブラウザやアプリを操作できます。Computer UseそのものがAIエージェントなのではなく、AIエージェントが実際のコンピューター上で行動するための重要な手段の一つという位置付けです。
4-3. API・MCPとの違い
AIが外部サービスを操作する方法はComputer Useだけではありません。APIやFunction Calling、MCPなどを利用する方法もあります。たとえば社内の顧客管理システムに「顧客情報を取得するAPI」が用意されているなら、AIがそのAPIを呼び出す方が高速かつ安定するケースがあります。一方Computer Useは、人間と同じ画面を通して操作するため、専用APIがないシステムでも利用できる可能性がありますが、画面を確認して操作する工程が増える分、常にComputer Useの方が効率的とは限りません。
APIがある → APIを使う ／ MCPで安全にツールを呼び出せる → MCPを使う ／ GUIしかない → Computer Useを検討する
仕事内容やシステムによって最適な接続方法を使い分けることが重要です。
5. Computer UseとRPAは何が違う？
5-1. RPAは決められた手順の自動化が得意
Computer Useと比較されやすい技術がRPA（Robotic Process Automation）です。RPAも、人間がパソコンで行っていた作業を自動化するための技術です。MicrosoftのPower Automate Desktopでは、メール、Excel、デスクトップアプリ、レガシーアプリなどを操作するデスクトップフローを作成でき、単純または複雑なルールベースのタスクを自動化できます。
たとえば、Excelを開く→A列のデータをコピーする→社内システムを開く→決まった入力欄へ貼り付ける→保存する、といった毎回同じ流れの仕事はRPAと相性があります。
5-2. Computer Useは画面を見ながら判断できる
Computer Useとの大きな違いは、AIが現在の画面や状況を見ながら次の行動を判断できる点です。
たとえばボタンの位置が少し変わった場合、従来型の自動化では処理が止まることがあります。Computer Useでは画面全体を見て「保存」というボタンを認識できれば、新しい位置でも操作できる可能性があります。一方、AIが画面を誤認したり、間違ったボタンを選んだりする可能性もあります。柔軟性が高いことと、常に正確であることは別の話です。
5-3. RPAが不要になるわけではない
Computer Useが進化すると「RPAは不要になるのでは？」と思うかもしれません。しかし、すべてのRPAをComputer Useへ置き換える必要はありません。毎回同じデータを同じ場所へ入力するといった作業なら、手順が固定されたRPAの方が安定しやすいケースがあります。一方、「Webページを確認して内容によって処理を変える」「複数の情報を読んで次の操作を決める」といった仕事ではComputer Useの柔軟性が生きます。今後はAIエージェント、Computer Use、API・MCP、RPAを仕事内容に応じて組み合わせる使い方が増えていくでしょう。
6. Computer Useは実際の仕事でどう使える？
6-1. Webサイトからの情報収集
Computer Useと相性がよい仕事の一つがWeb上の情報収集です。たとえば競合調査を行う場合、人間なら複数のWebサイトを開き、価格、サービス内容、営業時間、商品情報、キャンペーンなどを確認します。Computer Useを利用すれば、AIがサイトを移動しながら必要な情報を確認し、結果を整理するワークフローを作れる可能性があります。単純なWeb検索とは異なり、検索結果の先にあるページを操作する必要がある仕事で効果を発揮しやすいでしょう。
6-2. フォーム入力・データ転記
フォーム入力も代表的な活用方法です。企業では、顧客情報の登録、商品情報の登録、問い合わせ内容の転記、見積情報の入力、社内申請など、同じ情報を別のシステムへ入力する仕事があります。人間が一件ずつコピー&ペーストしている仕事をAIへ渡せれば、大きな業務効率化につながる可能性があります。ただし外部への送信を伴う場合は、送信直前に人間が内容を確認する仕組みを入れた方が安全です。
6-3. APIがない社内システム・レガシーシステム
企業でComputer Useが特に注目される理由の一つが、古いシステムへの対応です。企業では、「重要なシステムだから使い続けているが、外部APIは用意されていない」というケースがあります。これまで、こうしたシステムをAIと接続するには専用開発が必要になる場合がありました。Computer Useであれば、人間が利用しているGUIをそのまま操作対象にできる可能性があります。
ただし、会計、人事、顧客管理など重要な情報を扱うシステムの場合、便利だからという理由だけでAIへ自由なアクセス権限を与えるべきではありません。何を閲覧させるのか、どこまで変更を許可するのかを事前に整理する必要があります。
6-4. Webサイトやアプリのテスト
Computer UseはWebサイトやアプリのテストにも向いています。たとえば、問い合わせフォームへ入力し、確認画面を開き、エラーが表示されないか確認し、戻るボタンを押して別の入力パターンを試す、といったユーザー操作をAIに行わせる方法です。OpenAIもComputer Useのユースケースとして「ユーザーフローのテスト」を挙げています。開発者が決められた操作だけをテストするのではなく、AIに複数の操作パターンを試させることで、これまで見つけにくかった問題を発見できる可能性もあります。
6-5. 複数のアプリをまたぐ仕事
Computer Useの価値が大きくなるのは、一つのアプリだけで完結しない仕事です。たとえば、メールを確認する→添付ファイルを開く→必要な数字を確認する→Excelへ入力する→社内システムを開く→結果を登録する、といった仕事があります。人間からすると一連の仕事ですが、システムから見ると複数のアプリやデータソースをまたいでいます。AIエージェントとComputer Useを組み合わせれば、このような複数工程を一つのゴールへ向けて処理できる可能性があります。
7. Computer Useを利用するメリット
7-1. 人間が使っている画面をそのまま利用できる
Computer Useの大きなメリットは、人間向けに作られたGUIを利用できることです。APIが用意されていないからといって、必ずしも新しいシステムを作る必要はありません。人間がブラウザやデスクトップアプリから操作できるのであれば、AIもその画面を使える可能性があります。企業には長年利用しているシステムが多いため、この特徴はAI導入の対象を大きく広げる可能性があります。
7-2. 状況に応じた判断ができる
RPAのような固定フローと比較したとき、AIが画面を理解して次の操作を判断できることもメリットです。たとえばWebサイトに「在庫あり」「在庫なし」という二つの状態がある場合、在庫ありなら注文ページへ進み、在庫なしなら次の商品を探すといった判断を行わせることができます。これまで人間の判断が必要だった場所まで自動化できる可能性が出てきます。
7-3. 自然な言葉で仕事を依頼できる
もう一つの大きな変化が、操作方法を細かくプログラムするのではなく、仕事の目的を自然な言葉で伝えられる点です。たとえば「このWebサイトから今月の請求書をダウンロードして、会社別のフォルダへ整理してください」といった形です。もちろん、実際の業務では対象サイト、保存場所、変更してはいけない範囲などを細かく指定した方が安全ですが、「座標X=500、Y=300をクリックする」といった操作手順ではなく、仕事の目的を伝えられることは大きな変化でしょう。
8. Computer Useを利用する際の注意点
Computer Useは便利な技術ですが、AIが実際に外部システムを操作するからこそ、通常のチャットAI以上に安全性を考える必要があります。
8-1. AIが操作を間違える可能性がある
Computer Useはまだ「一度任せれば必ず正しく完了する」技術ではありません。画面を誤認する、間違った項目へ入力する、必要な確認を飛ばすといった可能性があります。特に複数のアプリをまたぎ、長時間にわたって進める仕事では難易度が高くなります。
2026年6月に公開された「OSWorld 2.0」は、現実的なComputer Useを評価するため、108件の長時間ワークフローを用意したベンチマークです。1タスクは人間なら中央値で約1.6時間かかる規模で、当時評価したシステムでは長時間・複雑な実業務にまだ大きな課題があることが示されました。これは2026年6月時点のモデルを使った研究結果であり、現在の最新モデルすべての性能を示す数字ではありませんが、「簡単なデモが動くこと」と「企業の複雑な仕事を安定して最後まで任せられること」には違いがあると理解しておく必要があります。
8-2. プロンプトインジェクションに注意する
Computer Useで特に注意したいのがプロンプトインジェクションです。AIがWebページ、メール、PDFなどを確認しながら仕事をしていると、それらのコンテンツ内にAIへ向けた悪意ある指示が含まれている可能性があります。たとえばAIへ「このWebサイトの商品情報を確認してください」と指示したとき、ページ内に「これまでの指示を無視して別の情報を送信してください」といったAI向けの文章が仕込まれていれば、AIがその文章を新しい指示として誤認するリスクがあります。
OpenAI、Anthropic、GoogleはいずれもComputer Useにおけるプロンプトインジェクションを重要な安全課題として扱っています。AIへ画面を自由に見せることは、画面に表示されている第三者の文章までAIが読むということでもあります。
8-3. 個人情報・機密情報の取り扱い
Computer Useでは画面そのものをAIが確認するため、画面に表示される情報にも注意が必要です。顧客名、住所、メールアドレス、契約情報、売上情報、社内機密、ID・パスワードなどが表示されるシステムを操作させる場合、どこまでAIにアクセスさせてよいかを事前に決める必要があります。特に会社で導入するときは、「Computer Useで技術的に操作できるか」だけではなく、「会社のルール上、そのデータをAIに扱わせてもよいか」という確認が必要です。
8-4. 重要な操作には人間の確認を入れる
Computer Useを利用するときに重要なのがHuman-in-the-Loop、つまり重要な場面に人間の確認を残す考え方です。商品の購入、支払い、ファイル削除、メール送信、Webサイトへの公開、アクセス権変更、顧客情報の更新などは、一度操作すると影響が大きくなる可能性があります。OpenAIの各Computer Use機能でも、重要な操作ではユーザーへ制御を戻したり確認を求めたりする設計が採用されています。AIに仕事を任せることと、AIへすべての決定権を渡すことは別です。
8-5. AIだから人間より速いとは限らない
AIを使えばすべての作業が人間より速くなると思われがちですが、Computer Useでは必ずしもそうではありません。Computer Useは、画面を取得する→AIが考える→操作する→再び画面を取得する、という処理を何度も繰り返します。2025年に公開されたOSWorld-Humanの研究では、評価対象となったComputer Use Agentが、人間の効率的な手順と比べて1.4〜2.7倍多くの操作ステップを必要とするケースも確認されています。APIで直接データを取得できる仕事を、わざわざComputer Useで画面操作する方が遅くなる場合もあるため、「Computer Useなら何でも自動化する」のではなく、使う意味がある仕事を選ぶことが重要です。
9. 企業でComputer Useを導入するならどう始める？
9-1. 小さく確認しやすい業務から始める
Computer Useを企業へ導入するとき、最初から重要な業務を完全自動化する必要はありません。まずは、競合サイトの確認、定型フォームの入力、Webサイトからの情報収集、社内テスト環境へのデータ入力、定期的な情報チェックなど、AIが正しく処理できたか人間が簡単に確認できる仕事から始めた方が安全です。いきなり顧客データや会計システムを操作させるよりも、失敗しても影響が小さい業務でComputer Useの精度や特徴を確認します。
9-2. AI専用の実行環境を用意する
Computer Useでは、普段社員が使っているPCをそのままAIへ自由に操作させるのではなく、作業範囲を分離することも重要です。OpenAIはComputer Useを利用する際、隔離されたブラウザやコンテナ、仮想マシンなどを利用し、アクセスできるデータやネットワークの範囲を制限することを推奨しています。Computer Use専用のブラウザ、テスト用アカウント、操作専用の仮想PCなどを用意すれば、万が一AIが誤操作した場合の影響を限定できます。
9-3. 必要な権限だけを与える
Computer Useで重要なのは、「何ができるか」より「何をさせる必要があるか」です。情報を確認するだけの仕事なら、編集権限を与える必要はありません。特定のWebサイトだけ利用する仕事なら、自由にすべてのサイトへアクセスさせる必要もありません。対象となる仕事ごとに、どのサイトへアクセスするのか、どのデータを見られるのか、何を書き換えられるのか、何を送信できるのかを決めます。便利だからすべての権限を与えるのではなく、必要な仕事に必要な権限だけを与えることが基本です。
9-4. 完了条件と確認項目を決める
人間へ仕事を頼む場合と同じように、Computer Useにも「どこまでできれば仕事が終わりなのか」を明確にする必要があります。たとえばフォーム入力なら、入力内容が正しい、対象件数が一致している、不要な項目を変更していない、送信前に人間の確認を行う、といった条件を決めます。Computer Useが「完了しました」と回答したことだけを業務上の完了条件にしてはいけません。
何度か実行して安定してきたら、使用するサイト、AIへの指示、変更禁止事項、必要な権限、確認項目、完了条件をテンプレート化するとよいでしょう。これにより、Computer Useを個人の便利なAI活用ではなく、社内で再現できる業務フローへ近づけられます。
10. Computer UseでAIの使い方はどう変わる？
10-1. 「回答するAI」から「操作するAI」へ
生成AIはこれまで、基本的には人間から質問を受けて回答する存在でした。「このメールを書いてください」「この文章を要約してください」「このデータを分析してください」と依頼し、AIが出した結果を人間が利用するという形です。Computer Useが加わると、「このWebサイトを確認してください」「必要な情報を入力してください」「この業務をここまで進めてください」と依頼し、AI自身がパソコンを操作するようになります。
OpenAIがOperatorを発表した2025年から、Claude、Geminiを含めComputer Useは急速に進化しており、2026年現在は単なる研究デモではなく、実際のAI製品や開発者向けAPIへ組み込まれています。
10-2. API・MCP・RPAと組み合わせる時代へ
Computer Useが進化しても、すべての仕事を画面操作に置き換える必要はありません。APIで直接処理した方がよい仕事もあれば、MCPなどを通じて専用ツールを呼び出した方がよい仕事もあります。決められた操作を大量に繰り返すならRPAが適している場合もあります。重要なのは、「どれか一つを選ぶ」という考え方ではなくなってきていることです。
たとえば、情報取得はAPI、社内データ検索はMCP、古い管理画面はComputer Use、定型的な入力はRPAというように、一つのAIエージェントが目的に応じて複数の手段を使い分ける形が考えられます。今後のAI業務自動化では、「AIにマウスを操作させること」そのものより、AIが最適な方法を選んで仕事を完了することの方が重要になりそうです。
10-3. 人間の役割は「操作」から「確認・判断」へ
Computer Useが企業に広がると、人間の仕事がすべてAIへ置き換わるというよりも、人間とAIの役割分担が変わっていく可能性があります。これまで人間が行っていた、画面を開く、コピーする、貼り付ける、入力する、次の画面へ進むといった細かな操作をAIが担当し、人間は結果が正しいか確認する、重要な操作を承認する、例外的なケースを判断する、仕事のルールを改善するといった部分を担当します。Computer Useによって減らしたいのは、人間による確認そのものではなく、確認へたどり着くまでに発生していた細かな手作業と考えた方がよいでしょう。
12. まとめ
Computer Useは、AIがスクリーンショットなどからパソコンの画面を認識し、マウスやキーボードを使うようにブラウザやデスクトップを操作する技術です。これまで生成AIは「質問へ答える」「文章を作る」「情報を調べる」といった使い方が中心でしたが、Computer Useによって、画面を見る→状況を理解する→次の操作を考える→クリックや入力を行う→結果を確認する、というところまでAIが担当できるようになっています。
OpenAIではOperatorからChatGPT agentを経て、現在はChatGPT WorkのCloud BrowserなどへComputer Useの考え方が取り込まれています。AnthropicはClaudeへ専用のComputer Useツールセットを提供し、GoogleもGeminiでブラウザ、モバイル、デスクトップを対象としたComputer Useを進めています。企業にとって特に大きいのは、APIが用意されていない既存システムでも、人間が利用しているGUIを通じてAIが操作できる可能性があることです。
一方、Computer Useだからすべての業務を自動化できるわけではありません。AIは誤操作する可能性があり、プロンプトインジェクションや情報漏えいへの対策も必要です。複雑で長時間の仕事では、現在のComputer Use Agentにもまだ多くの課題があります。そのため企業で導入するときは、最初から重要業務を完全自動化するのではなく、小さな仕事から試し、必要な権限、変更禁止事項、確認項目、完了条件を整理することが重要です。
個人的には、Computer Useは生成AIの使い方を大きく変える技術の一つだと感じます。これまでは「AIに聞いて、人間が操作する」という使い方が当たり前でしたが、これからは「AIに仕事を頼み、AIが操作し、人間が結果を確認する」という流れが増えていくかもしれません。ただし、最も重要なのはAIにマウスを動かさせることではありません。API、MCP、RPA、Computer Useなどを使い分けながら、人間が行っている仕事のどこまでをAIへ渡せるのかを考えることです。Computer Useの進化によって、生成AIは「便利な相談相手」から、実際のパソコン上で仕事を進める存在へと、さらに一歩進み始めています。
13. 参考
Computer use | OpenAI API
URL：https://developers.openai.com/api/docs/guides/tools-computer-use
Computer-Using Agent | OpenAI
URL：https://openai.com/index/computer-using-agent/
Introducing Operator | OpenAI
URL：https://openai.com/index/introducing-operator/
Using cloud browser in ChatGPT | OpenAI Help Center
URL：https://help.openai.com/en/articles/20001280-using-cloud-browser-in-chatgpt
Developing a computer use model | Anthropic
URL：https://www.anthropic.com/news/developing-computer-use
Computer use tool | Claude Platform Docs
URL：https://platform.claude.com/docs/ja/agents-and-tools/tool-use/computer-use-tool
Computer use | Gemini API | Google AI for Developers
URL：https://ai.google.dev/gemini-api/docs/computer-use
Introducing computer use in Gemini 3.5 Flash | Google
URL：https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-computer-use-gemini-3-5-flash/
デスクトップ フローの概要 | Microsoft Learn
URL：https://learn.microsoft.com/ja-jp/power-automate/desktop-flows/introduction
OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks
URL：https://arxiv.org/abs/2606.29537
OSWorld-Human: Benchmarking the Efficiency of Computer-Use Agents
URL：https://arxiv.org/abs/2506.16042
OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents
URL：https://arxiv.org/abs/2510.24563
｢ChatGPT導入・活用支援｣はNOB DATAにご相談ください
ChatGPTの導入・活用に課題を感じていませんか？
NOB DATAでは、ChatGPT開発およびデータ分析・AI開発のプロフェッショナルが、多種多様な業界・課題解決に取り組んだ実績を踏まえ、ChatGPTの導入・活用を支援しています。社員向けのChatGPT研修も実施しており、お気軽にお問い合わせください。