AIが画面を見てマウスとキーボードを操作し、業務そのものを進める。こうした「コンピュータ操作AI（画面操作AI）」が主要なAIサービスに組み込まれています（2026年9月時点）。仕組みと始め方を公式発表にもとづき整理します。
コンピュータ操作AIとは｜定義と仕組み
コンピュータ操作AIとは、AIが画面のスクリーンショットを見て、次にどこをクリックし何を入力するかを自分で判断し、人と同じようにパソコンを操作して業務を進める仕組みのことです。
動作は「画面を撮る→判断する→実行する→結果を撮る」の繰り返しです。Anthropicも公式ドキュメントで、スクリーンショットとマウス・キーボードでデスクトップ環境を操作させる仕組みと説明しています（Computer use tool・2026年9月時点）。文章を出力する生成AIとの違いは、操作そのものを行う点です。
一社限りの機能ではありません。Googleも、独立したモデルでのみ提供していたコンピュータ操作を Gemini 3.5 Flash の組み込みツールにしたと公表しており、有効にするとスクリーンショットで画面の情報を得てマウスのクリックやキーボード入力を生成して実行すると説明しています（Google 公式ブログ・2026年9月時点）。
| 種類 | 動き方 | 画面変更時 |
|---|---|---|
| 生成AI | 文章・画像を出力 | — |
| RPA | 決めた座標・手順を再生 | 止まりやすい |
| コンピュータ操作AI | 画面を見て判断し実行 | 対応の余地あり |
どうやって画面を「見て」いるのか
流れは単純です。まず現在の画面をスクリーンショットとして取り込み、その画像からボタンや入力欄、表示されている文字の位置を読み取ります。次に「いま押すべきものはどれか、どの欄に何を入れるか」を判断して実行し、操作後にもう一度画面を撮って、意図した状態になったかを確かめます。初めて使うソフトを、画面を確かめながら手探りで進めていく人の動きに近いものです。内部の仕組みはサービスごとに異なりますが、外から見える動作はこの繰り返しです。
RPAとの違い
RPAは決めた座標や手順を機械的に再生するため、レイアウトが変わると止まり保守に手間がかかります。画面を見て判断する分、変化に対応できる余地がある一方で、動きは毎回同じとは限りません。件数の多い完全定型はRPA、手順がゆらぐ業務はコンピュータ操作AIが現実的です（RPAと生成AI自動化の使い分け）。
API連携との違い
API連携は確実ですが、APIが無いアプリでは使えず開発も必要です。OpenAIは、APIを持たないアプリでも人が使うのと同じアプリを通して作業できるため、データ整備やワークフローの再設計、独自連携を事前に行わなくても初日から使えると説明しています（GPT-6 Astra 公式発表・2026年9月時点）。既存システムを変えずに済むのが利点です。モデル側で何が変わったのかはGPT-6 Astra とはで整理しています。
中小企業にとっての意味｜コスト・業務・人材への影響
中小企業基盤整備機構の実態調査（2026年3月）では、AIを全社的または一部業務で導入している企業は20.4%、検討中の18.6%を加えても39.0%と公表されています。分野は総務・管理部門が68.3%、種類は生成AIが82.6%で最多でした。多くの企業がまだ入口の段階にあります。
注目される理由は、これまで前提とされてきたデータ整備やシステム連携という前工程を省ける可能性があり、着手のハードルが下がる点です。社内に開発できる人材がいないことが着手できない理由だった場合、その制約が小さくなります。ただし人の判断が不要になるわけではなく、どこまで任せ、どこから先を人が確認するかの見極めは貴社側の仕事として残ります。
向いている業務・向いていない業務
見極めの目安は、手順を言葉で説明できるか、間違えてもやり直せるかの2点です。
向いているのは次のような業務です。
- 画面をまたぐ転記（あるシステムで見た内容を別の画面へ入力する作業）
- 複数サイトからの情報収集と一覧化
- 同じ形式の入力の繰り返し
- 下書きの作成
反対に、次の業務は最初の対象から外します。
- 例外判断が多く、その都度人が事情を見て決めている業務
- 取り返しのつかない操作（送金、発注確定、大量削除）
- 手順を言葉で説明できない属人業務
人材とコストへの影響
開発できる人材がいなくても始められる一方で、別の役割が必要になります。「この業務は、どの画面で何を見て、どう判断して進めているのか」を言葉にできる人です。手順書に落ちていない仕事ほど、任せる前の言語化に時間がかかります。
費用は使った分だけ増える従量課金が中心です。失敗した試行にも費用は発生するため、対象を1つに絞って結果を記録しながら広げる進め方が、結局は費用を抑えます。
導入・活用ステップ｜無料・低コストの一歩から
- 画面操作を1週間記録して棚卸しする：ツール契約は不要です。「どの画面で・何を・何回」をメモするだけで候補が見えます。
- 対象業務を1つだけ選ぶ：手順を言葉で説明でき、間違えても取り返せる業務から。OpenAIが用途例に挙げるのは、オンラインフォームの入力、CRMの顧客情報の更新、カレンダーの整理、オンライン調査と要約の下書き作成などです。
- 権限を狭く始める：最初は閲覧と下書きまで。更新・送信・決済は人が承認します。OpenAIは企業向けに、承認済みWebサイト・デスクトップアプリへのアクセス制限、アップロード・ダウンロードや閲覧履歴の管理、重大な操作の前に承認を求める確認ポリシーを用意し、限定的な構成から始めて段階的に範囲を広げられると説明しています（GPT-6 Astra の業務活用で公表された管理機能・2026年9月時点）。
- 小さく試して記録する：成功・失敗と所要時間を残します。なお Enterprise 向けは提供開始時点で既定オフのため、管理者による有効化が必要です。API利用料は入力100万トークンあたり10ドル・出力100万トークンあたり50ドルからと公表されています（いずれも2026年9月時点）。
- 社内ルールにして広げる：承認が必要な操作、扱わせない情報、記録の残し方を1枚にまとめてから次の業務へ進みます。
最初の30日でやることの目安
上のステップを時間軸に置くと、次の4週間です。順番は入れ替えません。
- 1週目：画面操作の棚卸し。「どの画面で・何を・何回」を書き出します。
- 2週目：対象業務を1つ選び、手順を文章にします。書けなければ、任せる前に整理が必要という判断材料になります。
- 3週目：閲覧と下書きの範囲だけで試します。更新・送信は人が行い、成果物は目視で確認します。
- 4週目：結果を振り返り、承認が必要な操作・扱わせない情報・記録の残し方を1枚にまとめます。
4週間で成果が出るとは限りません。得たいのは、合うかどうかを自社の事実で判断できる状態です。
よくある質問
RPAと何が違うのですか
決めた手順を再生するRPAに対し、コンピュータ操作AIは画面を見て次の操作を判断します。置き換えではなく使い分けです。
無料で試せますか
操作の棚卸しは無料でできます。機能自体は有料プランやAPI経由での提供が中心のため、まずはステップ1から始めるのが現実的です（2026年9月時点）。
既存の業務システムを変えなくても使えますか
APIが無いアプリでも、人と同じ画面操作で動かせる点が特徴です。OpenAIも、事前のデータ整備や独自連携なしに初日から使えると説明しています。ただし画面設計が特殊な社内システムでは、思ったとおりに動かない場合もあります。まず1つの画面で試して判断してください。
誤操作が怖いのですが安全ですか
人の承認を挟む設計が前提です。OpenAIは未承認のツール呼び出しを自動レビューで遮断するとし、社内のコンピュータ操作安全ベンチマーク（機密情報の露出、ダッシュボードの過剰共有、データ削除といった難しい業務シナリオを想定）で、意図しない結果の発生がGPT-5.6 Sol比89%減、Claude Fable 5.1比74.7%減と公表しています。ただしこれは同社の自社評価であり、製品間の優劣を示すものではありません。
どの業務から向いていますか
転記や一覧作成、下書き作成など、成果物を人が目視で確認できる業務です。金額が動く操作や社外への送信は、最初の対象から外します。
導入したら担当者の仕事はなくなりますか
なくなるものではなく、内容が変わります。手を動かす工程の一部を任せる代わりに、成果物の確認、例外対応、「どう進めるか」を言葉にして指示する仕事が中心になります。
情報漏洩のリスクはありますか
AIが読む内容に敵対的な指示を紛れ込ませるプロンプトインジェクションに注意が必要です。Anthropicは、メールに白文字で見えない指示を埋め込み「confidential」を含むメールを外部へ転送させる手口を例に挙げ、ブラウザ操作は攻撃面が広く取れる操作も多いためリスクが増幅すると説明しています（2025年11月24日付）。同社は訓練・分類器・レッドチームによる対策を重ねたうえで、どのブラウザエージェントもプロンプトインジェクションに免疫はなく、問題が解決したと主張するものではないと明言しています。また公式ドキュメントでは、ログインが必要なアプリで使うとリスクが高まるため認証情報を渡す前に対策を確認するよう案内されています。だからこそ閲覧・下書きから狭く始め、人の承認を挟みます（プロンプトインジェクションの仕組みと対策）。
当協会の支援メニュー
一般社団法人中小企業販促・DX支援協会では、コンピュータ操作AIの活用を業務の棚卸しから伴走します。どの操作を任せ、どこから先を人が承認するかという適用範囲の設計、社内ルールの策定、定着支援までを一体で行います。ツールを入れて終わりにせず、貴社の手順に合う形へ落とし込むことを重視しています。
まとめ
コンピュータ操作AIは、画面を見て次の操作を自分で判断し、実行する仕組みです。APIの無いアプリでも動くため、データ整備やシステム連携という前工程を省ける可能性があります。一方でリスクについてはベンダー自身が未解決と認めており、人の承認を挟む設計が欠かせません。契約を決める前に自社の画面操作を棚卸しし、狭い範囲から始めるのが堅実です。最初の一歩は、今週の作業を「どの画面で・何を・何回」で書き出すことです。
