この記事のポイント
- GitHub Copilotが画面を読んでクリックや入力を代行する公開プレビューを提供。CLIとMac・Windowsアプリが対象です。
- アプリ操作の前に利用者の承認を求める仕組みです。「常に許可」を選んだアプリは、毎回の承認を省けます。
- 組織管理者は機能全体を無効化できます。macOSでは、他アプリを操作する権限と画面収録の権限も必要です。
GitHubの変更履歴と公式資料から、デスクトップ操作への対応を紹介します。アプリごとの許可と、組織全体の管理設定を整理します。
画面を読み取ってクリックしてくれる「コンピュータ操作」機能
GitHubが公式の変更履歴で発表した内容によると、GitHub Copilot CLIとmacOS/Windows版のGitHub Copilotアプリに、「コンピュータ操作(Computer Use)」という新機能がパブリックプレビューとして追加されました。
ひとことで言うと、画面を見ながら代わりにクリックや入力をしてくれる機能です。パソコン上のデスクトップアプリを、Copilotへの指示で操作できます。
公式発表では、アプリの画面内容を読み取り、ボタンのクリック、テキストの入力・編集、キー操作、スクロール・ドラッグ、複数アプリをまたいだ一連の作業まで実行できるとされています。特に便利なのは、外部から操作する接続手段（APIや、AIとツールをつなぐMCP）を持たない昔ながらの業務アプリでも、画面さえあれば作業を任せられる可能性が出てきた点です。
社内利用はアプリごとの許可と組織設定を確認
社内利用では、操作を許可するアプリの範囲を管理できます。公式ドキュメントによると、Copilotはアプリの操作を始める前に承認を求めます。ただし「常に許可」を選んだアプリは、毎回の承認を省けます。常時許可したアプリは設定画面で確認・解除できます。
組織で導入している場合は、管理者側でこの機能自体を無効化する設定も用意されています。組織での利用可否は、この管理者設定も含めて判断する必要があります。
文字で操作するCLIでは/computer onというコマンドで有効にし、アプリの場合は設定画面で「Computer Use」を有効にします。macOSでは、他アプリを操作するアクセシビリティ権限と、画面収録の権限も必要です。現時点はパブリックプレビューの段階なので、今後の挙動の変更にも注意しておきたいところです。
まとめ:許可の解除方法と、業務結果の確認を先に試す
画面操作を試すチームは、検証用データで対象を絞り、常時許可の解除方法と組織側の無効化設定を確かめるとよいでしょう。クリックの成功と業務結果の正しさを分けて記録すると、人が確認する工程や任せられる範囲を判断できます。
※2026年10月時点の情報です(パブリックプレビュー)。
