何をしたか
AIアシスタントにブラウザ作業を任せたかった。でも普段使いのパソコンのブラウザをそのまま渡すのは嫌だった。買い物も仕事もSNSも、日常のログインが全部入っている。任せる範囲が広すぎる。
そこで、デスクトップパソコンの上にWindowsの仮想マシン(VM)を1台作って、その中にブラウザを入れた。AIが操作するのはVMの中のブラウザだけ。僕の普段の環境には触らせない形にした。
作ったその日のうちに環境は動いた。ブラウザの設定変更とか、投稿の下書き保存みたいな実作業も、AIが最後までやり切った。費用は0円。
用意したもの
ブラウザはBrave。AIの拡張機能はVMの中にだけ入れた。機器同士の接続にはTailscaleの無料枠、VMへのコマンド接続にはOpenSSHを使っている。追加で買ったものは何もない。手元のパソコンと無料のツールだけで組んだ。
わざわざVMに分けた理由は3つある。何か問題が起きても、影響がVMの中だけで済む。スナップショットを取っておけば、作業前の状態にいつでも戻せる。作業の様子を画面で見ていられるし、止めたいときにすぐ止められる。
実際にできたこと
VMの中で、AIはけっこういろいろできた。ブラウザのタブを開いて、ページを読んで、クリックや文字入力をする。サイトの設定変更も、僕が確認しながらなら実施できた。投稿の下書きを保存して、下書き一覧で保存されたことを確認するところまでやっている。
ブラウザの外にも手が届いた。SSHでVMに入ってコマンドを実行させることもできたし、予約タスクとキー入力を組み合わせれば、タブを開くとかページをスクロールするみたいな粗い操作もできた。
できなかったこと
限界もはっきりした。AIはVMの画面そのものを見られない。見えているのは、操作しているタブの中身だけだ。だから画面全体を見ながらのマウス操作はできない。SSHでできるのもコマンドの実行まで。
画面が見えない状態でチャット画面に文字を打ち込む実験もやったけど、失敗した。入力欄に正しく入ったかどうか、確認する手段がない。
AIがパソコンを自由に操作する、というイメージとはだいぶ違う。実際は、決められた窓口から手を伸ばして作業している形に近い。
つまずいた点
実はVMを作る前に、普段使いのパソコンでAIにブラウザを操作させようとして、そっちで先につまずいている。タスクが途中で止まって届かない、という現象が何度も起きた。同じ条件でノートパソコンでは動いたから、パソコン側の環境に原因がありそうなところまでは分かった。でも特定はできていない。
VMに移したら、最初のテストでWikipediaを開く作業が1分以内に終わった。原因を突き止めるより先に、環境を分けた判断が正解だった。
セキュリティのためにやったこと
SSHは鍵認証だけにして、パスワードでのログインは無効にした。接続先が本物かどうかは、サーバーの鍵の指紋を別の経路で照合して確かめた。VMと普段のパソコンの間で、共有フォルダやクリップボードの連携も最小限にしている。
限界も書いておく。VMは家庭内のネットワークを共有しているし、VMのディスクは普段のパソコンの中にある。切り離し方としてはここまでで、狙いは影響の範囲を小さくすることだ。
かかった費用と時間
費用は0円。時間は、方針を決めた朝から数えて半日強かかった。午前中にVMを用意すると決めて、夕方には最初のブラウザ作業が成功して、夜にはSSH接続と実作業まで進んだ。
まとめ
AIに自分の机としてVMを1台渡してみて一番よかったのは、任せられる作業と任せられない作業の境目がはっきりしたことだ。境目が分かれば、任せる範囲を少しずつ広げていける。
次は、この環境でAIにブログの運営作業をさせてみる。その記録もここで公開するつもりだ。

