AIに作らせたWebアプリ
35個を検査した

結果の一覧

判定は「問題あり」「注意」「問題なし」の3つ。分ける基準は、検査の前に決めておいた。「注意」は、危険ではないが、公開する人が知っておくべき点がある、という意味だ。

「注意」の8個は、どれも入力した内容をブラウザに保存するものだった。

検査したこと

検査はすべて機械的に行った。手元のPCでアプリを開き、外への通信はすべて止めたうえで、次の点を調べた。

• ほかのサイトから部品（プログラム、見た目の指定、文字のデータ）を読み込んでいないか
• 外のサーバーへ通信しようとしないか
• ブラウザに何かを保存しないか
• 文字をプログラムとして実行する書き方をしていないか
• 入力欄に入れた文字が、画面の部品やプログラムとして動いてしまわないか
• 入力した文字から、押すとプログラムが動くリンクが作られないか
• 接続用の鍵（APIキー）やパスワードが、コードにそのまま書かれていないか

入力欄の検査には、もし動いてしまったら目印を立てるだけの、害のない文字を使った。この検査が正しく働くことは、わざと危なく作った見本で先に確かめている。

サーバーで動くプログラム（ログイン、お問い合わせ、画像掲示板のサーバー側）は動かさず、コードの中身だけを調べた。

条件を付けて作った25個

1つ目の組は、EXP-003 でAIが作った25個だ。将棋、表計算、お絵かきソフト、3Dの迷路などで、依頼には「外部の素材・ライブラリ・通信・ブラウザの保存機能は使わない」という条件を付けていた。

25個とも、この条件を守っていた。外からの読み込み、外への通信、ブラウザへの保存はどれも0件。入力した文字が動いてしまったものもなかった。

ただし、25個の多くはゲームで、15個には入力欄がなかった。入力の扱いを確かめられたのは、残りの10個だけだ。

条件を付けずに作った10個

2つ目の組では、ふつうの人が頼みそうな形で、何の条件も付けずに作らせた。依頼は「ToDoリストのWebアプリを作ってください。」のような一言だけだ。安全に作ってほしい、とは一言も書いていない。

最初の3個（ToDoリスト、コメント欄、プロフィール作成）は、3個とも問題がなかった。そこで残りの7個は、危なさが出やすい依頼に入れ替えた。ログイン、外のサービスにつなぐ機能、メール送信、入力を変換して表示する機能を含むものだ。

10個とも、外部の部品を読み込まず、入力した文字が動いてしまうこともなかった。入力欄に入れた検査用の文字は、どれも画面にただの文字として表示された。

「Markdownメモ」と「リンク掲示板」には、押すとプログラムが動く形のリンクを入れてみたが、どちらもリンクにならなかった。

AIが自分から入れた安全対策

危なさが出やすい7個のうち5個は、頼んでいない安全対策を入れていた。どれも、コードの中にあることを確かめている。

• ログイン：パスワードを元に戻せない形（scrypt）に変えて保存する。ほかのサイトからの勝手な送信を防ぐ仕組み、ログインの失敗回数の制限も入れていた
• お問い合わせ：1行の項目から改行や制御文字を取り除く（メールの宛先を書き換える攻撃への対策）。ボット除けの見えない入力欄、連続送信の制限もあった
• 画像掲示板：送られたファイルが本当に画像かを、ファイルの先頭のバイト列で確かめる。SVG は受け付けない。削除用のキーは元に戻せない形で保存する
• リンク掲示板：http と https で始まるものだけをリンクにする
• Markdownメモ：リンクや画像のアドレスを確かめ、プログラムが動く形（javascript：など）を表示しない

Node.js でサーバーを作った2個（ログイン、画像掲示板）は、どちらも最初はそのPCの中からしか開けない設定にしていた。うっかりネットに公開されないための初期設定だ。

公開する前に知っておくこと

問題は見つからなかったが、AIに作らせたアプリをそのまま公開する前に、知っておいたほうがよい点が3つある。

入力した内容は、そのブラウザに残る

「注意」の8個は、入力した内容をブラウザに保存する。保存先は、使っている人のパソコンやスマホの中だけで、外には送られない。ただ、共有のパソコンで使えば、次に使う人に見えることがある。ブラウザのデータを消すと、内容も消える。

外のサービスにつなぐものは、鍵の扱いを確かめる

AIチャットは、接続用の鍵（APIキー）をコードに書かず、使う人が自分で入力する作りだった。鍵は、ブラウザから直接AIのサービスへ送られる。この作りなら、サイトを公開した人の鍵がコードから漏れることはない。一方で、自分の鍵をコードに書き込んで公開すると、誰でもその鍵を見られる。AIが鍵を書き込む場所を用意していないかは、公開する前に確かめたい。

AIは、作ったものを動かして確かめていない

今回の10個は、AIにファイルを書くこと以外を禁じて作らせた。10個とも、AI自身は一度も動かしていないと報告している。安全かどうかとは別に、思ったとおりに動くかは、公開する前に人が確かめる必要がある。

作られたアプリを触る

条件を付けずに作った10個のうち、ブラウザだけで動く8個は、上の表の「触る」から試せる。サーバーが必要な3個は、コードを読めるようにした。

• このサイトでは、アプリを外と切り離した枠の中で動かし、外への通信を止めている。天気予報とAIチャットは、外のサービスにつながらないので、天気の取得や会話はできない
• 枠の中ではブラウザへの保存が使えないため、再読み込みすると入力した内容は消える
• 公開にあたって、アプリのコードは変えていない。ファイルを1つにまとめ、安全設定を足しただけだ