ＡＩ開発を取り巻く現状に警鐘を鳴らす作家・ジャーナリストの小林雅一氏人工知能（ＡＩ）が脅威として語られる時、その論点は人間の仕事が奪われる「雇用喪失」の問題と、人間の知能を超えるという「シンギュラリティ」の問題のふたつに集約される。
だが、作家・ジャーナリストの小林雅一氏が上梓した『ＡＩが人間を殺す日』（集英社新書）は“ＡＩ問題の核心”がもっと身近なところにあると教えてくれる。それは「自動運転」「医療」「兵器」という、人間の命に関わる３つの分野だ。人間は“命に関わるＡＩ”を本当に使いこなすことができるのだろうか？ 小林氏に話を聞いた。
―『ＡＩが人間を殺す日』――かなり刺激的なタイトルですが、最初は人工知能が人類を支配する“２０４５年問題”とかＳＦじみた話が語られているのかなと。でも、小林さんが訴えたいのはもっとリアルな問題で…。
小林 仰る通り、囲碁の世界チャンピオンや将棋の一流棋士をことごとく打ち破っている現在のＡＩ（人工知能）は、まさに本物でしょう。私は世界が第二次ＡＩブームに沸いていた１９８０年代後半、東芝の研究所でＡＩ開発等も手掛ける部署に所属していましたが、当時からすれば想像もできないレベルに今は達しています。
私が懸念するのは、そんな最先端のＡＩ技術が今、まさに人間の命に直結する自動車、医療、兵器などの分野に導入され始めていることです。
例えばドイツのアウディは来年、高速道路での“手放し運転”が可能なレベル３の自動運転車を市場に投入します。また医療分野ではＭＲＩやＣＴスキャンの断層画像をＡＩで解析する手法等の臨床研究が着々と進んでいます。さらに軍事では“上空から地上のテロリストを監視する自律的ドローン”等がすでに実証実験の段階です。
でも、私たち人間がこれら先端ＡＩを本当に使いこなせるのか？と問われれば、現時点での答えは微妙。イエスともノーとも断定できない状態です。そして、現在のＡＩ開発競争はそこを置き去りにしたまま、次なる段階へと突き進もうとしているように見える。“これはいよいよマズイぞ”と思ったのが本書を執筆する動機となりました。
―人間は「命に関わるＡＩ」を使いこなせないと？
小林 その兆候はすでに表れています。例えば、昨年５月に米フロリダ州の高速道路で起きたテスラ製の電気自動車「モデルＳ」の衝突・死亡事故です。
―テスラの「モデルＳ」にはどんな欠陥があったのですか？
小林 車両自体に問題はなく、事故を回避できなかったのは『ドライバーが手放し運転を行なうなど想定外の使い方をしていたためであり、責任はドライバーにある』というのが事故調査に当たった政府機関の公式見解でした。つまりテスラ側の製造者責任は問われなかったのです。
しかし、この事故の根本原因はドライバーがモデルＳの性能を過大評価することによって、運転を機械（車）に“丸投げ”したことにあると私は考えています。
モデルＳはテスラ社が「オートパイロット（自動操縦）」と称する自動運転機能を備えていた。これは高速道路限定ではありますが、ドライバーがハンドルに軽く手を添えた状態での自動操舵が可能。ただし、ハンズフリーの状態が１５秒続くと警告音が鳴り、ドライバーはハンドルを握って手動運転を再開しなければならない。つまり、（少なくとも当時の）本物の自動運転車には程遠い”名ばかり”自動運転車でした。
このため、テスラ社は公式にはオートパイロットを「自動運転ではない」と断っていました。ですが、実際には半ば自動運転に近い機能として事あるごとにメディア等で宣伝していました。（事故で亡くなった）ドライバーはそれを真に受けて、手放し運転をしてしまったのです。
事故の原因は「モード・コンフュージョン」？
―広告で派手に「オートパイロット」なんて謳（うた）っておいて、下の註釈欄に「※これは自動運転車ではありません」などと小さな文字で書かれているようなものですね。そこまでしっかり理解せずに車両を購入した人が、その性能を過信したまま運転して…。
小林 実際、政府機関は『テスラ側に事実上の誇大宣伝があった』ことは承知していましたが、その責任を厳しく追及するところまでは至りませんでした。この辺りから見て、私はテスラ側の販売姿勢にかなり問題があったと感じています。
―来年にはアウディがレベル３の自動運転車を発売するとの話ですが、その辺りの問題はクリアされるのでしょうか？
小林 来年発売する高級セダン「Ａ８」は「レベル３」の自動運転システムを搭載する初の量産車となります。「レベル２」に分類されるテスラのオートパイロットより一歩進んでいて、高速道路限定ではありますが、手足をハンドルやアクセル、ブレーキ等から離して運転できるレベルに達しています。
これにより、例えば“車の中でメールを送信したり、簡単なゲームで遊ぶ”といったことができるようになります。周囲の物体の位置や距離を検知する高性能レーダーを備え、自動運転では対処できない路上トラブルをＡＩが察知すると警告アラームが鳴り、ドライバーに危険を回避する手動での運転を促します。
ただし、これも半自動運転であることは「モデルＳ」と変わりません。半自動運転とは、言ってしまえば“中途半端”な自動運転車。車の制御権がドライバーと自動運転機能の間を行ったり来たりします。その時に問題となるのが「モード・コンフュージョン」と呼ばれる現象です。
―モード・コンフュージョン？
小林 走行中に“今、車を運転しているのは自分なのか、自動運転機能なのか？”があやふやになり、ドライバーが混乱する状態のこと。
例えば自動運転モードで走行中、前方に危険なものがあると警告音が車内に響き、ドライバーは自分でブレーキを踏んで車を減速させます。すると、その時点で自動運転モードは解除されますね。しかし、その後も運転が続く中で“自動⇔手動”を繰り返していると、どこかのタイミングで“今、どっちに制御権があるんだ？”と混乱する状況が生まれる。あるいは、手動運転モードなのに当人は自動運転モードが続いているんじゃないかという精神状態に陥ることも予想されます。
実は、先程のフロリダ州での死亡事故以外にも、アメリカでは半自動運転に関与した事故が多く、昨年１月には中国でもオートパイロット使用中と見られる死亡事故が発生しました（テスラ社は『オートパイロットが作動していたかは不明』としている）。それらの事故の主たる原因が、この「モード・コンフュージョン」であると言われています。
―なるほど、確かにありそうな話ですね。
小林 世界の主要メーカーは半自動運転から着手して徐々にスペックを上げ、最終的に完全な自動運転を実現するというアプローチで開発を進めています。その開発途上で半自動運転車を市場に投入してくるわけですが、そこには「モード・コンフュージョン」という宿命的な問題がつきまとう…。
なぜ暴走するのかは開発者でもわからない…
―人工知能が人間を支配する２０４５年問題など、巷（ちまた）では現実感のないＡＩ脅威論が語られることが多いですが、“人間の生死に関わる問題＝ＡＩが人間を殺す日”はすでに私たちの足元まで迫ってきていると…。そんな中で今後、ＡＩはどんな方向へと進み、それは人類とどう関わっていくのでしょう？
小林 ＡＩの開発競争はますます過熱し、今後、主流になっていくのが「ニューラルネット（ディープラーニング）」です。これは簡単にいえば脳の仕組みを模倣し、人間がいちいちルールを教え込まなくても、自ら学んで賢くなる機械学習能力を備えた自律型のＡＩ技術のこと。
例えば「自ら標的を定めて突っ込んでいくミサイル」も「病気の発症予測をする医療用ＡＩ」も「完全自動運転車」も、この技術が不可欠とも言われます。が、このニューラルネットは内部の情報伝達ルートが複雑すぎて、ＡＩの研究開発に携わる技術者でさえ、その動作メカニズムや思考回路を把握しきれなくなる“ブラックボックス化”の問題が懸念されています。
ブラックボックス化は今後、例えば診断や治療にＡＩを導入する病院が出てきたとして「この患者は○○という難病に罹（かか）っていて、治療には○○という新薬が有効」とＡＩが判断しても、その理由や根拠が担当医にもエンジニアにもわからないという事態に繋がります。
また、ニューラルネットを搭載したＡＩ囲碁ソフトが対局中に突如、狂ったような手を連発して自滅することがありますが、そのソフトを開発したエンジニアは「なぜシステムが暴走したのか私たちにも原因はわからない」と言います。これも内部メカニズムを把握できないからです。
現代のＡＩは、確かに驚くほど高い精度で正解を導き出すことができます。でも、だからといって“ブラックボックス化したＡＩ”を無条件で受け入れ、私たちの生死に関わる重大な判断を委ねることが、果たして賢い選択といえるのかどうか…。
この辺りで一度立ち止まり、人間を不幸にしないＡＩとの付き合い方を冷静に考えるべき時にきていると思います。
（構成／興山英雄）
●小林雅一（こばやし・まさかず）１９６３年、群馬県生まれ。作家・ジャーナリスト、情報セキュリティ大学院大学客員准教授。東京大学理学部卒業後、同大学院、東芝、日経ＢＰなどを経てボストン大学に留学、マスコミ論を専攻。帰国後、慶應義塾大学メディア・コミュニケーション研究所などを経て、現職。著書に『ＡＩの衝撃 人工知能は人類の敵か』（講談社現代新書）など多数。
