AIチャットボットの危険性とは

最近では、さまざまな企業がホームページなどでAIチャットボットを活用しているのをよく見かけます。AIチャットボットは人の代わりに応答してくれるため非常に便利で効率化にも貢献するものであり、非常に便利です。しかし便利な反面、危険性もある点をあらかじめ知っておくことも大切です。

AIチャットボットにはどんなリスクがある？

AIチャットボットにはさまざまなリスクがあります。例えば下記のような危険性があると考えられます。

悪用される危険性

AIチャットボットは悪用されるリスクがゼロではないといえます。悪意のある攻撃者に悪用されることによってスパムメッセージの送信やユーザー情報の窃取、マルウェアの配布などの攻撃が行われる可能性が考えられます。

フィッシング詐欺やマルウェア感染のリスク

AIチャットボットは、ユーザーと会話をする中で個人情報を集めることが可能です。そのため、悪意ある攻撃者がAIチャットボットによって集められた情報を利用し、フィッシング攻撃を行うケースも考えられます。

また、悪意あるリンクや添付ファイルをAIチャットボットに送信させるケースもあるかもしれません。しかも、これらのリンクやファイルがマルウェアを含めることにより、攻撃者はシステムに侵入できるようになってしまいます。

プライバシーの侵害の危険性

AIチャットボットを利用する際に、ユーザーが入力した情報がどこかに保存される可能性もあります。このように保存された個人情報を含む情報が第三者に漏れてしまい、プライバシーが侵害されるリスクも考えられます。

誤った情報提供の可能性

AIチャットボットはさまざまな情報を提供してくれます。その際には、正確な情報が提供されるように設計が行われているものの、場合によっては誤った情報（ハルシネーション）が提供されてしまうケースもゼロではないといえます。この誤った情報提供が拡散されてしまうケースもあるかもしれません。

ちなみにハルシネーションとは、生成AIを搭載したチャットボットが応答するために必要な情報を見つけられない場合に、AIが事実に基づかない情報を生成してしまう現象をいいます。チャットボットを使用しているユーザーは真実と信じてしまい、それを拡散してしまうとさらに問題が大きくなる可能性もあります。

データポイズニングされている可能性

データポイズニングとは、人工知能を標的としたサイバー攻撃です。これは、データを学習するというAIの特徴を悪用したものです。具体的には、AIが学習に使用するデータセットに不正なデータを混入させ、AIの学習や発展過程そのものを妨害します。このことにより、攻撃者が希望する出力が生成されてしまう可能性も十分に考えられます。

AIチャットボットもデータを学習していくものであるため、この攻撃を受ける可能性があるといえるでしょう。

偏見と差別を増幅するリスク

AIチャットボットの危険性として考えられるのが、偏見や差別を増幅する可能性がある点です。これは、AIはデータにより学習をしていくわけですが、そのデータの内容によっては差別的になってしまうことがわかっています。これは、2016年にマイクロソフトのAIチャットボットである「Tay（テイ）」が悪意あるユーザーが学習させた言葉によって、問題ある発言を繰り返し、公開が中止された騒動があったことでも知られています。

以上から、企業はAIチャットボットを構築・導入する際に注意しないと、顧客に対して暴言を吐いたり、有害なコンテンツの拡散を行うようになってしまう可能性が考えられます。

プロンプトインジェクション攻撃を受けているリスク

プロンプトインジェクション攻撃は、悪意のあるテキスト（プロンプト）をAIチャットボットに入力して、開発者や運用者が意図していなかった動きをさせる攻撃をいいます。

この攻撃は、AIチャットボットの内部情報を盗んだり、システムを悪用したりすることを目的として行われるほか、AIチャットボットが使用しているプロンプトや設定を表示させたり、AIチャットボットに不適切な言葉や内容を発現させるといったことが行われる場合もあります。

AIチャットボットの危険性をできる限り抑えることが大切

こちらのページでは、AIチャットボットの危険性について紹介してきました。AIチャットボットは非常に便利なツールでありぜひ活用したいものではありますが、その際には危険性もある点を念頭に置いておく必要があります。これらの危険性があるという点を認識し、必要に応じて対策をしていくことが重要であるといえるでしょう。

• 社内業務を効率化する賢いチャットボットがすぐわかる│チャッと！ディスカバリー
• 社内向けのチャットボットとは？知っておきたい基礎知識
• RAG（検索拡張生成）とは
• チャットボットと有人チャットの違いについて
• コーパス・自然言語処理とは？【チャットボット基礎知識】
• チャットボット導入におけるセキュリティ対策とは？
• AIチャットボットの仕組み
• チャットボットは自作できるのか？
• AIチャットボット解約の手続き
• チャットボットとGPTの違いについて