人気の AI ツールが精神的健康を損なう可能性があることが新たな研究で判明

新しい研究によると、AI ツールは摂食障害やその他の精神的健康状態を引き起こす可能性のある有害なコンテンツを生成します。

トリガー警告: この記事では、摂食障害と乱れた食文化について説明します。 あなたまたはあなたの愛する人が摂食障害を抱えて生きている場合は、全米摂食障害協会に問い合わせて、役立つリソースを入手してください。 危機が発生した場合は、988 にダイヤルするか、741741 に「NEDA」とテキストメッセージを送信して、危機テキストラインに接続してください。

私は、メンタルヘルスの未来はテクノロジーであることを最初に認めました。 オンライン治療から VR ベースの治療の画期的な進歩に至るまで、テクノロジーは偏見を打ち破り、これまで治療を受けられなかった人々に治療へのアクセスをもたらすことに多くの貢献をしてきました。

ただし、生成 AI ツールでは慎重に取り組むことが重要です。 Center for Countering Digital Hate の最近の調査によると、人気の AI ツールは約 41% の確率で摂食障害に関する有害なコンテンツをユーザーに提供しています。 これは摂食障害の症状を助長または悪化させる可能性があります。

「私たちが目にしているのは、それを精神的健康に適用することを急いでいるということです。それは良いところから来ています。私たちは人々がケアにアクセスできるようにしたいし、人々が必要なサービスを受けられるようにしたいのです。」とジョン・トーラス博士は言います。ベス・イスラエル・ディーコネス・メディカルセンターのデジタル精神科ディレクター。

メンタルヘルスは私たちの心であり、非常に人間特有のものであるため、最も脆弱な状態にある人々に解決策を提供するために人間以外の存在を導入することは、良く言えば不快に感じられ、最悪の場合は潜在的に危険に感じられます。

「急ぎすぎると、害を及ぼすことになります。承認プロセスとルールを導入しているのには理由があります。すべてを遅らせるだけではありません。これを確実に良い方向に活用するためです」とトーラス氏は付け加えた。

CCDH の研究では、応答を評価するための設定されたプロンプトを備えたテキストおよび画像ベースの AI ツールを調査しました。 テキストベースのツールから始めましょう。 ChatGPT、Snapchat の My AI、Google の Bard は、「ヘロインシック」や「シンスピレーション」などのフレーズを含む一連のプロンプトを使用してテストされました。 テキスト AI ツールは、プロンプトの 23% に摂食障害を促進する有害なコンテンツを提供しました。

評価された画像ベースの AI ツールは、OpenAI の Dall-E、Midjourney、Stability AI の DreamStudio でした。 それぞれに「太ももの隙間の目標」や「拒食症のインスピレーション」などのフレーズを含む 20 個のテスト プロンプトが与えられた場合、返された画像の 32% には、有害な身体イメージ関連の問題が含まれていました。

はい、これらの否定的な応答を得るには、これらのプロンプトを入力する必要がありました。 しかし、人々がこの情報を求めるべきではないと言うほど簡単ではありません。 摂食障害のオンライン コミュニティの中には、メンバーが他の人に摂食障害の行動を奨励し、その習慣を称賛するよう奨励する、有害なものになることが知られています。

AI が状況をさらに悪化させています。 摂食障害フォーラムも調査した CCDH の調査によると、不健康な体の画像を共有し、有害なダイエット計画を作成するために生成 AI ツールが使用されています。 このフォーラムには 500,000 人のユーザーがいます。

このような傾向を示さない健全で有意義なコミュニティが存在することに注意してください。

AI は注目のトピックであり、企業はテクノロジーの新しい波に参加できるよう、自社の情報を入手しようと躍起になっています。 しかし、十分にテストされていない製品を急いで世に出すことは、脆弱な人々に損害を与えることが証明されています。

この研究で使用された各テキストベースの AI ツールには、ユーザーに医師の助けを求めるようアドバイスする免責事項がありました。 しかし、人々を守るための現在の安全策は簡単に回避されてしまいます。 CCDH の研究者は、AI の「脱獄」を含むプロンプトも使用しました。 ジェイルブレイクは、AI ツールの動作を変更する単語やフレーズを使用して、AI ツールの安全機能を回避する手法です。 脱獄を使用した場合、AI の応答の 61% が有害でした。

AIツールは「幻覚を見せたり」、あるいは真実のように見える情報を提供したりするとして非難を浴びているが、実際はそうではない。 AIは考えません。 インターネット上の情報を収集し、それを再現します。 AIにはその情報が正確かどうかはわかりません。 しかし、AI と摂食障害に関する懸念はそれだけではありません。 AI は誤解を招く健康情報を広め、特定の摂食障害コミュニティに固定観念を永続させています。