AIアプリに潜む性的・暴力的ディープフェイク機能：App Store審査をすり抜けた手口

この記事のポイント

• App StoreとGoogle Playで、性的・暴力的ディープフェイクを生成する隠し機能を持つAIアプリが400以上発見されました。
• これらのAIアプリは、ユーザーがアップロードした写真を利用し、性的または暴力的なディープフェイク画像を生成する機能を有していました。
• 巧妙な「ベイト・アンド・スイッチ」戦術でアプリ審査をすり抜け、プラットフォームは対応に追われています。

AppleのApp StoreとGoogle Playストアにおいて、隠された性的および暴力的なディープフェイク機能を搭載したAIアプリが400以上も存在していたことが明らかになりました。米メディア9to5Macの報道によると、これらのアプリは巧妙な手口でプラットフォームの審査を通過し、ユーザーに深刻な被害をもたらす可能性があったと報じられています。

App Storeをすり抜けたAIディープフェイクアプリの実態

Wiredの調査により、400を超えるAIアプリが、単一の中国系組織によって作成された可能性が指摘されています。これらのアプリは、一見するとペットの写真加工、語学学習、AIワークアウトコーチといった無害なサービスを装っていました。しかし、特定の条件下でアクセスすると、隠されたウェブインターフェースがロードされ、ユーザーがアップロードした写真を使って露骨な性的または暴力的なAI画像を生成できる機能が有効になる仕組みでした。

生成されるディープフェイクには、「寝室でのレイプ」や「脅迫的なナイフ」（男性が女性の首にナイフを突きつける）といったテンプレートが含まれていたと報じられています。これらのアプリは、被害者を屈辱に陥れたり、脅迫したりする目的で悪用される恐れがありました。

巧妙な審査回避とプラットフォームの対応

これらのAIアプリは、「ベイト・アンド・スイッチ」と呼ばれる巧妙な手口を用いて、Apple、Google、Metaといった大手プラットフォームの厳格な審査ポリシーをすり抜けていました。通常時、アプリは無害なコンテンツを表示しますが、特定のサーバーチェックや、Metaプラットフォーム（FacebookやInstagram）上のディープフェイク機能に関する広告をタップしてダウンロードした場合などに、隠し機能が有効化される仕組みでした。

9to5Macによると、数千もの動画広告がFacebookやInstagramに掲載されており、これらのアプリが「公然と隠れていた」状態だったと指摘されています。AppleはWiredからの詳細な情報提供を受け、19のアプリを削除しました。Appleは、アプリが承認された後に開発者がコンテンツ提供元のウェブサイトを変更し、承認された内容をポルノコンテンツに差し替えたと説明しています。また、Metaもこれらのアプリに関連する1万以上のアカウントに対して措置を講じたと発表しました。

【管理人の視点】

今回のAIディープフェイクアプリ問題は、日本国内のユーザーにとっても無関係ではありません。App StoreやGoogle Playは世界中で利用されており、これらのアプリが日本市場でも配信されていた可能性は十分にあります。ディープフェイク技術の悪用は、個人のプライバシー侵害や名誉毀損といった深刻な問題を引き起こすため、国内でも法整備や規制の議論が進められています。

しかし、今回の事例は、プラットフォーム側の審査体制が、開発者の巧妙な手口によって容易に回避されうる現状を浮き彫りにしました。特に、アプリの承認後にコンテンツが変更される「ベイト・アンド・スイッチ」戦術は、従来の審査プロセスでは発見が困難です。今後、AppleやGoogleといったプラットフォームは、AI技術の進化と悪用の両面を考慮し、より高度な監視メカニズムやリアルタイムでのコンテンツチェック体制を構築する必要があるでしょう。ユーザー側も、安易なアプリのダウンロードや、個人情報（特に写真）のアップロードには細心の注意を払うことが求められます。

まとめ

App StoreとGoogle Playで発見された隠し機能付きAIディープフェイクアプリは、AI技術の悪用がもたらす新たな脅威と、プラットフォームの審査体制が抱える課題を浮き彫りにしました。開発者が巧妙な手口で審査を回避し、性的・暴力的なコンテンツを生成する機能を提供していたことは、ユーザーの安全とプライバシーに対する重大な侵害です。今後、プラットフォーム側はより厳格な審査と監視体制を構築し、AI技術の健全な利用を促進するための対策を強化していくことが求められます。

情報元：9to5mac.com