AI詐欺とAI防御の軍拡競争
人工知能は、説得力のあるフィッシングメール、偽の求人情報、ディープフェイク採用動画を簡単に生成することを可能にしました。現在、サイバーセキュリティ企業は対抗するために独自のAIを展開しており、結果は複雑です。NordVPNは最近、リアルタイムで疑わしいメッセージとリンクを分析するために機械学習を使用する詐欺検出機能を立ち上げました。問題は、ユーザーに対して使用されているAIツール自体を確実に検出できるかどうかです。
タイミングは重要です。生成AIが成熟するにつれて、オンライン詐欺の洗練度は劇的に増加しました。詐欺的な求人投稿は現在、洗練されたカバーレター、リアルな企業プロファイル、および対象者の職務経歴への個別化された参照を伴って到着します。単純なキーワードベースのフィルターではもう十分ではありません。
NordVPNの詐欺検出機能が実際に行うこと
この機能は、URL、メール、およびメッセージのメタデータとコンテンツの両方を分析することで機能します。ユーザーが何かを疑わしいとフラグを立てると、チェッカーはそれを既知の脅威パターンのデータベースに対して実行し、同時に言語モデル分析を適用して、詐欺的な意図、不一致の詳細、および操作戦術を特定します。
以前のルールベースのシステムとは異なり、NordVPNのアプローチは敵対的トレーニングの形式を使用します。つまり、AI生成詐欺の例で学習されたため、これらのツールが生成するパターンを見てきました。これは理論的には有利ですが、独自の軍拡競争のダイナミクスを作成します。詐欺生成ツールが改善するにつれて、検出ツールはペースを保つために再トレーニングされる必要があります。
AI生成採用詐欺に対するテスト
大規模言語モデルで生成され、専門家を標的とした高度な採用詐欺に対する実世界テストは、微妙な絵を明らかにしました。単純なフィッシング試みの場合、ツールは良好なパフォーマンスを発揮し、疑わしいリンクと信じられない送信者の詳細を正しくフラグを立てました。課題はより高度な例で生じました。
AI生成採用詐欺は、実在の企業になりすまし、本物の従業員を参照し、信じられる求人説明を使用しています。これらの場合、詐欺チェッカーの精度は低下しました。特に詐欺的な連絡がLinkedInや送信者レピュテーションがクリーンなメールサービスなどの正当なプラットフォームを通じてルーティングされた場合です。
これは既知の制限です。AI検出ツールは、詐欺師が信頼できるインフラストラクチャを使用する場合、苦労します。実在する企業のメールドメインを使用し、実際の求人投稿を参照し、正当なビデオ会議サービスへのミーティングリンクを提供している偽の採用担当者は、どんなに高度であっても自動フィルターをすり抜けることができます。
どの検出器も解決できない制限
詐欺検出システムの根本的な課題は、詐欺を可能にする同じAI機能も検出を難しくするということです。説得力のある人間のテキストを生成する言語モデルは、標準的な真正性メトリクスで高スコアを獲得するテキストも生成します。検出ツールは、コンテンツだけではなく、行動信号（タイミングパターン、異常な要求シーケンス、既知の詐欺ネットワークとの相互参照）に頼る必要があります。
NordVPNのツールは行動分析で有望性を示し、コンテンツ精査に合格したが疑わしいリンク構造を示すか会話の異常に早い段階で機密情報を要求した複数の詐欺を正しく特定しました。これは、AI詐欺検出のための最も防御的な戦略は、単一のメッセージを分離して分析するのではなく、会話全体のパターンを見ることであることを示唆しています。
サイバーセキュリティへの広範な影響
このテストが示しているのは、サイバーセキュリティ業界が、AI対AI紛争が脅威ランドスケープの永続的な機能になる段階に入っているということです。AI生成詐欺を防御する最適なポジションにある企業は、実世界の詐欺例の最大のトレーニングデータセットを持っている企業です。これは、確立されたセキュリティ企業が新規参入者よりも持つデータの堀です。
一方、ユーザーは単一のツールを決定的な保護として扱うべきではありません。最良のアプローチは、自動検出と個人的な検証習慣を組み合わせます。採用担当者の身元を独立して確認し、異常に速く進むプロセスに注意し、関係の初期段階での財務情報または個人文書のリクエストをチェッカーが何を言おうとも赤旗として扱うことです。
ここでの広範な話は、技術民主化が両方向に切り込まれるというものです。AIは精密詐欺を低スキル攻撃者がアクセス可能にし、検出ツールをより有能にしました。今のところ、防御は走り続けているわけではありませんが、ペースを保っています。
この記事はZDNETによるレポートに基づいています。元の記事を読む。
Originally published on zdnet.com
