他のモデルとの違い

ChatGPTやClaudeなどの汎用モデルは、幅広い知識を持ち、さまざまな分野で活用されています。一方、Foundation AIはセキュリティ分野に特化しており、MITRE ATT&CKやCVEなどの専門知識を深く理解するよう最適化されています。そのため、脅威分析や攻撃シナリオの推論といったセキュリティ固有のタスクにおいて、より精度の高い応答が期待できます。また、本モデルはラップトップでも稼働するほど軽量で、ローカルLLMにもかかわらず高い精度でセキュリティ専用のLLMとして使用できます。これにより、機密データを外部に送信せずにAIを活用できます。

MITRE ATT&CK分類の精度比較

Foundation AIと通常モデル（llama-3.1-instract-model）のチャットボットを社内環境下に構築しており、応答にどのような違いがあるかを試してみました。

結果の一部を以下に記載します。
テストプロンプト

次の脅威インテリジェンス情報をMITRE ATT&CKの戦術・技術に基づいて整理してください。
情報：
「攻撃者はPowerShellを使用して認証情報を収集し、C2サーバーと通信してデータを外部に送信した。」

結果
Foundation AI（回答内容に問題はなし）

- **戦術:**
 - T1059.001: PowerShell
 - T1003: OS Credential Dumping
 - T1071.001: Application Layer Protocol: Web Protocols (C2サーバーとの通信)
 - T1041: Exfiltration Over C2 Channel (データの外部送信)
- **技術:**
 - T1059.001: PowerShellを使用してスクリプトを実行する。
 - T1003: 攻撃者がシステムから認証情報を抽出する。
 - T1071.001: Webプロトコルを利用してC2サーバーと通信する。
 - T1041: C2チャネルを使用して外部にデータを送信する。

llama-3.1（MITREの番号とあっていないものを回答）

#### 1. **攻撃者が行った行動**
- ×**T1110:** **ブラウザ操作**: 攻撃者はPowerShellを使用しました。 
○※T1110 : 認証情報のクラッキング (Credential Stuffing) 
- ×**T1210:** **ローカル資産操作**: 攻撃者は認証情報を収集しました。
○※T1210 : 遠隔サービスの利用 (Exploitation of Remote Services) 
- ×**T1046:** **コマンドおよびコントロール**: 攻撃者はC2サーバーと通信しました。
○※T1046 : ネットワークサービスのリストを取得するための技術
- ×**T1005:** **データ収集**: 攻撃者はデータを外部に送信しました。
○※T1005 : データ収集はシステム内のデータ集約
#### 2. **攻撃者の目的**
- **TA0001:** **情報収集**: 攻撃者は認証情報を収集しました。
- **TA0010:** **コントロール**: 攻撃者はC2サーバーと通信しました。
- **TA0011:** **データ盗難**: 攻撃者はデータを外部に送信しました。
#### 3. **攻撃者が使用したツール/テクニック**
- **T1052:** **プログラム実行**: 攻撃者はPowerShellを使用しました。
※T1052 : データストレージサイクリング

chatGPT-4o（内容はFoundationAIとほぼ同じで問題はなし）

戦術:
Credential Access: 攻撃者が認証情報を収集している。
Command and Control: 攻撃者がC2サーバーと通信している。
Exfiltration: データを外部に送信している。
技術:
PowerShell (T1059.001): 認証情報の収集にPowerShellを使用。
Application Layer Protocol (T1071): C2サーバーとの通信にプロトコルを利用。
Automated Exfiltration (T1020): データを外部へ送信。

このように通常モデルと違い、セキュリティに関する質問に関してかなり精度のいい回答をしており、chatGPT-4oとも遜色のない回答をしてくれました。（著者としては、chatGPT-4oより詳しい内容を回答してもらえているように感じます。そして、軽量かつオンプレで稼働するため、セキュリティアナリストの個々のタスクも大幅に効率化できる可能性を感じました。）

ログ分析

続いて、ログ分析がどの程度できるか試してみます。
今回はFoundationAIの結果のみを記載します。

（簡易チャットアプリ）

このように提供したログに対して、攻撃指標と適切な対応を提示してくれました。

本モデルはオープンソースですので、ご興味のある方は実際に構築してみてはいかがでしょうか。本記事には記載しませんが弊社に導入しているセキュリティ製品のアラートを読み込ませることで、アラートの概要をMITRE ATT＆CKベースでの分類、推奨対応策の提示等も出力することを確認しております。

ローカルLLMであるため、機密データのプライバシーを確保しながらAIを活用できる点はSOC担当者にとって非常にありがたい存在になるのではないかと個人的には感じております。

免責事項

• 本記事で紹介する応答例は、弊社環境でのテスト結果であり、実行結果は環境やモデルバージョンによって異なる可能性があります。
• 本記事の検証は教育・啓発目的であり、当該LLMの悪用を固く禁じます。
• 比較結果は弊社環境での一例であり、特定のモデルの評価を損なう意図はありません。