Root Cause Analysis （RCA）

CS社より、Root Cause Analysis (RCA)が公開されました。
Root Cause Analysis PDF
Executive summary版は、こちらの記事の「Channel File 291 RCA Exec Summary」の箇所をご参照ください。

Preliminary Post Incident Review (PIR)

CS社より、Preliminary Post Incident Review (PIR)が公開されました。
こちらの記事の「Preliminary Post Incident Review」の箇所をご参照ください。
尚、Root Cause Analysis（RCA）は、今後公開される予定です。

PIRのサマリ版（PDF）はこちらで公開されています。

サマリ

・Falcon Sensor に関連する Windows ホストのクラッシュ（BSOD）が確認されております。

・本事象の技術的な詳細（CS社ブログ記事）

・CS社のFalconプラットフォームシステムは正常に稼働しておりますので、お客様のシステムが正常に稼動している場合、Falcon Sensorがインストールされていても、システムの保護に影響はございません。Falcon CompleteおよびOverwatchサービスは、本事象により中断されることはありません。

Technical Overview

・CS社では、この問題のトリガーがWindowsセンサー関連のコンテンツ展開であることを特定し、これらの変更を元に戻しました。原因となったコンテンツは、%WINDIR%\System32\drivers\CrowdStrikeディレクトリにあるチャネルファイルです。

・原因となるチャネルファイル「C-00000291*.sys」のタイムスタンプが日本時間2024/7/19 13:09から14:27の場合、影響を受ける可能性がございます。(日本時間 2024/7/19 14:27 以降のチャネルファイルの場合は、修正が行われておりますので復旧対処の必要はございません)
　※注意: CrowdStrike ディレクトリに複数の C-00000291*.sys ファイルが存在する場合がありますがこれは正常動作です。このような場合フォルダ内のいずれかの同ファイルのタイムスタンプが 日本時間 2024/7/19 14:27 以降であれば、そのファイルがアクティブとしてみなされます。

・CS社では2024/7/23 13時半過ぎより、既存の検疫技術を使用し、BSOD問題を引き起こす原因となったチャネルファイルを持つ端末から、同ファイルを隔離する処理を行い、正常起動ができていない端末への復旧支援を実施いたしました。
これにより隔離ダッシュボード (エンドポイントセキュリティ > 隔離されたファイル)にファイル名 「C-00000291*.sys」 が複数表示される場合がございますが、処理による隔離のため問題はございません。
引き続き、正常起動ができない端末につきましては、本ページに記載の方法で端末の復旧を図っていただけますようお願い申し上げます。

File Classification Status

2024年7月19日（金）04:09 UTCに始まったシステムクラッシュの原因となったチャンネルファイルが特定され、運用システム上で非推奨となりました。非推奨になると、新しいファイルが配備されますが、古いファイルはセンサーのディレクトリに残ります。

Windowsシステムがさらに混乱するのを防ぐため、慎重を期し、影響を受けるバージョンのチャネルファイルがCrowdStrike CloudのFalconの既知の不良リストに追加されました。

CrowdStrike Cloudからは、センサーのアップデート、新しいチャネルファイル、コードはデプロイされませんでした。これは運用中のマシンにとっての衛生上の措置です。

強力なネットワーク接続（有線ネットワーク接続を想定）を持つ影響を受けたシステムについては、このアクションはブートループにあるシステムの自動回復につながる可能性もあります。これは、2024年7月23日（火）UTCにUS-1、US-2、EUで設定されました。

影響を受けない端末

・日本時間2024/7/19 14:27 以降にオンラインになったWindows端末

・日本時間2024/7/19 14:27 以降にインストールおよびプロビジョニングされたWindows端末

・MacまたはLinuxの端末

ステップ１：影響を受ける端末の特定

Advanced Event Search（高度なイベント検索） による端末特定方法

※注意: ご利用にはInsightのサブスクリプションが必要になります。

こちらのKB記事をご参照ください

ダッシュボードによる端末特定方法

ダッシュボードは、影響を受けたチャネルとCID、および影響を受けたセンサーを表示します。 サブスクリプションによっては、以下のコンソールメニューのいずれかで利用できます。
※注意: ご利用にはInsightのサブスクリプションが必要になります。

　・次世代 SIEM > ダッシュボード　(Next-Gen SIEM > Log management > Dashboard)
　・調査 > ダッシュボード　(Investigate > Dashboards)
　・ダッシュボード名: hosts_possibly_impacted_by_windows_crashes_granular_status

　　※注意:ダッシュボードはLiveボタンとは併用できません

ステップ２：復旧

ホストのクラッシュが継続して発生してしまい、クラウドからの修正の適用が行われない場合には、以下の手順で復旧が可能です。
なお、外部サイト等で、下記以外の手順が公開されておりますが、弊社及びCS社にて公開している手順を実施いただきますよう、お願いいたします。

・ブータブルメディアによる復旧方法:
　　・詳しい復旧方法についてはこちらのKB Building CrowdStrike Bootable Recovery Imagesを参照ください。
　　　また、CS社より作業手順が以下動画で公開されております。
　　　　Youtube: CrowdStrike Host Remediation with Bootable USB Drive

・ブータブルメディアを使用しない手動復旧方法:
　　・BitLockerによる暗号化端末で回復キーがある場合（非暗号化端末でも使用可能です）
　　　　・オプション 1 - Youtube: 手動によるホストの修復
　　　　・オプション2 - Microsoft KB

・Falcon Windows センサーの修復:
　　・Repairing Falcon Windows Sensors – CrowdStrikeフォルダのリネームや削除した際のセンサーの修復に関する記事へのリンク
　　・Removing locked memory.dmp files after successful remediation – センサー修復後、memory.dmpファイルがロックされていた場合の削除に関する記事へのリンク

マイクロソフト環境でのBitLockerリカバリ

　Microsoft Azure での BitLockerリカバリ
　SCCM を使用した Microsoft 環境での BitLocker リカバリ
　Active Directory と GPO を使用した Microsoft 環境での BitLocker のリカバリ 
　Ivanti Endpoint Manager を使用した Microsoft 環境での BitLocker のリカバリ 
　ManageEngine Desktop Central を使用した Microsoft 環境での BitLocker のリカバリ 
　IBM BigFix を使用した Microsoft 環境での BitLocker のリカバリ

回復キーなしでのBitLockerリカバリ

　回復キーなしでのBitLockerリカバリ

Workspace ONE ポータルでのBitLockerリカバリ

　User Access to Recovery Key in the Workspace ONE Portal

TaniumでのBitLockerリカバリ

　Reference: Windows encryption management

Citrixを利用したBitlockerリカバリ

　BitLocker recovery key

AWSリカバリ

　How do I recover AWS resources that were affected by the CrowdStrike Falcon agent?

Azureリカバリ

　Azure status

Google Cloud Platform (GCP) リカバリ

GCPのWindowsインスタンスのブルースクリーンからの手動復旧
GCP CrowdStrike File Remediation Script - GCPに存在する影響を受けたホストを修復するためにお客様が使用できるPythonスクリプト

パブリック クラウドまたは仮想を含む同様の環境の復旧手順

　[オプション１]
　　1. 影響を受ける仮想サーバーからオペレーティングシステムのディスクボリュームを切り離す
　　2. 先に進む前にディスクボリュームのスナップショットまたはバックアップを作成。（意図しない変更に対する予防策）
　　3. ボリュームを新しい仮想サーバーに接続/マウント
　　4. “%WINDIR%\\System32\drivers\CrowdStrike” ディレクトリに移動
　　5. “C-00000291"から始まるファイル名で、“.sys” で終わるファイル（“C-00000291*.sys”）を削除
　　6. 新しい仮想サーバーからボリュームを切り離す
　　7. 影響を受けた仮想サーバーに固定ボリュームを接続/マウント

　[オプション２]

　　日本時間2024/7/19 13:09より前のスナップショットにロールバック

Intel vPro テクノロジー修復ガイド

　Remediate CrowdStrike Falcon® update issue on Windows systems with Intel vPro® technology

Absolute Software サポート

　Steps to Repair BSOD Devices and Run Corrupted File Detection Procedure

Rubrikリカバリ

　CrowdStrike & Rubrik Customer Content Update Recovery For Windows Hosts

Cohesityサポート

　Cohesity’s support for CrowdStrike’s Falcon Sensor updates

お問い合わせ先

本事象に関しましては、以下、弊社サポートサイト記事、及びCS社記事を公開しており、本ページと合わせ弊社サポートサイトの記事も随時更新いたしますので、ご参照ください。
※弊社サポートサイトではダッシュボードの操作方法や、本件に関する事例等の情報も公開しております。

　弊社サポート記事：https://support.mnc.macnica.co.jp/hc/ja/articles/35269019637657　
　CS社記事：https://supportportal.crowdstrike.com/s/article/Tech-Alert-Windows-crashes-related-to-Falcon-Sensor-2024-07-19

株式会社マクニカ　ネットワークス カンパニー
CrowdStrike製品サポート担当：crowdstrike@macnica.co.jp

改訂履歴

2024/07/19　21:00　初版公開

2024/07/19　23:00　以下の項目を更新
・詳細の追記
・現在のアクション（回避策）の追記
　・個々のホストに対する回避策の手順
　・パブリッククラウドまたは同様の環境での回避手順
・リンク情報の追記
　・AWS上の仮想マシンでの回避手順についてのAWS記事
　・Bitlockerのリカバリ手順についてのCS社記事

2024/07/20　2:45 以下の項目を更新
・詳細の更新
　・以下の文言を削除
　　Windows 7 および Windows Server 2008 R2のホストは本事象の影響はありません。
・現在のアクション（回避策）を更新
・クエリに関する情報を追記
　・Advanced Event Search（高度なイベント検索）を使用して、影響を受けるホストを確認するためのクエリ
・リンク情報の追記
　・Workspace ONEポータルでのユーザーアクセスリカバリキー
　・Bitlockerのリカバリ手順についてのCrowdStrike社記事

2024/07/20 7:30
・記事タイトル、概要を更新

2024/07/20 10:30　
・クエリに関する情報を更新
・リンク情報の追記
　・GCPでのWindowsインスタンスの自動リカバリ
　・Taniumを利用したWindows暗号化管理
　・Citrixを利用したBitlockerリカバリ
・リンク情報を更新
　・AWS上の仮想マシンでの回避手順についてのAWS記事

2024/07/20 12:30
・影響を受けるホストを確認するためのダッシュボードの追加
・個々のホストに対する回避策の手順を更新

2024/07/20 19:00
・Bitlockerリカバリキーが利用できない場合の対処方法に関するメーカ記事(Bitlocker recovery without recovery keys)を追記

2024/07/20 21:00
・GCPでのWindowsインスタンスの自動リカバリの記事、Bitlockerのリカバリ手順についてのCS社記事のリンクを更新

2024/07/21 11:00
・Technical Overview、影響を受けない端末を追記
・影響を受ける端末の特定、復旧手順について整理

2024/07/21 20:30
・リカバリツールによる削除手順を追記

2024/07/22 19:15
・影響を受けない端末 の内容を追記
・ステップ１：影響を受ける端末の特定 の内容を更新
・Advanced Event Search（高度なイベント検索） による端末特定方法 を更新

2024/7/23 11:00
・ステップ２：復旧 の内容を更新
・Google Cloud Platform (GCP) リカバリ の内容を更新

2024/7/23 20:50
・ステップ２：復旧 の内容を更新

2024/7/24 08:40
・ファイル分類ステータスの更新 の内容を追記

2024/7/24 14:08
・Preliminary Post Incident Review (PIR) を追記

2024/7/24 16:00
・ファイル分類ステータスの更新 の内容を更新
・Falcon Windows センサーの修復 を追記

2024/7/25 9:15
・PIRのサマリ（PDF）版に関する情報を追記

2024/07/26 2:30
・ブータブルメディアによる復旧方法の動画リンクを追記

2024/07/27 6:30
・Falcon Windows センサーの修復 にて情報を追記
・Absolute Software サポート を追記

2024/08/07 9:45
・Root Cause Analysis (RCA) の情報を追記