ICT の発展やビッグデータの蓄積により、企業がデータから知見を得て競争力やリスク対策に活かす動きが加速しています。サイバーセキュリティの領域でも、ログや通信データの分析が重要性を増しているといえるでしょう。
この記事では、データマイニングの意味に加え、データマイニングを行う際の 5 つの代表的な分析手法、進め方、AI との違いなどを解説します。
目次
データマイニングとは、大量のデータから未知のパターンや有用な知識を発見する手法
データマイニングとは、コンピュータを用いて大量のデータから未知のパターンや有用な知識を発見する手法のことです。
データベースにおける知識発見（KDD：Knowledge Discovery in Databases）の一環として語られることが少なくありません。マイニングとは「採掘」を意味する言葉であり、データという鉱山から知識を掘り起こして発見するイメージが反映されているのです。
データマイニングで行うのは、統計学、機械学習、AI などの技術を組み合わせた分析・分類・予測です。データマイニングで得られた成果は、大きく「保有データの傾向を把握する記述的知見」と「将来を予測する予測的知見」に分類されます。データマイニングはビジネスの場面でも活用可能で、顧客理解、需要予測、品質改善などの意思決定の材料となります。
分析結果をどのように施策に反映するかは、最終的に人の知恵が担うことも忘れないようにしましょう。
データと知識の階層
データをビジネスや対策に活かすには、単に数値やログを集めるだけでなく、段階を踏んで意味を深めていく考え方が有効です。一般的に、データの活用プロセスは「データ」「情報」「知識」「知恵」の 4 つの階層に分けて整理されます。
この 4 階層は、DIKW（Data・Information・Knowledge・Wisdom）モデルとしても知られています。データマイニングは、主にデータから知識までの昇華を支援する手法であり、施策への反映や優先順位付けといった知恵の部分は、最終的に人が担うというのが一般的な理解です。
■人とデータマイニングのそれぞれが担当する階層
例えば、顧客セグメントや相関の可視化により施策の精度を向上させたい場合、「顧客セグメント」「相関」といった知識を得るためには、売上ログや顧客属性といったデータを収集した上で、そのデータをランキング形式などで整理した情報が必要です。分析の前段階で、どのデータが意思決定に必要かを整理しておくことが重要といえるでしょう。
データマイニングの代表的な分析手法
データマイニングは、分析の目的とデータの特性に応じてさまざまな分析手法を活用します。代表的な5つの分析手法を紹介します。
クラスタリング
クラスタリングは、データの類似性にもとづき、あらかじめカテゴリを決めずにグループ化する手法です。顧客の購買行動や属性の塊を発見し、ターゲット施策に活かします。
例えば、購買頻度や商品カテゴリの傾向からセグメントを抽出し、マーケティングの打ち手を最適化する場面で用いられ、「どのような顧客層が存在するか」を探索するのに役立ちます。
また、セキュリティ領域でクラスタリングを活用することも可能です。通常と異なるアクセスパターンをグループ化して把握し、異常検知に活用されることもあります。
アソシエーション分析
アソシエーション分析とは、複数の項目の同時発生や関連性を統計的に抽出する手法です。商品の組み合わせやレコメンド施策の設計に用いられ、マーケットバスケット分析としても知られています。
例えば、同時に買われた商品の傾向を把握することにより、陳列やバンドル販売のアイディアを検討できるようになります。「A を購入した人は B も購入しやすい」といった法則を発見し、クロスセルや関連商品の提示につなげるのです。支持度や信頼度などの指標でルールの強さを評価する手法が採られることもあり、施策の優先順位付けに活用できます。
回帰分析
回帰分析は、変数間の関係をモデル化し、将来の数値を予測する手法です。需要予測や要因分析など、経営判断の補助に活用できます。
この手法は、売上や在庫、設備稼働率など、数値で表現できる指標の予測に適しています。気温と広告効果の関係などを定量化でき、「どの要因がどれだけ結果に影響するか」を把握する上でも有効です。
決定木分析
決定木分析とは、条件ごとにデータを分岐させ、分類や予測を行う手法です。例えば、顧客属性と購買傾向の関係をツリー形式で分析します。
ツリー形式のイメージで把握できるため、分析結果を説明しやすい点が特徴です。社内での合意形成や、ルールベースの施策設計にも活用しやすいといえるでしょう。
「年齢が◯歳以上かつ購買回数が△回以上」といった条件の組み合わせが視覚的に理解できるため、非専門のステークホルダーへの説明にも向いています。
外れ値検出
外れ値検出は、通常パターンから外れるデータを検出する手法です。検出された外れ値が真の異常か、単なるノイズかをドメイン知識で判断するプロセスが不可欠です。
不正取引や異常なアクセスなどを発見するのに役立つため、セキュリティ領域で不正検知のアラートを絞り込む際に役立つ重要な分析手法といえます。
データマイニングの進め方
データマイニングのプロジェクトは、一定の手順に沿って進める必要があります。一般的なステップは以下のとおりです。
■データマイニングの進め方
1. 目的の明確化
データマイニングのプロジェクトを進める際は、最初に目的を明確化します。ビジネス上の課題と分析で得たい知見を定義しましょう。
データマイニングを進める際は、データの収集を始める前に、解決したい課題を明確にすることが重要です。目的が曖昧だと有用な結果が得られにくく、分析手法やデータ範囲の選定もぶれる可能性があります。
「何を知りたいのか」「その知見で何を改善するのか」を言語化し、KPI や成功指標をあらかじめ設定すれば、分析結果の評価基準が明確になる上に、関係部署との合意形成もスムーズになります。
2. データ収集と前処理
目的を明確化したら、目的に沿ったデータを収集し、内容を確認します。単にデータを集めるだけでなく、欠損、重複、外れ値の処理といったデータの前処理も必要です。
前処理では、データの定義や粒度をそろえ、分析に耐える品質を確保することが求められます。加えて、部門ごとに形式が異なるデータがあった場合は、統合前に単位などをそろえる作業も必要です。
3. 分析と評価・展開
データの収集と前処理が終わったら、データの分析と評価を行い、その結果を組織内に展開します。
データ分析では目的に合った分析手法を用いて、データの中から傾向やパターンを見つけ出しましょう。加えて、その結果がどれだけ信頼できるかを確かめる評価も重要です。
分析・評価を行ったら、分析結果をダッシュボードやレポートで関係者に共有し、意思決定プロセスへ組み込みます。得られた知見を施策に反映した上で、一度の実行で終わらせずに、市場や業務の変化に応じて分析を繰り返し、知見を更新していくことが重要です。
データマイニングの活用事例
データマイニングは、業界を問わずさまざまな領域で活用されています。例えば、以下のような分野での活用事例があります。
小売業・マーケティングでの活用事例
小売業やマーケティングの分野では、購買データから顧客セグメントや併売傾向を把握し、関連商品の提案や販促タイミングの最適化といった施策を実施する際にデータマイニングが活用されています。こういった活用方法では、アソシエーション分析とクラスタリングを組み合わせて、施策の精度を向上させることも可能です。
金融業界での活用事例
金融業界では、取引データのパターン分析により、不正の兆候や異常な取引を早期に検知する場面でデータマイニングが用いられます。外れ値検出やクラスタリングの結果を、与信判断やリスク管理の補助材料として活用することも考えられます。
製造業界での活用事例
製造業界では、設備のセンサーからのデータや検査結果を分析し、故障の予兆や不良の要因を把握するためにデータマイニングが活用されます。回帰分析や決定木分析により、いつ、どの工程で問題が起きやすいかを可視化し、壊れる前に保全を行う予兆保全や品質改善につなげることが可能です。
セキュリティ分野での活用事例
セキュリティ分野でも、データマイニングは活用されています。
例えば、アクセスログや通信パターンから、通常と異なる挙動を検出することが可能です。外れ値検出やクラスタリングにより、不正アクセスの兆候の早期発見に役立てることも考えられます。
大量のログから相関関係や時系列の異常を見つけ出し、インシデント発生時の調査の効率化に活かすこともできるでしょう。データマイニングによるログ分析の結果が、セキュリティツールによるアラート発生時の対応の優先順位付けに役立つこともあります。
データマイニングと類似した言葉との違い
データマイニングは、データ分析や機械学習・AI といった言葉と混同されることも少なくありません。それぞれの位置づけを整理しておきましょう。
データ分析との違い
データ分析は「データを調べて傾向を把握する」活動全体を指す広い言葉であり、データマイニングはその中でも「大量のデータから、人が見落としがちなパターンを自動で見つける」ことに特化した手法です。
データ分析には、売上の集計やグラフ化など、比較的小規模なデータを扱う作業も含まれます。一方、データマイニングは顧客データやログなど膨大なデータを対象に、クラスタリングやアソシエーション分析などの手法で隠れた傾向を探す点が特徴です。
両者は、目的とデータの量・種類に応じて使い分けましょう。例えば、日次の売上推移を確認したい場合はデータ分析、購買履歴から未知の顧客層を発見したい場合はデータマイニングといったパターンが考えられます。
機械学習・AI との違い
データマイニングは、知見を発見して人の意思決定を支援するための手法のことであり、機械学習・AIのような技術そのものを指す言葉ではありません。なお、AI とは、機械学習を含む人工知能技術全体を指す言葉です。
データマイニングと機械学習・AI は対立するものではなく、例えばデータマイニングで見つけた顧客セグメントを機械学習の学習データに活用するなど、相互に補完し合う関係にあります。
データマイニングの導入・運用時の注意点
データマイニングを導入・運用する際には、注意すべきポイントもあります。以下の 3 点を念頭に置きながら活用していきましょう。
目的に合ったデータを集める
データマイニングでは、目的に合ったデータを集めるようにしなければなりません。手段と目的が逆転し、データを集めることが目的化すると、成果を出すのは困難です。
データウェアハウスを整備する
データマイニングでは、データウェアハウスを整備することも重要です。
データウェアハウスとは、膨大なデータを分析するために整理・統合したデータを蓄積する基盤のことです。部門ごとに散在するデータを一元化し、データマイニングの対象を整理しやすくする役割があります。
データウェアハウスを準備して BI ツールや分析プラットフォームと組み合わせれば、分析の効率が向上します。自社のデータ分散状況に応じた基盤設計を検討しましょう。
分析前のデータの前処理をおろそかにしない
データマイニングでは、データの前処理をおろそかにしないようにしましょう。データに不正確さや欠損、重複などがあった場合は、修正して分析に耐えるデータ品質を確保しなければなりません。分析の成否を左右するほど重要な工程といえます。そのため、前処理に大きなリソースを割くケースも珍しくありません。
なお、前処理のタイミングは、データウェアハウスに取り込む前に行うケースもあれば、分析の直前に行うケースもあります。データの前処理は、データを蓄積する場を用意するデータウェアハウスの整備とは別の作業です。役割分担を明確にして、目的に沿った前処理のタイミングを検討してください。
ビッグデータを活用したセキュリティ対策「TrendAI Vision One™」
データマイニングは大量データからパターンや知見を発見し、意思決定や対策に活かす手法で、業務のさまざまな場面で活用できる可能性があります。まずデータマイニングをする目的を定め、目的に沿ったデータを収集し、データウェアハウスの整備やデータの前処理、分析といった作業を進めて事業を前進させましょう。
また、データマイニングの手法は、セキュリティ領域でも活用可能で、実際にビッグデータを収集して脅威への対応に活かしているセキュリティソリューションもあります。例えば、「TrendAI Vision One™」は、エンドポイント・クラウド・ネットワーク・メールなどから得た大規模テレメトリをビッグデータとして活用し、脅威の検知・調査・対応を支援する AI 搭載の法人向けサイバーセキュリティプラットフォームです。データ活用による次世代のセキュリティを導入したい場合は、「TrendAI Vision One™」の導入をご検討ください。
Fernando Cardoso
プロダクトマネジメント担当バイスプレジデント
Fernando Cardosoはトレンドマイクロのプロダクトマネジメント担当バイスプレジデントとして、進化を続けるAIとクラウドの領域に注力しています。ネットワークエンジニアおよびセールスエンジニアとしてキャリアをスタートさせ、データセンター、クラウド、DevOps、サイバーセキュリティといった分野でスキルを磨きました。これらの分野は、今なお彼の情熱の源となっています。
よくあるご質問 (FAQ)
データマイニングとビッグデータとの違いは？
ビッグデータはデータの性質や規模を指す言葉で、データマイニングはそのデータから知見を得る分析手法を指します。ビッグデータを活用するには、分析手法とデータを扱う基盤の両方の整備が必要です。
データマイニングにツールは必須？
データが少量であれば、スプレッドシートなどでデータマイニングをするのが可能なケースもあります。しかし、データの量や分析回数が増えると、BI ツールや分析プラットフォームを活用するのが有効です。
データマイニングに必要なスキルは？
統計や分析手法の理解に加え、業務に活かせる知見を得るにはビジネスや業務に関する知識も不可欠です。ビジネスや業務に関する知識は組織内の人材で対応し、統計や分析手法の専門知識は組織外の専門人材を活用するといった選択肢もあります。