機械学習におけるクラスタリングの意味
機械学習におけるクラスタリングは、類似性にもとづいてラベルのない例をグループ化する教師なし学習のタスクです。言い換えると、解約した顧客、不正取引、プレミアム商品といったターゲットラベルから始めるわけではありません。代わりに、指定された特徴量にもとづいて似ているように見えるレコードをアルゴリズムが探します。
GoogleのMachine Learning Crash Courseでは、クラスタリングを、ラベルのない例を類似性によってグループ化することだと説明しています。これがこの手法の中核にある考え方です。つまり、データには入力はありますが、あらかじめ定められた答えはありません(Google Machine Learning:クラスタリングの概要)。
この定義は単純ですが、実務上の意味はもっと条件に左右されます。クラスタが意味を持つのは、使用する特徴量、前処理の選択、類似性の考え方、アルゴリズムとの関係においてだけです。これらの選択が弱ければ、グループは数学的には整っていても、役に立たないことがあります。
クラスタリングはどのような問題を解決するのか
クラスタリングは、データはあるものの、正しいカテゴリがまだ分かっていない状態で、そこにあり得る構造を探索したいときに役立ちます。
たとえば、プロダクトアナリストは次のような項目を持つ商品レコードを扱うことがあります。
- 購入数
- 平均評価
- 返品率
- 割引の頻度
- ページビュー数
低価格商品、プレミアム商品、リスクの高い商品といった既存のラベルがない場合、クラスタリングは調べる価値のあるグループを示唆するのに役立ちます。その結果は、それらのカテゴリが現実世界に存在する証明ではありません。ラベルのないデータを整理し、人がパターンをより効率よく確認できるようにする方法です。
次のような問いであれば、クラスタリングを使います。
- これらのレコードは、似たグループに自然に分かれるでしょうか。
- 別々に分析する価値のあるセグメントはあるでしょうか。
- 選んだ特徴量のもとで、どの例が似て見えるでしょうか。
既知の結果を予測する場合のように、問いがすでに教師あり学習の問題であるときは、クラスタリングを主な手法にするのは避けます。信頼できるラベルがあり、それを新しい例について予測したい場合は、通常、教師あり学習として捉えるほうが直接的です。
クラスタリングの大まかな仕組み
具体的なアルゴリズムが変わっても、ほとんどのクラスタリングのワークフローは同じ一般的な流れに従います。
- グループ化する例を選びます。顧客、商品、文書、セッション、取引、その他のレコードなどが対象になり得ます。
- 各例を表す特徴量を選びます。クラスタの品質は、これらの項目に大きく左右されます。Googleも、クラスタリングの有用性は、例を表すためにどの特徴量を選ぶかに依存すると指摘しています(Google Machine Learning:クラスタリングの概要)。
- データを前処理します。これには、欠損値の処理、項目のエンコード、必要に応じて特徴量の尺度を比較できるようにすることが含まれます。
- クラスタリング手法と類似性の考え方を選びます。アルゴリズムには、どの例が近い、または似ていると判断するための何らかの方法が必要です。
- グループを作ります。アルゴリズムは、自身の規則に従って例をクラスタに割り当てます。
- 結果を確認します。クラスタがビジネスや分析のタスクに役立つかどうかは、なお人が判断する必要があります。
重要なのは、クラスタリングは中立的な発見装置ではないという点です。クラスタリングは、与えられた表現にもとづく類似性のモデルです。
例で見る手順:行動にもとづいて商品をクラスタリングする
次の例は仮定上のもので、合成データを使っています。参考として手順を示すものであり、実行済みの実験でも、実際のモデル性能を示す証拠でもありません。
入力
あるECチームが、商品の行動にもとづいてグループ化できるかを調べたいとします。商品タイプや品質について信頼できるラベルはありません。そこで、3つの数値特徴量を選びます。
| 商品 | 月間購入数 | 平均評価 | 返品率 |
|---|---|---|---|
| A | 900 | 4.8 | 0.02 |
| B | 850 | 4.7 | 0.03 |
| C | 120 | 4.6 | 0.01 |
| D | 100 | 4.5 | 0.02 |
| E | 700 | 2.1 | 0.25 |
| F | 680 | 2.3 | 0.22 |
適用するルール
クラスタリングは、ラベルのない例を類似性にもとづいてグループ化します。ここでの類似性は、選んだ特徴量である月間購入数、平均評価、返品率だけにもとづきます。つまり、そこから得られるどのグループも、客観的な商品カテゴリではなく、これらの特徴量のもとでのグループとして解釈する必要があります。
手順
- 各商品を、選択した3つの特徴量を持つ1行として表します。
- 尺度の違いだけで1つの項目が支配的にならないように、特徴量を前処理します。月間購入数は返品率よりも数値がかなり大きいため、スケーリングの選び方が重要です。
- クラスタリング手法を選びます。K-meansは候補となる手法の1つとして使えますが、クラスタリングの方法はそれだけではありません。
- 得られたグループを確認し、ドメイン知識と照らし合わせます。
観測された出力ではなく、参考回答
妥当な分析者であれば、この合成データの表から、次の3つのグループが考えられると予想するかもしれません。
- 商品AとB:購入数が多く、評価が高く、返品率が低い
- 商品CとD:購入数が少なく、評価が高く、返品率が低い
- 商品EとF:購入数が多く、評価が低く、返品率が高い
理由は明快です。AとBは選択した3つの特徴量すべてで似ており、CとDも互いに似ています。EとFは、購入量が多い一方で満足度を示す指標が弱いという組み合わせを共有しています。
限界
この例は、真の商品のカテゴリが3つ存在することを証明するものではありません。チームが商品価格やカテゴリのような重要な特徴量を除外していた場合、クラスタがより有用な違いを隠してしまう可能性があります。特徴量のスケーリングが不適切であれば、アルゴリズムは主に月間購入数で商品をグループ化し、評価や返品率を過小に扱うかもしれません。それは必ずしもデータそのものではなく、表現の選び方によって起きるクラスタリングの失敗です。
クラスタリングの一例としてのK-means
K-meansはクラスタリングを具体的に説明する際によく使われる方法ですが、クラスタリングそのものの同義語として扱うべきではありません。Microsoftは、Azure Machine Learningにおけるクラスタリング手法としてk-meansクラスタリングを説明しています。これは適切な具体度です。つまり、より広いクラスタリングというカテゴリの中の1つの手法なのです(Microsoft Azure Machine Learning:k-meansクラスタリング)。
大まかに言えば、k-meansは、選んだ数のグループを作る方法として紹介されることがよくあります。そのため、分析者に「いくつのクラスタを探すべきか」という重要な問いを投げかける点で、説明に役立ちます。
編集上の重要な注意点は、k-meansを選ぶことは、特定のモデリング上の仮定も選ぶことになるという点です。データ構造がその手法の前提に合っていなければ、得られるグループは誤解を招く可能性があります。初心者にとっては、k-meansを「クラスタリングそのものの定義」ではなく、「クラスタリングの実用的な一例」と考えるのが最も安全です。
実務上の判断基準:クラスタリングはいつ使うべきですか?
次の3つの条件がすべて当てはまる場合に、クラスタリングを使います。
- 扱う例にラベルが付いていません。各レコードについて、信頼できる目的カテゴリがまだありません。
- 目的は探索的なグループ化です。既知の答えを予測するのではなく、パターンを見つけたり要約したりしたい場合です。
- 特徴量を説明できます。使う項目が、注目している類似性を表していると合理的に説明できる必要があります。
教師あり予測問題の近道としてクラスタリングを使ってはいけません。目的が、顧客が解約するか、融資が債務不履行になるか、取引が不正かを予測することであり、信頼できる過去のラベルがあるなら、その問題は教師あり学習として捉えるほうが適切です。
簡単な判断テストはこうです。成功が既知のラベルに一致することを意味するなら、クラスタリングはおそらく主要な手法として適していません。成功がレビュー用の候補グループを作ることを意味するなら、クラスタリングが適している可能性があります。
よくある失敗例:数学的には整って見えるが役に立たないクラスタ
現実的な失敗例として、アルゴリズムが意味のあるカテゴリではなく、無関係な特徴量やスケーリングが不適切な特徴量に基づいてレコードをグループ化してしまう場合があります。
次の項目を持つ顧客データセットを考えてみます。
- 年間支出額
- サポートチケット数
- 日数で表したアカウント利用期間
- 希望する連絡チャネル
年間支出額の数値がほかの項目よりはるかに大きく、ワークフローでスケールを適切に扱っていない場合、クラスタは主に高支出の顧客と低支出の顧客を分けるものになるかもしれません。それが役に立つ文脈もありますが、顧客に異なるサポート体験が必要かどうかといった、分析者の本来の問いを見落とす可能性があります。
同じ問題は、無関係な特徴量でも起こります。希望する連絡チャネルを含めても、意図したセグメンテーションとほとんど関係がない場合、データの表現方法によっては、それでも出力に影響することがあります。その結果、整理されているように見えても、誤った問いに答えていることがあります。
ここから言えることは、クラスタを解釈する前に、アルゴリズムに何を見せたのかを確認すべきだということです。クラスタリングは、問題をうまく表していない特徴量から意味を取り戻すことはできません。
クラスタリング結果を責任を持って解釈する方法
クラスタは真実そのものではなく、仮説として扱います。
責任ある解釈には、次の点を含めるべきです。
- 特徴量の確認:選んだ特徴量は、その意思決定に関係していますか?
- スケールの確認:数値範囲のために、1つの特徴量が支配的になっていませんか?
- ドメインの確認:そのグループは、データを理解している人にとって納得できるものですか?
- 境界の確認:どの例がグループ間の境界付近にありますか?
- 有用性の確認:そのグループ化は、分析の優先順位付けやフォローアップテストの設計など、実際の意思決定を支えていますか?
これが重要なのは、クラスタリングは多くの設定で常にグループを作ることができますが、すべてのグループ化が行動に値するわけではないからです。価値は、数学的なグループ化を明確な分析目的へ結び戻すことから生まれます。
要点
機械学習におけるクラスタリングとは何でしょうか。それは、ラベルなしの例を類似性に基づいてグループ化するプロセスです。信頼できるラベルがまだない場合の探索的なセグメンテーションで最も役立ちます。最大の制約は、中心的な設計上の選択でもあります。つまり、クラスタは、選ぶ特徴量、前処理、類似性に関する仮定、アルゴリズムに依存します。
ラベルなしデータの中にある構造の候補を作るために、クラスタリングを使います。実際に解くべき問題に照らしてグループが確認されるまでは、出力を客観的な真実として扱ってはいけません。
