【Python実践】DBSCANの進化版「HDBSCAN」！密度の異なるデータも賢くクラスタリング

import hdbscan
import numpy as np

# 5個の説明変数を持つ6組分のテストデータを生成
data = [
    [5.1, 3.5, 1.4, 0.2, 0.3],
    [4.9, 3.0, 1.4, 0.2, 0.4],
    [4.7, 3.2, 1.3, 0.2, 0.3],
    [4.5, 3.1, 1.5, 0.2, 0.3],
    [5.0, 3.6, 1.4, 0.2, 0.4],
    [4.6, 3.1, 1.3, 0.2, 0.3]
]

# HDBSCANクラスタリングの実行
# min_cluster_size: クラスターとして認める最小の点数
clusterer = hdbscan.HDBSCAN(min_cluster_size=2)
labels = clusterer.fit_predict(data)

# 各ポイントの「確信度」（どれだけしっかりクラスターに属しているか）
probabilities = clusterer.probabilities_

print("====分類結果====")
print(labels)

print("====各データの確信度 (0.0~1.0)====")
print(probabilities)

import hdbscan
import matplotlib.pyplot as plt
import numpy as np

# 1. 離れた2つのグループ（各10点、計20点）を生成
group1 = np.random.normal(loc=0.0, scale=0.1, size=(10, 5))
group2 = np.random.normal(loc=5.0, scale=0.1, size=(10, 5))
data = np.vstack([group1, group2])

# 2. min_cluster_sizeを小さく設定（データ規模に合わせる）
clusterer = hdbscan.HDBSCAN(min_cluster_size=3, gen_min_span_tree=True)
clusterer.fit(data)

# 3. 描画
clusterer.condensed_tree_.plot(select_clusters=True)
plt.show()

import numpy as np
import hdbscan
from sklearn.metrics import silhouette_score

group1 = np.random.normal(loc=0.0, scale=0.1, size=(10, 5))
group2 = np.random.normal(loc=5.0, scale=0.1, size=(10, 5))
data = np.vstack([group1, group2])

# min_cluster_sizeの候補
size_values = range(2, 11)
best_size = 0
best_score = -1

for size in size_values:
    clusterer = hdbscan.HDBSCAN(min_cluster_size=size)
    labels = clusterer.fit_predict(data)
    
    # クラスターが2つ以上（ノイズを除く）ある場合のみ評価
    if len(set(labels[labels != -1])) > 1:
        score = silhouette_score(data, labels)
        if score > best_score:
            best_score = score
            best_size = size

print(f"最適なmin_cluster_size: {best_size}, シルエットスコア: {best_score}")

import hdbscan
import numpy as np
import matplotlib.pyplot as plt
from matplotlib import rcParams
rcParams['font.family'] = 'Meiryo'

# 1. 2次元のテストデータを生成（密度とバラツキが異なる2つの塊）
np.random.seed(0)
# クラスター0：ギュッと詰まった塊
cluster_dense = np.random.normal(loc=[1, 1], scale=0.1, size=(50, 2))
# クラスター1：ふわっと広がった塊
cluster_sparse = np.random.normal(loc=[-1, -1], scale=0.5, size=(50, 2))
# ノイズ：どこにも属さない点
noise = np.random.uniform(low=-2, high=2, size=(10, 2))

data_2d = np.vstack([cluster_dense, cluster_sparse, noise])

# 2. HDBSCANの実行
clusterer = hdbscan.HDBSCAN(min_cluster_size=5)
labels = clusterer.fit_predict(data_2d)
probs = clusterer.probabilities_ # 確信度を取得

# 3. 可視化
plt.figure(figsize=(10, 7))
unique_labels = set(labels)
colors = plt.cm.get_cmap("Set1")(np.linspace(0, 1, len(unique_labels)))

for k, col in zip(unique_labels, colors):
    if k == -1:
        col = 'lightgray'
        label = 'ノイズ'
    else:
        label = f'クラスター {k}'
    
    mask = (labels == k)
    # ポイント：s（サイズ）に確信度を反映
    plt.scatter(data_2d[mask, 0], data_2d[mask, 1], c=[col], label=label, 
                s=probs[mask]*120 + 20, edgecolors='k', alpha=0.6)

plt.title('HDBSCAN 2D可視化：密度の異なるクラスターの同時検出')
plt.xlabel('変数 A')
plt.ylabel('変数 B')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.5)
plt.show()

import hdbscan
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from matplotlib import rcParams
rcParams['font.family'] = 'Meiryo'

# 1. 3次元空間に3つのクラスターを生成（各30点、合計90点）
np.random.seed(42)
group1 = np.random.normal(loc=[1, 1, 1], scale=0.2, size=(30, 3))
group2 = np.random.normal(loc=[3, 3, 3], scale=0.5, size=(30, 3)) # 少し広がった塊
group3 = np.random.normal(loc=[5, 1, 3], scale=0.3, size=(30, 3))
# 離れた場所に「ノイズ」となる点を数件追加
noise = np.array([[0, 5, 0], [5, 5, 5], [2, 0, 4]])

data = np.vstack([group1, group2, group3, noise])

# 2. HDBSCANの実行
# min_cluster_sizeを少し小さめの5に設定して、細かい塊も拾えるようにします
clusterer = hdbscan.HDBSCAN(min_cluster_size=5)
labels = clusterer.fit_predict(data)

# 3. 可視化
fig = plt.figure(figsize=(10, 8))
ax = fig.add_subplot(111, projection='3d')
unique_labels = set(labels)

# 色の設定
colors = plt.cm.get_cmap("tab10")(np.linspace(0, 1, len(unique_labels)))

for k, col in zip(unique_labels, colors):
    if k == -1:
        col = 'lightgray' # ノイズは薄いグレー
        label = 'ノイズ'
    else:
        label = f'クラスター {k}'
    
    mask = (labels == k)
    xyz = data[mask]
    ax.scatter(xyz[:, 0], xyz[:, 1], xyz[:, 2], color=col, label=label, alpha=0.7, edgecolors='w')

ax.set_title('HDBSCAN 3Dクラスタリング結果')
ax.set_xlabel('説明変数 1')
ax.set_ylabel('説明変数 2')
ax.set_zlabel('説明変数 3')
ax.legend()
plt.show()

import hdbscan
import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from matplotlib import rcParams
rcParams['font.family'] = 'Meiryo'

# 1. 6次元の多次元データを生成（実は3つのグループに分かれている設定）
np.random.seed(42)
# 各グループ、6次元空間の中の異なる場所に分布させる
group1 = np.random.normal(loc=[1, 2, 3, 4, 5, 6], scale=0.3, size=(40, 6))
group2 = np.random.normal(loc=[5, 4, 3, 2, 1, 0], scale=0.5, size=(40, 6))
group3 = np.random.normal(loc=[3, 3, 3, 3, 3, 3], scale=0.4, size=(40, 6))
# 完全にランダムなノイズデータ
noise = np.random.uniform(low=0, high=6, size=(10, 6))

data = np.vstack([group1, group2, group3, noise])

# 2. PCAによる次元削減（6次元 → 2次元）
# 人間には見えない6次元のつながりを、見える2次元に凝縮します
pca = PCA(n_components=2)
data_pca = pca.fit_transform(data)

# 3. HDBSCANの実行
# 削減後の2次元空間でクラスタリング
clusterer = hdbscan.HDBSCAN(min_cluster_size=5)
labels = clusterer.fit_predict(data_pca)
probs = clusterer.probabilities_

# 4. 可視化
plt.figure(figsize=(10, 7))
unique_labels = set(labels)
colors = plt.cm.get_cmap("Set1")(np.linspace(0, 1, len(unique_labels)))

for k, col in zip(unique_labels, colors):
    mask = (labels == k)
    label_name = f'クラスター {k}' if k != -1 else 'ノイズ'
    color = 'lightgray' if k == -1 else col
    
    plt.scatter(data_pca[mask, 0], data_pca[mask, 1], 
                c=[color], label=label_name, 
                s=probs[mask]*100 + 20, edgecolors='k', alpha=0.6)

plt.title('多次元データ(6D)をPCAで2次元に圧縮してHDBSCANで分類')
plt.xlabel('第1主成分（データの変化が一番大きい軸）')
plt.ylabel('第2主成分（データの変化が二番目に大きい軸）')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.5)
plt.show()

# 1. データの準備（DataFrame形式）
import pandas as pd
df = pd.DataFrame([
    [1.0, 2.0, 1.5], [1.2, 3.2, 1.8], [1.8, 1.8, 1.0], [1.3, 1.3, 0.9], [0.7, 1.7, 1.2],
    [5.0, 6.0, 5.5], [4.3, 6.3, 5.8], [3.7, 5.7, 5.0], [5.4, 6.4, 5.6], [4.1, 5.5, 5.3], 
    [9.0, 8.0, 9.5], [9.3, 9.3, 9.8], [8.2, 9.7, 8.9], [9.1, 7.4, 9.0], [8.2, 9.6, 9.3]
], columns=['Feature1', 'Feature2','Feature3'])

# 2. HDBSCANUtilのインスタンス化
# PCAを適用したい場合は pca=2 のように指定可能です
hdb = HDBSCANUtil(df)

# 3. モデルの作成と学習
# min_cluster_size（最小クラスターサイズ）を指定します
hdb.fit(['Feature1', 'Feature2','Feature3'], min_cluster_size=2)

# 4. 結果の取得と可視化
print("クラスターラベル:", hdb.labels)
print("各データの確信度:", hdb.probabilities)

# 3次元グラフの表示（確信度に基づいたプロット）
plot_clusters_3d(hdb)

import pandas as pd
import hdbscan
from sklearn.decomposition import PCA

class HDBSCANUtil:
    def __init__(self, df=None, pca=0):
        """
        HDBSCANUtilクラスの初期化
        :param df: 初期データフレーム (pd.DataFrame)
        :param pca: PCAを適用する次元数 (0: 使用しない)
        """
        self.df = df.copy() if df is not None else None
        self.model = None 
        self.labels = []
        self.probabilities = [] # HDBSCAN特有の確信度を保持
        self.columns = []
        self.pca_dim = pca

    def fit(self, columns: list, df: pd.DataFrame = None, **hdbscan_params):
        """
        HDBSCANモデルの学習
        :param columns: 使用するカラム名のリスト
        :param hdbscan_params: HDBSCANのパラメータ (min_cluster_size等)
        """
        if df is not None:
            self.df = df
        self.columns = columns

        # 学習データの抽出
        X = self.df[columns].values

        # PCAによる次元削減（指定がある場合）
        if self.pca_dim > 0:
            pca_model = PCA(n_components=self.pca_dim)
            X = pca_model.fit_transform(X)

        # HDBSCANモデルを作成と実行
        self.model = hdbscan.HDBSCAN(**hdbscan_params)
        self.labels = self.model.fit_predict(X)
        
        # 確信度（属する確率）を保存
        self.probabilities = self.model.probabilities_

        return self.model

    def read_csv(self, file_name, encoding="shift-jis"):
        self.df = pd.read_csv(file_name, encoding=encoding)

import numpy as np
import matplotlib.pyplot as plt
from matplotlib import rcParams
rcParams['font.family'] = 'Meiryo'

def plot_clusters(util, x_col=None, y_col=None):
    """
    HDBSCANクラスタリング結果を可視化
    - util: HDBSCANUtilのインスタンス
    - x_col, y_col: プロットするカラム名（省略時にはutil.columnsを使用）
    """
    if not isinstance(util, HDBSCANUtil):
        raise ValueError("引数はHDBSCANUtilのインスタンスでなければなりません。")
    
    # カラムの自動設定
    if x_col is None or y_col is None:
        if len(util.columns) < 2:
            raise ValueError("x_col と y_col が指定されていない場合、columnsに2つ以上のカラムが必要です。")
        x_col = util.columns[0]
        y_col = util.columns[1]

    plt.figure(figsize=(10, 7))
    
    # クラスタごとにデータポイントをプロット
    unique_labels = np.unique(util.labels)
    # 色のバリエーションを生成
    colors = plt.cm.get_cmap("Set1")(np.linspace(0, 1, len(unique_labels)))

    for cluster, col in zip(unique_labels, colors):
        mask = (util.labels == cluster)
        cluster_data = util.df[mask]
        cluster_probs = util.probabilities[mask]
        
        if cluster == -1:
            c = 'lightgray'
            label = "ノイズ"
        else:
            c = [col]
            label = f"クラスター {cluster}"
            
        # ポイント：s（サイズ）に確信度を反映させる
        # 0だと見えなくなるので、最小サイズを20に設定
        plt.scatter(
            cluster_data[x_col], 
            cluster_data[y_col], 
            label=label, 
            c=c, 
            s=cluster_probs * 120 + 20, 
            edgecolors='k', 
            alpha=0.6
        )
    
    plt.xlabel(x_col)
    plt.ylabel(y_col)
    plt.legend()
    plt.title("HDBSCAN クラスタリング可視化\n(点の大きさ = クラスターへの確信度)")
    plt.grid(True, linestyle='--', alpha=0.5)
    plt.show()

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from matplotlib import rcParams
rcParams['font.family'] = 'Meiryo'

def plot_clusters_3d(util, x_col=None, y_col=None, z_col=None):
    """
    3D HDBSCAN クラスタリング結果を可視化
    - util: HDBSCANUtilのインスタンス
    - x_col, y_col, z_col: プロットするカラム名（省略時にはutil.columnsを使用）
    """
    if not isinstance(util, HDBSCANUtil):
        raise ValueError("引数はHDBSCANUtilのインスタンスでなければなりません。")
    
    # カラムの自動設定
    if x_col is None or y_col is None or z_col is None:
        if len(util.columns) < 3:
            raise ValueError("x_col, y_col, z_col が指定されていない場合、columnsに3つ以上のカラムが必要です。")
        x_col = util.columns[0]
        y_col = util.columns[1]
        z_col = util.columns[2]

    fig = plt.figure(figsize=(12, 9))
    ax = fig.add_subplot(111, projection='3d')
    
    unique_labels = np.unique(util.labels)
    colors = plt.cm.get_cmap("tab10")(np.linspace(0, 1, len(unique_labels)))

    for cluster, col in zip(unique_labels, colors):
        mask = (util.labels == cluster)
        cluster_data = util.df[mask]
        cluster_probs = util.probabilities[mask]
        
        if cluster == -1:
            c = 'lightgray'
            label = "ノイズ"
            alpha = 0.3 # ノイズは目立たないように薄く
        else:
            c = [col]
            label = f"クラスター {cluster}"
            alpha = 0.7
            
        # 3次元散布図をプロット
        # s: 確信度に基づいたサイズ調整
        ax.scatter(
            cluster_data[x_col], 
            cluster_data[y_col], 
            cluster_data[z_col], 
            label=label, 
            c=c, 
            s=cluster_probs * 150 + 20, # 3Dは見づらいのでサイズを少し大きめに
            edgecolors='w', # 3Dでは白の縁取りが見やすい
            linewidth=0.5,
            alpha=alpha
        )

    ax.set_xlabel(x_col)
    ax.set_ylabel(y_col)
    ax.set_zlabel(z_col)
    ax.legend()
    ax.set_title("3D HDBSCAN クラスタリング結果の可視化\n(ドットの大きさ = 確信度)")
    plt.show()