【成功の秘訣】探索的データ分析（EDA）の手順と方法を解説（コピペで使えるPythonサンプルコード付き）

import pandas as pd
import matplotlib.pyplot as plt
import itertools

# matplotlibに日本語フォントを設定
plt.rcParams['font.family'] = "MS Gothic"

def scatter_matrix(df, columns, dot_size=20):
    """
    指定された列の総当たりの散布図を1枚のグラフに描画する関数。

    Parameters:
        df (DataFrame): データフレーム
        columns (list): 描画する列のリスト
        dot_size (int): ドットのサイズ（デフォルトは20）
    """
    # グラフのサイズを設定
    num_cols = len(columns)
    fig, axes = plt.subplots(num_cols, num_cols, figsize=(8, 8))
    
    # 散布図を描画
    for i, j in itertools.product(range(num_cols), range(num_cols)):
        if i != j:
            ax = df.plot.scatter(x=columns[j], y=columns[i], ax=axes[i, j], alpha=0.5, s=dot_size)
            ax.tick_params(axis='both', which='both', bottom=False, left=False, labelbottom=False, labelleft=False)
            ax.set_xlabel(columns[j])
            ax.set_ylabel(columns[i])
        else:
            axes[i, j].axis('off')  # 対角線上のグラフは非表示にする
    
    plt.tight_layout()
    plt.show()

df = pd.read_csv("o:/sample.tsv", delimiter="\t")

# 関数を呼び出して散布図を表示
columns = df.columns[1:5]
scatter_matrix(df,columns)

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import itertools

# matplotlibに日本語フォントを設定
plt.rcParams['font.family'] = "MS Gothic"

def heatmap_matrix(df, columns):
    """
    指定された列の総当たりの相関行列をヒートマップとして表示する関数。

    Parameters:
        df (DataFrame): データフレーム
        columns (list): 描画する列のリスト
    """
    # 指定された列の相関行列を計算
    correlation_matrix = df[columns].corr()
    
    # ヒートマップを作成
    plt.figure(figsize=(10, 8))
    sns.heatmap(correlation_matrix, cmap='coolwarm', annot=True, fmt='.2f', vmin=-1, vmax=1)
    plt.title('Pairwise Correlation Heatmap')
    plt.show()

# 利用例
df = pd.read_csv("o:/sample.tsv", delimiter="\t")

# 関数を呼び出して散布図を表示
columns = df.columns[1:15]
heatmap_matrix(df,columns)

import pandas as pd
import matplotlib.pyplot as plt
import itertools

# matplotlibに日本語フォントを設定
plt.rcParams['font.family'] = "MS Gothic"

def autocorrelation_plot(df, column, lags, dot_size=20, graphs_per_row=3):
    """
    指定された列に対して、指定されたラグの自己相関の散布図を横に並べて描画する関数。

    Parameters:
        df (DataFrame): データフレーム
        column (str): 描画する列の名前
        lags (list of int): ラグのリスト
        dot_size (int): ドットのサイズ（デフォルトは20）
        graphs_per_row (int): 1行に並べるグラフの数（デフォルトは3）
    """
    num_lags = len(lags)
    num_rows = (num_lags + graphs_per_row - 1) // graphs_per_row
    fig, axes = plt.subplots(num_rows, graphs_per_row, figsize=(graphs_per_row * 3, num_rows * 3))

    for i, lag in enumerate(lags):
        row = i // graphs_per_row
        col = i % graphs_per_row
        ax = axes[row, col]
        
        x = df[column]
        y = df[column].shift(-lag)
        ax.scatter(x, y, s=dot_size)
        ax.set_title(f"Lag {lag}")
        ax.set_xlabel(column)
        ax.set_ylabel(f"{column} (Lag {lag})")

    plt.tight_layout()
    plt.show()

df = pd.read_csv("o:/sample.tsv", delimiter="\t")

# 関数を呼び出して自己相関のグラフを横に並べて表示
column = df.columns[15]
lags = [1, 2, 3, 4, 5, 6,7,8,9,10,11,12]  # 例として、ラグ1から12までの自己相関を表示
autocorrelation_plot(df, column, lags, dot_size=10, graphs_per_row=4)

import pandas as pd
from sklearn.cluster import KMeans

def clustering_with_labels(df, K):
    """
    指定されたデータフレームを指定された数のクラスタにクラスタリングし、各クラスタのクラスタリングされたカラム名とクラスタ番号を含む辞書を返す関数。

    Parameters:
        df (DataFrame): クラスタリングするデータフレーム
        K (int): クラスタの数

    Returns:
        clusters (dict): 各クラスタのクラスタリングされたカラム名とクラスタ番号を含む辞書
    """
    # NaN値を含む行を削除
    df.dropna(inplace=True)

    # データフレームを転置してクラスタリングを実行
    kmeans = KMeans(n_clusters=K)
    kmeans.fit(df.T)
    
    # 各データポイントのクラスタラベルを取得
    labels = kmeans.labels_

    # クラスタごとにクラスタリングされたカラム名のリストを作成し、辞書に格納
    clusters = {}
    for cluster_id in range(K):
        cluster_data = df.columns[labels == cluster_id].tolist()
        clusters[cluster_id] = cluster_data
    
    return clusters

df = pd.read_csv("o:/sample.tsv", delimiter="\t")

# クラスタリングを実施
clusters = clustering_with_labels(df, 5)

#結果を表示
for key,val in clusters.items() :
    print(f"{key}:{val}")

import pandas as pd
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt

# matplotlibに日本語フォントを設定
plt.rcParams['font.family'] = "MS Gothic"

def apply_pca(df):
    """
    主成分分析を実行して、寄与度と累積寄与度を可視化する関数。

    Parameters:
        df (DataFrame): データフレーム

    Returns:
        pca (PCA): 主成分分析のモデル
    """
    # 欠損値を含む行を削除する
    df.dropna(inplace=True)

    # データの標準化
    scaled_data = (df - df.mean()) / df.std()

    # 主成分分析(n_componentsで求める主成分の数を指定)
    pca = PCA(n_components=None)
    pca.fit(scaled_data)

    # 寄与度と累積寄与度を取得
    explained_variance_ratio = pca.explained_variance_ratio_
    cumulative_explained_variance_ratio = explained_variance_ratio.cumsum()

    # 寄与度と累積寄与度を可視化
    plt.figure(figsize=(10, 6))
    plt.bar(range(1, len(explained_variance_ratio) + 1), explained_variance_ratio, label='寄与度', color='blue')
    plt.plot(range(1, len(cumulative_explained_variance_ratio) + 1), cumulative_explained_variance_ratio, marker='o', color='red', label='累積寄与度')
    plt.xlabel('主成分')
    plt.ylabel('分散の割合')
    plt.title('主成分分析の結果')
    plt.legend()
    plt.show()

    return pca

df = pd.read_csv("o:/sample.tsv", delimiter="\t")
# 主成分分析を実施
apply_pca(df)