【Python実践】製造業データ分析におけるTF-IDFの活用（コピペで使えるサンプルコード付き）

from sklearn.feature_extraction.text import TfidfVectorizer
from janome.tokenizer import Tokenizer

#TF-IDFを求めたい文書のリスト（実際には分かち書き文書又は単語の羅列）
docs = [
         '左後方の深度センサーの接点不要により、後方バック時にポールに激突、バックライトが破損した',
         '姿勢制御シリンダーの油圧調整不備により、斜面で車体が大きく傾き、横転した'
       ]

# TfidfVectorizer から呼び出されるトークナイザー。内部でJanome を使用。 
def janome_tokenizer(text):
    t = Tokenizer()
    tokens = t.tokenize(text)
    return [token.surface for token in tokens if token.part_of_speech.split(',')[0] in ['名詞', '動詞']]

# モデルの生成
vectorizer = TfidfVectorizer(tokenizer=janome_tokenizer)

# TF-IDFの計算
values = vectorizer.fit_transform(docs).toarray()

# 特徴量ラベルの取得
words = vectorizer.get_feature_names_out()

# 単語とTF-IDFの数値を1対のタプルにして、タプルのリストを作成
result = []
for doc_idx, doc in enumerate(values):
    doc_result = [(words[word_idx], tfidf_value) for word_idx, tfidf_value in enumerate(doc) if tfidf_value > 0]
    # 重要度順にソート
    doc_result = sorted(doc_result, key=lambda x: x[1], reverse=True)
    result.append(doc_result)

# 結果のプリント
for doc_result in result:
    print(doc_result)

from wordcloud import WordCloud

～省略（ここに先ほど紹介したサンプルプログラムを挿入してください。～

# 最初の文書の結果を取り出す
word_dic = dict(result[0])

# ワードクラウドを生成
wordcloud = WordCloud(width=800, height=400, background_color='black',font_path="C:/Windows/Fonts/meiryo.ttc").generate_from_frequencies(word_dic)

# ワードクラウドを表示
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()

from matplotlib import rcParams
rcParams['font.family'] = 'Meiryo'
rcParams['font.size'] = 10
import pandas as pd
import seaborn as sns

～省略（ここに先ほど紹介したサンプルプログラムを挿入してください。～

# データフレームに変換
df = pd.DataFrame([{word: score for word, score in doc} for doc in result])

# ヒートマップを作成
plt.figure(figsize=(12, 8))
sns.heatmap(df, cmap='YlGnBu', xticklabels=True, yticklabels=range(len(df)))
plt.title('TF-IDF Heatmap')
plt.xlabel('Words')
plt.ylabel('文書番号')
plt.show()

from tfidf_analyzer import TfIdfAnalyzer

# 使用例
docs = [
    '左後方の深度センサーの接点不要により、後方バック時にポールに激突、バックライトが破損した',
    '姿勢制御シリンダーの油圧調整不備により、斜面で車体が大きく傾き、横転した'
]

# TfidfAnalyzerのインスタンスを作成
tf = TfIdfAnalyzer()

# 文書を分析し、結果をプリント
print(tf.analyze(docs))

from janome.tokenizer import Tokenizer
from sklearn.feature_extraction.text import TfidfVectorizer
import os

# Janomeトークナイザー関数

class TfIdfAnalyzer:
    def __init__(self, file_name=None, encoding="shift-jis", tag_filter=['名詞', '動詞']):
        """
        コンストラクタ
        :param file_name: 読み込むファイルのパス (str)
        :param encoding: ファイルのエンコーディング (str)
        :param tag_filter: 抽出する品詞のリスト (list)
        """
        self.docs = []  # 文書のリストを格納するためのリスト
        self.tag_filter = tag_filter  # 品詞フィルター
        self.values = []  # TF-IDF値を格納するリスト
        self.words = []  # 特徴量ラベルを格納するリスト

        # ファイル名が指定されていて、そのファイルが存在する場合、文書を読み込む
        if file_name is not None and os.path.isfile(file_name):
            self.load_documents(file_name, encoding)

    def load_documents(self, file_name, encoding="shift-jis"):
        """
        ファイルから文書を読み込む
        :param file_name: 読み込むファイルのパス (str)
        :param encoding: ファイルのエンコーディング (str)
        """
        with open(file_name, encoding=encoding) as f:
            lines = f.readlines()
            self.docs = [x.strip() for x in lines]

    def analyze(self, docs=[],use_tokenizer=True):
        """
        文書のTF-IDF分析を行う
        :param docs: 分析する文書のリスト (list)
        :param use_tokenizer: 形態素解析を行うかどうか (bool)
        :return: 各文書の単語とTF-IDF値のリスト (list)
        """
        # janome用トークナイザー
        def janome_tokenizer(text):
            t = Tokenizer()
            tokens = t.tokenize(text)
            # 指定された品詞のみを抽出
            return [token.surface for token in tokens if token.part_of_speech.split(',')[0] in self.tag_filter]

        # TfidfVectorizerのインスタンスを作成
        if use_tokenizer:
            vectorizer = TfidfVectorizer(tokenizer=janome_tokenizer)
        else:
            vectorizer = TfidfVectorizer()

        # 引数が無ければ、保持している文書を使う
        if not docs:
            docs = self.docs

        # TF-IDF行列を作成
        self.values = vectorizer.fit_transform(docs).toarray()
        self.words = vectorizer.get_feature_names_out()

        # 単語とTF-IDFの数値を1対のタプルにして、タプルのリストを作成
        result = []
        for doc in self.values:
            doc_result = [(self.words[word_idx], tfidf_value) for word_idx, tfidf_value in enumerate(doc) if tfidf_value > 0]
            # 重要度順にソート
            doc_result = sorted(doc_result, key=lambda x: x[1], reverse=True)
            result.append(doc_result)

        return result