Pandasのaggによる集計テクニック: 基本的な使い方、applyとの違い、条件付きカウント (count ifのような使い方)、最初の値の取得 (first value)など

Pandasのagg関数は強力なデータ集計のツールです。この記事では、agg関数の基本的な使い方から、apply関数との違い、条件に基づくカウント方法、そしてグループごとの最初の値の取得方法まで、具体的なコード例とともに解説します。

agg関数の基本的な使い方

agg関数は、groupbyオブジェクトに対して一つまたは複数の集計操作を同時に適用するための関数です。引数として、実行したい集計操作を指定します。

特に「カラム名と集計操作をマッピングする辞書」として指定する場合、新しいカラム名を指定して、そのカラムに対してどのような集計操作を行うかを明示的に指定できます。この形式は以下のように構成されます：

• キー: 新しく生成されるカラムの名前。
• 値: タプル形式で、最初の要素は集計を行う元のカラムの名前、2番目の要素は適用する集計関数の名前（または関数そのもの）。

例: 各グループの最大値・最小値と平均を一度に計算

import pandas as pd
import numpy as np

# サンプルデータの生成
np.random.seed(0)
df = pd.DataFrame({
    'A': ['foo', 'bar', 'baz', 'foo', 'bar', 'baz'],
    'B': np.random.randn(6),
    'C': np.random.randn(6)
})

# aggを使用
result_agg = df.groupby('A').agg(
    max_B=('B', 'max'),
    min_B=('B', 'min'),
    mean_C=('C', 'mean')
)
print(result_agg)

Pandasのaggとapplyの使い方の違い

agg関数とapply関数は、Pandasでデータの集計や変換を行うための主要なメソッドです。それぞれの使い方や特長を理解することで、データ分析の作業がより効率的になります。

agg関数の特長:

• 明示的な集計操作: aggを使用すると、何の集計を行うのかが一目でわかるようにコードを書くことができます。例えば、agg({'sales_ymd': ['max', 'min']})と書くだけで、sales_ymdの最大値と最小値を同時に計算できます。これはコードを読む人にとって非常に直感的です。
• カラム名の自動生成: agg関数は、集計結果のカラム名を自動で生成します。このため、集計結果を直接解釈しやすくなります。例えば、'max', 'min'などの集計方法がそのままカラム名に反映され、どのカラムが何の集計結果であるかが明確になります。
• 複数の集計操作の容易な指定: agg関数は複数の集計操作を一つの関数呼び出しで指定できます。これにより、コードが簡潔になり、何をしているのかがすぐにわかります。

apply関数の特長:

• 柔軟な関数の適用: apply関数は、データフレームに任意の関数を適用し、その結果を返します。これにより、aggでできないような複雑な操作も可能です。
• カスタム関数の使用: applyはカスタム関数（自分で定義した関数）を適用する場合に便利です。これにより、非常に複雑な集計や変換も行えます。

この点を理解することで、どのメソッドを使うべきかの判断が容易になります。一般的に、aggは複数の集計操作を明示的に指定する場合に、applyはそれ以外の複雑な操作を行いたい場合に使用されます。

条件に基づくカウントの方法 (Excelのcount ifのような使い方)

次にagg関数を使って特定の条件を満たすデータの数をカウントする方法を紹介します。例えば、あるカラムの値が特定の値を超えている行の数をグループごとに計算する場合の手順を示します。

コード例: 特定の条件を満たすデータの数をカウント

import pandas as pd
import numpy as np

# サンプルデータの生成
np.random.seed(0)
df = pd.DataFrame({
    'group': ['A', 'B', 'A', 'B', 'A', 'B'],
    'value': np.random.randint(1, 100, 6)
})

# 'value'が50より大きいデータの数をグループごとにカウント
result = df.groupby('group').agg(count_value_gt_50=('value', lambda x: (x > 50).sum()))
print(result)

グループからの最初の値の取得方法 (first value)

次にagg関数を使って、各グループから最初の値（例えば、最初の売上日や最初に記録された値など）を取得する方法を紹介します。

コード例: グループごとに最初の値を取得

import pandas as pd
import numpy as np

# サンプルデータの生成
np.random.seed(0)
df = pd.DataFrame({
    'group': ['A', 'B', 'A', 'B', 'A', 'B'],
    'value': np.random.randn(6),
    'date': pd.date_range(start='2023-08-01', periods=6)
})

# 各グループの最初の'date'と'value'を取得
result = df.groupby('group').agg(
    first_date=('date', 'first'),
    first_value=('value', 'first')
)
print(result)

このコード例では、各グループ（'group'カラムで指定）から最初の'date'と'value'を取得しています。agg関数に'first'を指定することで、各グループの最初の値を簡単に取得できます。

agg関数で辞書を引数として渡す方法

agg関数を使用する際に、辞書を引数として渡すとデータフレームの複数のカラムに対して異なる集計関数を一度に適用できます。これによりコードが簡潔になり、非常に多様な集計処理を効率的に行うことが可能です。

基本的な使い方：

辞書の形式でagg関数を呼び出す際の基本的な構文は以下のようになります：

result = df.groupby('group_column').agg({
    'column1': 'aggregate_function1',
    'column2': 'aggregate_function2',
    ...
})

• 'group_column': グループ化するカラムの名前です。
• 'column1', 'column2': 集計を行うカラムの名前です。
• 'aggregate_function1', 'aggregate_function2': 適用する集計関数の名前です。

具体的な例：

例えば以下のコードでは、'group'カラムでデータをグループ化し、'value1'カラムには最大値を、'value2'カラムには最小値を適用しています。

import pandas as pd

# サンプルデータの生成
data = {
    'group': ['A', 'B', 'A', 'B', 'A', 'B'],
    'value1': [10, 20, 30, 40, 50, 60],
    'value2': [100, 200, 300, 400, 500, 600]
}

df = pd.DataFrame(data)

# 'group'でグループ化し、'value1'には最大値を、'value2'には最小値を適用
result = df.groupby('group').agg({
    'value1': 'max',
    'value2': 'min'
})

print(result)

複数の集計関数の適用：

さらに一つのカラムに対して複数の集計関数を適用することも可能です。この場合、以下のようにリスト形式で集計関数を指定します：

result = df.groupby('group').agg({
    'value1': ['max', 'min', 'mean'],
    'value2': ['sum', 'std']
})

このコードでは、'value1'カラムに対して最大値、最小値、平均値を計算し、'value2'カラムに対して合計値と標準偏差を計算しています。

以上、pandasにおけるagg関数の使い方について、特に混同しやすいapplyとの違いや、代表的なcountif、firstvalueなどについて解説しました。

なお、今回の例では主にマルチインデックスで出力をする例を紹介しました。マルチインデックスとは、データフレームの行や列に複数のレベルのインデックスを持たせることができる機能です。これにより、より複雑なデータ構造を効果的に扱うことが可能になります。

一方、シングルインデックスとは、データフレームの行や列に一つのレベルのインデックスのみを持たせる、よりシンプルな形式です。シングルインデックスの形式は、データの操作や視覚化を行う際に扱いやすい場合が多いです。

マルチインデックスをシングルインデックスに変換する方法は、データの構造をシンプルに保ちながら集計結果を分かりやすくするための重要なテクニックです。この方法については次の記事で詳しく紹介します。

関連記事

Pandasでのマルチインデックスの活用：列名の変更、データの取得、そして削除の方法

Pandasのマルチインデックスは、データ分析の際に非常に強力なツールとなります。この記事では、マルチインデックスの基本的な作成方法から、列名の変更、データの取得、そして不要なインデックスの削除方法まで、詳しく解説します。 マルチイ[…]