我想使用pandas groupby来统计每个农场(用farm_id表示)中动物组合的出现次数。 我试着统计每种动物组合的农场数量。
所需的输出如下所示:
Out[6]:
combo count
0 cow 1
1 [cow, chicken] 1
2 [cow, pig, chicken] 2
对于以下数据帧:
df = pd.DataFrame([['cow',0],['chicken',0],
['cow',1],
['chicken',3],['pig',3],['cow',3],
['pig',4],['cow',4],['chicken',4]]
,columns=['animals','farm_id'])
df
Out[4]:
animals farm_id
0 cow 0
1 chicken 0
2 cow 1
3 chicken 3
4 pig 3
5 cow 3
6 pig 4
7 cow 4
8 chicken 4
注意动物出现的顺序并不重要。
我试过这样做:
df.groupby('farm_id').agg({'animals':'unique'})
Out[7]:
animals
farm_id
0 [cow, chicken]
1 [cow]
3 [chicken, pig, cow]
4 [pig, cow, chicken]
这给出了组合,但是(1)考虑了顺序,(2)我不确定如何将计数生成为单独的列。
import pandas as pd
df = pd.DataFrame([['cow',0],['chicken',0],
['cow',1],
['chicken',3],['pig',3],['cow',3],
['pig',4],['cow',4],['chicken',4]]
,columns=['animals','farm_id'])
df = df.sort_values(['animals','farm_id'])
df = df.groupby('farm_id').agg({'animals':'unique'})
df['animals'] = df['animals'].astype(str)
df2 = pd.DataFrame(df.animals.value_counts())
df = pd.merge(df, df2, left_on = 'animals', right_index = True,how = 'left')
df.columns = ['animal_combination','count']
df
这个解决方案的一个关键是,在group by之后,我们通过使用元组来使列表可散列,然后对该元组进行排序,以便我们可以计数出现的次数。 我确信这可以用熊猫更少的步骤完成,如果我能缩短这里的行数,我将回环。
更新:根据NEV的答案和我的答案,我可以在不使用counter
的情况下将其简化为两行。
df_1=df.groupby('farm_id')['animals'].unique().apply(lambda x: tuple(sorted(x))).reset_index().rename(columns={'farm_id':'count'})
print(df_1.groupby('animals').count())
df = df.groupby('farm_id')['animals'].apply(tuple).reset_index(name='combo')
df['combo'] = [tuple(sorted(val)) for val in df['combo']]
df = df.groupby('combo').count().rename(columns={'farm_id':'count'})
print(df)
尝试:
import pandas as pd
from collections import Counter
df_1=df.groupby('farm_id')['animals'].unique().apply(list).apply(lambda x: sorted(x)).reset_index()
计算发生的次数
dict=Counter([tuple(i) for i in df_1['animals']])
counter_df=pd.DataFrame.from_dict(dict, orient='index').reset_index()
counter_df.columns=['combo','count']