熊猫分组删除异常值
问题内容：
我想按组明智地删除基于百分位数99值的离群值。
import pandas as pd
df = pd.DataFrame({'Group': ['A','A','A','B','B','B','B'], 'count': [1.1,11.2,1.1,3.3,3.40,3.3,100.0]})
在输出中，我想从A组中删除11.2，从B组中删除100。因此在最终数据集中只有5个观测值。
wantdf = pd.DataFrame({'Group': ['A','A','B','B','B'], 'count': [1.1,1.1,3.3,3.40,3.3]})
我已经尝试过了这一步，但没有得到理想的结果
df[df.groupby("Group")['count'].transform(lambda x : (x<x.quantile(0.99))&(x>(x.quantile(0.01)))).eq(1)]
问题答案：
我不希望使用分位数，因为您将排除较低的值：
import pandas as pd
df = pd.DataFrame({'Group': ['A','A','A','B','B','B','B'], 'count': [1.1,11.2,1.1,3.3,3.40,3.3,100.0]})
print(pd.DataFrame(df.groupby('Group').quantile(.01)['count']))
输出：
count
Group
A 1.1
B 3.3
这些不是离群值，对吧？因此，您不想排除它们。
您可以尝试通过使用与中位数之间的标准偏差来设置左右极限吗？这有点冗长，但是它为您提供了正确的答案：
left = pd.DataFrame(df.groupby('Group').median() - pd.DataFrame(df.groupby('Group').std()))
right = pd.DataFrame(df.groupby('Group').median() + pd.DataFrame(df.groupby('Group').std()))
left.columns = ['left']
right.columns = ['right']
df = df.merge(left, left_on='Group', right_index=True)
df = df.merge(right, left_on='Group', right_index=True)
df = df[(df['count'] > df['left']) & (df['count'] < df['right'])]
df = df.drop(['left', 'right'], axis=1)
print(df)
输出：
Group count
0 A 1.1
2 A 1.1
3 B 3.3
4 B 3.4
5 B 3.3
