cust = lambda g: g[df.ix[g.index]['C'] < 0.5].sum()
f = {'A': ['sum', 'mean'], 'B': ['prod'], 'D': {'my name': cust}}
df.groupby('GRP').agg(f)
Применение нескольких функций к нескольким столбцам groupby