class GroupSerializer(serializers.ModelSerializer):
    user_count = serializers.SerializerMethodField()


class Meta:
    model = Group
fields = 'id', 'name', 'user_count'

def get_user_count(self, obj):
    return obj.user_set.count()
Добавьте поле count в сериализатор django rest framework