<commit_before>---
title: 数据挖掘之累活脏活
description: 之前介绍过类似淘宝鹰眼的华佗项目以及市场调研之类的项目，你会发现做的项目还是很有意思的；但是后续了，一大堆累活脏活；假使华佗项目发现服务器的调用链出现延时或者调用中断，你就要去分析问题出现的原因，给出问题解决方案；假使市场调研项目发现APP发生迁移了，你需要反编译APK判断迁移真假、并且抓包分析判断定位使用的场景，揣摩厂商不使用定位的原因。往往每一次，这些问题出现几十个、上百个，你必须得花上半天甚至一整天的功夫去分析那些日志和APK；而且这些活儿无法进行自动化、必须得手工；你能不说它是一件累活和脏活么？
date: 2016/02/26 22:21:59 +0800
layout: post
permalink: /blog/2016/02/26 数据挖掘之累活脏活.html
categories:
  - 数据挖掘
tags:
  - 产品观
  -

---

就在上个星期五，一个同事有事情，把他负责的百度地图公交路线的用户反馈数据交给我了；所谓用户反馈，就是用户发的乱七八糟的牢骚话，现在需要我归类、并且和竞品对比；当你想卸载一款软件的时候，软件开发商会提供几个很通用的问题给你，作为卸载软件的原因，这对于统计那些无规律的牢骚话来说，显得更加容易，也更加重要；同时搜集用户的反馈信息，进行归类，可以做一个自动化的回复系统，比如顺丰会对诸如“附近网店"、"快件到哪儿"、"查运费"等问题进行自动回复，这样可以节省客服成本；所以我觉得地图在用户反馈数据统计方面没有做好。


300多条问题反馈，我要努力理解用户的牢骚话，找出发牢骚的原因；然后到网上查查这条公交线路的相关新闻，确定路线更改的真实性；然后比对8864公交、高德公交，对比我们有问题的公交路线，在他们那儿是否也存在的问题；并且要截图证明。我花了接近20多个小时，才把事情干完；本来我可以一天草草了事，可是加了一天班，星期一还得挨骂、返工，太不值了；再说了拿了公司的钱，就得好好替公司干活；虽然出了一些纰漏，最后还是得到了老大的赞扬，老大把问题反馈给了地图部门的最高级boss，得到了高度赞扬。但是想想我堂堂程序员，能干这样的活么？这样又脏又累的活，还是交给那些纯粹的测试人员吧。我已经不止一次干这样的活了，记得还有一次，花了两天的时间，装了200个APP，来手工分析每个APP的定位场景；要是长时间要我干这样的活，我肯定就是拍屁股走人了。可是转念一想，在这一过程中，我还是学会了很多东西。

<commit_msg>添加tag<commit_after>---
title: 数据挖掘之累活脏活
description: 之前介绍过类似淘宝鹰眼的华佗项目以及市场调研之类的项目，你会发现做的项目还是很有意思的；但是后续了，一大堆累活脏活；假使华佗项目发现服务器的调用链出现延时或者调用中断，你就要去分析问题出现的原因，给出问题解决方案；假使市场调研项目发现APP发生迁移了，你需要反编译APK判断迁移真假、并且抓包分析判断定位使用的场景，揣摩厂商不使用定位的原因。往往每一次，这些问题出现几十个、上百个，你必须得花上半天甚至一整天的功夫去分析那些日志和APK；而且这些活儿无法进行自动化、必须得手工；你能不说它是一件累活和脏活么？
date: 2016/02/26 22:21:59 +0800
layout: post
permalink: /blog/2016/02/26 数据挖掘之累活脏活.html
categories:
  - 数据挖掘
tags:
  - 产品观
  - 邮件写法

---

就在上个星期五，一个同事有事情，把他负责的百度地图公交路线的用户反馈数据交给我了；所谓用户反馈，就是用户发的乱七八糟的牢骚话，现在需要我归类、并且和竞品对比；当你想卸载一款软件的时候，软件开发商会提供几个很通用的问题给你，作为卸载软件的原因，这对于统计那些无规律的牢骚话来说，显得更加容易，也更加重要；同时搜集用户的反馈信息，进行归类，可以做一个自动化的回复系统，比如顺丰会对诸如“附近网店"、"快件到哪儿"、"查运费"等问题进行自动回复，这样可以节省客服成本；所以我觉得地图在用户反馈数据统计方面没有做好。


300多条问题反馈，我要努力理解用户的牢骚话，找出发牢骚的原因；然后到网上查查这条公交线路的相关新闻，确定路线更改的真实性；然后比对8864公交、高德公交，对比我们有问题的公交路线，在他们那儿是否也存在的问题；并且要截图证明。我花了接近20多个小时，才把事情干完；本来我可以一天草草了事，可是加了一天班，星期一还得挨骂、返工，太不值了；再说了拿了公司的钱，就得好好替公司干活；虽然出了一些纰漏，最后还是得到了老大的赞扬，老大把问题反馈给了地图部门的最高级boss，得到了高度赞扬。但是想想我堂堂程序员，能干这样的活么？这样又脏又累的活，还是交给那些纯粹的测试人员吧。我已经不止一次干这样的活了，记得还有一次，花了两天的时间，装了200个APP，来手工分析每个APP的定位场景；要是长时间要我干这样的活，我肯定就是拍屁股走人了。可是转念一想，在这一过程中，我还是学会了很多东西。


{'fraction_non_alphanumeric': 0.10141617176793057, 'fraction_numerical': 0.03471904979442668, 'mean_word_length': 20.057692307692307, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '7553073', 'n_tokens_mistral': 2214, 'n_tokens_neox': 2533, 'n_words': 41}