师兄关于论文的指点
针对上次的论文阅读,师兄给出了宝贵的意见,内容: 你好！ 就整个数据挖掘任务来说,数据预处理和清理是很关键的步骤,而且是必不可少的的步骤。现在数据挖掘研究在核心挖掘算法上进行突破非常困难,一般也就是直接应用。但是在数据预处理和清理上面可以有不少工作可做,而且出成果也相对容易。 我觉得就盘石项目来说,如果只用weka进行挖掘似乎还不行。我们的目标是做大规模的日志挖掘,因此希望能够用到mapred ce的并行计算能力。因此 你必须考虑: (1)如何在数据清理层面利用mapred ce进行数据格式的转换； (2)面对流式增长的日志,如何实现增量数据清理转化,避免每次重头做 起。 (3)如何在架构层面实现对多个用户进行并行mapred ce数据清理。 这是我对数据清理任务的一点建议,等数据清理工作做完了,我们就可以用相关算法进行挖掘。我推荐你看看maho t这个开源机器学习库,一般的数据挖掘算 法这个库中都有mapred ce实现,避免你再去自己写算法。如果你能够把这些工作做完,我觉得一定会有成果和收获,论文也就出来了。 2013  03 13 我之思考 首先:必须熟悉各种数据挖掘算法的基本概念,处理流程,需要的数据格式等,目前我对于日志数据挖掘算法都不清楚,更何况需要什么样的格式呢？ 其次:实现小数据的日志数据清理和格式转化,进行小规模的数据挖掘算法演示和效果。这部分需要我实现算法,不过weka已经含有绝大多数数据挖掘算法的实现并且开源,所以实现起来应该不难！ 再者:安装配置hadoop和maho t,进行大量日志数据的数据挖掘算法实验,主要部分！