<commit_before>---
layout: post
title: 大数据子项目阶段汇报
description: ""
modified: 2015-09-30
tags: [大数据, hadoop, springxd ]
image:
  feature: abstract-1.jpg

---

###大数据子项目阶段汇报
- - -

####本周进展：

* 本周完成price行情数据实时进入GPDB
* 讨论指数计算方法和实施步骤，工作任务分配
* 发布和订阅服务部署及测试

####存在问题：

**kafka c++接口API存在bug，正在和建生、宫剑讨论和测试替代方案，影响高频数据发送**

###1. Pivotal Hadoop
* 完成phd2.1生产集群的规划、部署、配置、测试验证，集群由11个节点组成，主要包括hdfs、namenode、datanode、standyby-namenode、yarn-resourcemanager、yarn-nodemanager、journal-node、zookeeper、hbase、hive、mahout、flume、sqoop、pxf、hawq等
带有kerberos安全认证的集群

* 完成phd3.0生产集群的规划、部署、配置、测试验证，集群由8个节点组成，主要包括Ambari、hdfs、namenode、datanode、standyby-namenode、yarn-resourcemanager、yarn-nodemanager、journal-node、zookeeper、hbase、hive、Tez、Pig、Nagios、Ganglia、Oozie等
不带有kerberos安全认证的集群，带有监控和报警

![phd3.0](/images/ambari-server.png)
![phd2.1](/images/phd2.png)

###2. GreenplumDB
* 集群由16个节点组成
* 基于GPDB部署Madlib开源机器学习算法库、PL/R、pivotalR模块

![gpdb](/images/GPDB.png)
![pivotalR](/images/pivotalR.png)
![Madlib](/images/MADlib.png)

###3. Springxd
* 完成SpringXD1.1.1测试集群分布式部署<commit_msg>add bigdata<commit_after>---
layout: post
title: 大数据子项目阶段汇报
description: ""
modified: 2015-09-30
tags: [大数据, hadoop, springxd ]
image:
  feature: abstract-1.jpg

---

###大数据子项目阶段汇报
- - -

####本周进展：

* 本周完成price行情数据实时进入GPDB
* 讨论指数计算方法和实施步骤，工作任务分配
* 发布和订阅服务部署及测试

####存在问题：

**kafka c++接口API存在bug，正在和建生、宫剑讨论和测试替代方案，影响高频数据发送**

- - -

###总体完成情况

###1. Pivotal Hadoop
* 完成phd2.1生产集群的规划、部署、配置、测试验证，集群由11个节点组成，主要包括hdfs、namenode、datanode、standyby-namenode、yarn-resourcemanager、yarn-nodemanager、journal-node、zookeeper、hbase、hive、mahout、flume、sqoop、pxf、hawq等
带有kerberos安全认证的集群

* 完成phd3.0生产集群的规划、部署、配置、测试验证，集群由8个节点组成，主要包括Ambari、hdfs、namenode、datanode、standyby-namenode、yarn-resourcemanager、yarn-nodemanager、journal-node、zookeeper、hbase、hive、Tez、Pig、Nagios、Ganglia、Oozie等
不带有kerberos安全认证的集群，带有监控和报警

![phd3.0](/images/ambari-server.png)
![phd2.1](/images/phd2.png)

###2. GreenplumDB
* 集群由16个节点组成
* 基于GPDB部署Madlib开源机器学习算法库、PL/R、pivotalR模块

![gpdb](/images/GPDB.png)
![pivotalR](/images/pivotalR.png)
![Madlib](/images/MADlib.png)

###3. Springxd
* 完成SpringXD1.1.1测试集群分布式部署
{'fraction_non_alphanumeric': 0.16413662239089183, 'fraction_numerical': 0.027514231499051234, 'mean_word_length': 7.679012345679013, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 3, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1048655', 'n_tokens_mistral': 1285, 'n_tokens_neox': 1436, 'n_words': 85}