<commit_before>---
layout: article
title:  "数据仓库之路(二)"
categories: DW
toc: true
image:
    teaser: /teaser/计算机数据中心-35374082.jpg
---

> 本文主要介绍在w公司的数据仓库之数据采集


### 前言
&emsp;&emsp;主要想记录自己在w公司以来的经历和成长，挤出些时间对自己两年以来坐下总结，以便对下一步的道路进行更好的规划。
## 概述
数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上
#### 网站日志：
* 用户浏览器点击采集：

* 后台服务器采集：

* ios/android app数据采集：

* 缓存



#### 业务以及交易数据：<commit_msg>update datawarehouse<commit_after>---
layout: article
title:  "数据仓库之路(二)"
categories: DW
toc: true
image:
    teaser: /teaser/计算机数据中心-35374082.jpg
---

> 本文主要介绍在w公司的数据仓库之数据采集


### 前言
&emsp;&emsp;主要想记录自己在w公司以来的经历和成长，挤出些时间对自己两年以来坐下总结，以便对下一步的道路进行更好的规划。
## 概述
数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上
#### 网站日志：
* 用户浏览器点击采集：

* 后台服务器采集：

* ios/android app数据采集：

* 缓存

## 页面的日志采集流程
* 网站页面是互联网服务的基本载体，即使在如今传统互联网形态逐渐让位于互联网的背景下，HTML页面依然是嘴普遍的业务形态，对于以网页为基本展现形式的互联网产品和服务，衡量起业务水平的基本指标是网页浏览量（PV）和访客数（UV）。为此，我们需要采集页面背浏览加载展现的记录数据，这是最原始的互联网日志采集需求，也是一切互联网数据分析得以展开的基础和前提。
* 目前典型的网页访问过程是以浏览器请求、服务器相应并返回所请求的内容（大多以HTML文档的形式）这种模式进行的，浏览器和服务器之间的通信普遍遵守HTTP协议。浏览器发起的请求被称为HTTP请求（HTTP Request）,服务器的返回则被称为HTTP的响应（HTTP Response）
{'fraction_non_alphanumeric': 0.12322274881516587, 'fraction_numerical': 0.015165876777251185, 'mean_word_length': 7.655737704918033, 'pattern_counts': {'":': 0, '<': 3, '<?xml version=': 0, '>': 5, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '1449695', 'n_tokens_mistral': 810, 'n_tokens_neox': 970, 'n_words': 52}