region:us
# Thống kê dữ liệu và số urls (chưa dedup) theo domains

Để tổng hợp dữ liệu và url dedup cho từng domain dùng lệnh
`xzcat */*/*keyword*.jsonl.xz | python3 url_dedup_stdin.py`

```
9948mb	 413k	2023	http://quangduc.com
7592mb	 312k	2023	http://thuvienhoasen.org
5966mb	 135k	2023	http://tangthuphathoc.net
5310mb	1312k	2023	http://rongmotamhon.net

45331mb	3889k	2023	http://tailieu.vn
14118mb	1012k	2023	http://vi.wikipedia.org
11109mb	3494k	2023	http://baomoi.com
10035mb	  22k	2018	http://kiemhiepthuvien.forumsmusic.com
9692mb	2230k	2023	http://eva.vn
...
```

Xem bản đầy đủ ở `cc_domain_stats.txt.gz`
