<jupyter_start><jupyter_text>refhttp://orangain.hatenablog.com/entry/scraping-in-python<jupyter_code>from urllib.request import urlopen
f = urlopen("http://www.naika.or.jp/nintei/seido/meibo/s01/")
f.code

f.getheader('content-type')
f.info().get_content_charset()
f.read()

from urllib.request import urlopen
import re

f = urlopen('http://www.naika.or.jp/nintei/seido/meibo/s01/')

k = f.read().decode('utf-8')
#n<!-- コンテンツ開始 \n―――――――――――――――――――――――――――――――――――――――――――――――――――――――――-->\n
#から
#<!-- .entry-content -->
#までがデータ

print(k)

p = re.compile (r'<div id="my_form_contents">[\w\W]*<div class="childPageBox">')


con= p.search(k)
con.group()
#<td>名前</td>ってなってそう
p1 = re.compile (r'<td width="20%">(?P<drs>[\w\W]*?)</td>')

for m in re.finditer(p1, k):
    print(m.group('drs').encode('utf8'))

con1= p1.findall(k)
print(len(con1))
print(con1)

p2 = re.compile (r'<td>[\w\W]*?</td>')
con2= p2.findall(k)
print(len(con2))
print(con2)

#同姓同名検索がいたら困るから_都道府県をつけようかな。

dr_list = []

p1 = re.compile (r'<td width="20%">(?P<drs>[\w\W]*?)</td>')
for m in re.finditer(p1, k):
    dr_list.append(m.group('drs'))

p2 = re.compile (r'<td>(?P<drs>[\w\W]*?)</td>')
for m in re.finditer(p2, k):
    dr_list.append(m.group('drs'))

    
for m in dr_list:
    print(m)<jupyter_output>相川　忠夫	
會澤　佳昭	
青木　香苗	
青木　繁雄	
青木　真弓	
赤池　　淳	
赤坂　和美	
赤津　智也	
秋川　和聖	
阿久津典之	
明田　克之	
淺野　嘉一	
芦原　順也	
渥美　進一	
阿部　智絵	
阿部　雅一	
阿部　昌彦	
阿部　真美	
阿部　美南	
天野　虎次	
雨夜　和俊	
網島　　優	
荒木　明夫	
荒木　直子	
嵐　　方之	
淡川　照仁	
井伊由優子	
飯島　朝子	
飯田　高久	
飯田　康人	
五十嵐　毅	
五十嵐知文	
碇　　修二	
居川　幸正	
生田　克哉	
池田　和雄	
池田　大輔	
伊古田明美	
伊佐田　朗	
石井　幸司	
石井　正孝	
石川　康暢	
石黒　　敦	
石黒　俊哉	
石田　健介	
石田　　建	
石塚　　淳	
石塚　広司	
石橋　陽子	
石丸　伸司	
石本　　朗	
石森　直樹	
泉山　　康	
一宮由紀子	
市村　志保	
井手　　宏	
伊藤　昭英	
伊東　修一	
伊藤　貴博	
伊東　直史	
伊藤　博史	
伊藤　美樹	
伊藤　嘉行	
稲熊　良仁	
稲葉　芳絵	
稲村　純季	
井上　　篤	
井上　仁喜	
猪又　崇志	
今井　陽俊	
今井　　実	
今泉　賢二	
今泉　孝敬	
今川　正吾	
今田　彰浩	
井山　　諭	
入宇田智子	
入宇田能弥	
入江　達朗	
岩渕　敏樹	
上北　和実	
上田　亜希	
上野　敦盛	
上林　　実	
上原　明彦	
上原　　聡	
宇野　英二	
宇野　真一	
梅原伸太郎	
浦　　茂久	
上部　泰秀	
江口　周生	
江藤　和範	
遠藤　利昭	
遠藤　知之	
遠藤　正賢	
遠藤三紀子	
遠藤　芳夫	
大泉　聡史	
大泉　弘子	
大川原辰也	
大島　英二	
大島　寛史	
大城　和恵	
太田　秀一	
太田　智之	
太田　英敏	
大谷　美穂	
大地　　貴	
大塚　満雄	
大塚　陽介	
大塚　義紀	
大坪　　力	
大友　　元	
大西　浩平	
大西　幸代	
大西　俊介	
大沼　義人	
大橋　広和	
大原　行雄	
大原　克仁	
大平　浩司	
大平　　洋	
大平　賀子	
大平　　恵	
大本　晃裕	
大山　尚貢	
岡　　俊州	
小笠　壽之	
岡澤林太郎	
岡田　耕平	
岡田　純一	
岡田　春夫	
岡田　　基	
尾形　仁子	
岡本　健作	
岡本　美穂	
岡本　佳裕	
小川　浩司	
小川　　孝	
小川　太郎	
沖田　孝一	
奥　　隆臣	[...]
{'fraction_non_alphanumeric': 0.15731814198071867, 'fraction_numerical': 0.010955302366345312, 'mean_word_length': 2.453857791225416, 'pattern_counts': {'":': 0, '<': 21, '<?xml version=': 0, '>': 21, 'https://': 0, 'lorem ipsum': 0, 'www.': 2, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '569977', 'license': 'MIT', 'n_tokens_mistral': 1890, 'n_tokens_neox': 2118, 'n_words': 357, 'path': '160915naika.ipynb', 'repo_name': 'cipron81/Specialist_checker', 'size': '2282'}