<jupyter_start><jupyter_text>Twitter 데이터 수집하기 본 Notebook은 트윗 데이터를 수집하기 위한 Notebook입니다.  ---기존 트윗 데이터를 (무료로)수집하기 위해서는 상당한 제약이 존재합니다.  1. 7일전 까지 발생한 트윗들만 수집 가능2. 하루에 수집할 수 있는 트윗의 갯수에 제약이 있음이러한 문제를 해결하기 위해 github에는 상당히 많은 트윗 데이터 크롤링을 위한 소스코드가 있지만..  아쉽게도 최근 twitter측에서 접근을 다 막은듯 하다...  하지만, 다행이도 아직 작동하는 크롤링 tool이 남아 있었다!Scweet(github) : https://github.com/Altimis/Scweet위의 패키지를 이용하면 아무런 제약없이(참고: legal tool임) 트윗 데이터를 마음대로 수집할 수 있다.  수집되는 데이터 정보는 다음과 같다.  ```>> [UserScreenName, UserName, Timestamp, Text, Embedded_text, Emogis, Comments, Likes, Retweets,Image link, Tweet URL]```본격적으로 크롤링을 위해 설치해보자! [Scweet 설치 방법] [1] pip를 이용하여 설치하기(EASY)```>>pip install scweet ``` [2] github를 이용하여 설치하기```>>git clone https://github.com/Altimis/Scweet.git>>cd ~/Scweet>>python setup.py install```--- How to Use ? [1] 특정 keyword를 이용하여 크롤링 하기  ```from Scweet.scweet import scrapdata = scrap(words=['covid','covid19'], start_date="2020-04-01", max_date="2020-04-15", from_account = None,interval=1,       headless=True, display_type="Top", save_images=False,              resume=False, filter_replies=True, proximity=True)``` [2] Hashtag를 이용하여 크롤링 하기```from Scweet.scweet import scrapdata = scrap(hashtag="covid19", start_date="2020-04-01", max_date="2020-04-15", from_account = None,interval=1,       headless=True, display_type="Top", save_images=False,              resume=False, filter_replies=True, proximity=True)```---실제로 한국어로 테스트 해보면 다음과 같이 나오는것을 확인했다. (2021/04/17 기준)  ![image.png](attachment:image.png)---추가적인 사용법은 아래의 개발자의 jupyter notebook 참고!Link : https://github.com/Altimis/Scweet/blob/master/Example.ipynb---윈도우 환경에서는 작동되는것을 확인함.  리눅스 환경에서는 크롬 드라이버(google-chrome)가 없으면 따로 설치해야 함.<jupyter_code>from Scweet.scweet import scrap
data = scrap(words=['코로나','코로나19'], start_date="2020-04-01", max_date="2020-04-15", from_account = None,interval=1, 
      headless=True, display_type="Top", save_images=False, 
             resume=False, filter_replies=True, proximity=True)
data = scrap(hashtag="covid19", start_date="2020-04-01", max_date="2020-04-15", from_account = None,interval=1, 
      headless=True, display_type="Top", save_images=False, 
             resume=False, filter_replies=True, proximity=True)<jupyter_output><empty_output>
{'fraction_non_alphanumeric': 0.14131897711978467, 'fraction_numerical': 0.0408254822790489, 'mean_word_length': 4.77720207253886, 'pattern_counts': {'":': 0, '<': 5, '<?xml version=': 0, '>': 15, 'https://': 3, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '413453', 'license': 'MIT', 'n_tokens_mistral': 1174, 'n_tokens_neox': 1327, 'n_words': 209, 'path': 'tweet_crowler.ipynb', 'repo_name': 'Kaya176/DataCollection', 'size': '2229'}