以下のソースで検索結果に表示されるaタグの中の[data-jk]属性情報を取得しています。Jupyter
Notebookで実行すると、画面で確認した状態である検索結果15件と同じ「15」という結果になりますが、Google
Colaboratoryで実行すると「2」という結果になります。

Google Colaboratoryでも、画面に表示された状態の検索結果表示件数の情報を取得したいので対処方法を教えていただけますでしょうか。

```

    from bs4 import BeautifulSoup
    import requests
    url = "https://jp.indeed.com/%E6%B1%82%E4%BA%BA?q=feedid%3A255158+company%3A%22%E6%A0%AA%E5%BC%8F%E4%BC%9A%E7%A4%BEJD%22&filter=0"
    r = requests.get(url)
    soup = BeautifulSoup(r.text)
    alllist = []
    for elem in soup.select('a'):
        data_jk = elem.get('data-jk')
        alllist.append(data_jk)
        clean_alllist = list(filter(None, alllist))
    len(clean_alllist)
    
```

Google Colaboratoryでこれまでに試したことは以下の通りです。いずれも事象解消に至りませんでした。

  * Python（3.7.13）、BeautifulSoup4（4.9.1）、requests（2.24.0）のバージョンをそろえる。
  * UserAgentを実際に自分の環境のもので指定してアクセスする。
  * [requestsで取得できないWebページをスクレイピングする方法](https://gammasoft.jp/blog/how-to-download-web-page-created-javascript/) を参考にrequests-htmlを使用する。

よろしくお願いします。
CC BY-SA 4.0
2022-04-14T03:19:51.247
88335
2022-04-14T06:38:09.070
2022-04-14T06:38:09.070
3060
52223
question
python google-colaboratory beautifulsoup python-requests
同じPythonのソース（BS4でスクレイピング）でGoogleColaboratoryとJupyternotebookで実行結果が異なるのを解消したい