Q:

Webscraping casos coronavirus pero se detiene en cierto valor. Como lo resuelvo?

Estoy creando un programa que recoja los datos de google sobre coronavirus por pais, pero el problemas es que nececito recolectar los datos de todos los paises y mi programa se detienen al llegar al pais numero 40 de la lista.
Adjunto codigo (no se si lo adjunte bien, estoy aprendiendo como usar esta pagina)
El lenguaje que estoy ocupando es python
from urllib.request import urlopen as ureq
from bs4 import BeautifulSoup as soup

my_url='https://news.google.com/covid19/map?hl=es-419&gl=US&ceid=US%3Aes-419'

# Opening up concection, grabbing the page
uclient = ureq(my_url)
page_html = uclient.read()
uclient.close()
lista = []
# html parser 

page_soup = soup(page_html, "html.parser")
containers = page_soup.findAll("tr",{"class":"sgXwHf wdLSAe YvL7re"})

filename = "Covid-19.csv"
f = open(filename, "w")
headers = "Pais, Confirmados, Recuperados, Muertos\n"
f.write(headers)

for container in containers:
    name_contain = container.findAll("div",{"class":"pcAJd"})
    name = name_contain[0].text
    data = container.findAll("td")
    confirmados = data[0].text
    recuperados = data[2].text
    muertos = data[3].text 
    lista.append(name)
    print(name)
    print(f"Confirmados: {confirmados}")
    print(f"Recuperados: {recuperados}")
    print(f"Muertos: {muertos}")
    f.write(name.replace(",","")+ ","+ confirmados.replace(",","") +","+ recuperados.replace(",","") +","+ muertos.replace(",","") + "\n")

A:

Si miras el codigo fuente de la pagina, solo se muestran los primeros 40 resultados. Esto es probablemente debido a que el codigo JS de la pagina carga el resto de entradas de la tabla cuando haces scroll down (esto se denomina lazy-loading). Por lo tanto es necesario hacer scroll down primero antes de leer los resultados. Para ello se puede utilizar el modulo selenium e intentar hacer scroll en esta tabla (deberas descargar un driver para ello, ya sea de Chrome o Firefox). Aqui encontraras alguna idea mas:
https://stackoverflow.com/questions/21006940/how-to-load-all-entries-in-an-infinite-scroll-at-once-to-parse-the-html-in-pytho

