(note que eu rodo 100 processos em background pra aumentar o nível de paralelismo. na época o site estava bem lento, então foi necessário fazer isso. Agora já não sei como está e pode não ser a forma ideal).
Pronto, os dados estavam todos ali. Agora só precisava “extrair” eles dos htmls e transformar em algo mais processável.