Q:

Парсинг всех страниц на сайте

Увидел код (за это спасибо  JackWolf) вот код:
import requests
from bs4 import BeautifulSoup

r = requests.get('https://3dtoday.ru/3d-models?page=1')
soup = BeautifulSoup(r.text, 'html.parser')

element = soup.find_all('div', class_='threedmodels_models_list__elem__str')
for index in range(18):
    elem_soup = BeautifulSoup(str(element[index]), 'html.parser')
    title = elem_soup.find_all('a')[2].text
    print(' '.join(title.split()))

на каждой странице в каталоге примерно 18 элементов так вод страниц там больше чем 900 страниц. Так вот каким образом парсить за один запуск программы весь каталог и записывать его в CSV файл?

A:

import requests
from bs4 import BeautifulSoup
num_of_page = 10
for i in range(num_of_page):
    url = 'https://3dtoday.ru/3d-models?page=' + str(i + 1)
    response = requests.get(url, verify=False)
    soup = BeautifulSoup(response.text, 'html.parser')
    items = soup.findAll('div', class_='threedmodels_models_list__elem__title')
    for item in items:
        title = item.find('a').get_text(strip=True)
        print(title)

Вместо num_of_page поставь кол-во страниц.

