Top.Mail.Ru
Бесплатный стек Собираем свой парсер на Python Миниинструкция | Базар

Бесплатный стек: Собираем свой парсер на Python (Мини-инструкция).

Установите: Python, библиотеки requests, beautifulsoup4, selenium (если нужен), драйвер для браузера - изображение

Установите: Python, библиотеки requestsbeautifulsoup4selenium (если нужен), драйвер для браузера (ChromeDriver для Selenium).

Исследуйте страницу: Откройте нужную страницу ЭТП в браузере, F12 -> Inspector.

Получите HTML:

Статичная страница: requests.get(url).text

Динамическая: Запустите браузер через Selenium (driver.get(url)), получите driver.page_source.

Парсинг: Создайте объект soup = BeautifulSoup(html, 'html.parser').

Извлеките данные: Используйте методы .find().find_all() с CSS-селекторами или названиями тегов/атрибутов. Пример: soup.find_all('div', class_='tender-card').

Обработайте данные: Очистите текст от лишних пробелов (strip()), преобразуйте числа, даты.

Сохраните: В CSV (csv.writer), JSON (json.dump) или БД.

Добавьте задержки: import time; time.sleep(random.uniform(1, 5)).

(Критично!) Используйте Прокси: Настройте ротацию через сервисы типа Luminati, IPRoyal или настройте собственный пул. Для requestsproxies={'http': 'ip:port', 'https': 'ip:port'}. Для Selenium - сложнее, через опции.

Тестируйте и Логируйте: Пишите логи в файл (logging модуль).

Подписывайтесь на канал и делайте репосты! Больше новой информации и детальном разборе на моих курсах. Пиши в чат и тебе будет предоставлена персональная скидка и очень щедрая, за ту информацию, которую я тебе передам.

Ваш Владимир, юрист и проводник.
#223фз #госзакупки #СМП #малыйбизнес #тендеры #юрист #лайфхаки #закупки #возможности #переговоры #ФАС #конкурентныепреимущества #бизнессилай #практика #ниши

Мы используем файлы cookie, чтобы улучшить ваш опыт на нашем сайте
Нажимая «Принять», вы соглашаетесь на использование файлов cookie в соответствии с Политикой конфиденциальности. Можно самостоятельно управлять cookie через настройки браузера: их можно удалить или настроить их использование в будущем.