python Гайд Ваш первый парсер на python. Ч2. Обход защиты от роботов.

[sunilia]

Всем привет!
Продолжаем писать наш универсальный первый парсер.

Парсинг веб-страниц на Python является частой задачей, особенно для автоматизации сбора данных или создания различных ботов. Однако, чтобы он был "правильным", необходимо учесть несколько важных аспектов, таких как отправка заголовков (headers), авторизация и работа с куками (cookies). В этой статье мы рассмотрим каждый из этих аспектов, а также приведем примеры кода на Python.

1. Headers: зачем и как их использовать?
Заголовки HTTP-запросов (headers) играют важную роль в взаимодействии с сервером. Они могут содержать информацию о браузере, языке, типе контента и другую важную информацию. Часто серверы проверяют заголовки, чтобы определить, кто делает запрос, и если заголовок отсутствует или некорректен, сервер может отказать в доступе.

Пример: Если вы хотите имитировать поведение браузера при отправке запроса, то вам нужно добавить заголовок User-Agent, чтобы сервер не считал запрос подозрительным.

Пример запроса с заголовками:

 import requests

url = 'https://example.com' 
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3', 'Accept-Language': 'en-US,en;q=0.5' }

response = requests.get(url, headers=headers) 
print(response.text)

Здесь мы добавили заголовки User-Agent и Accept-Language, которые помогут запросу выглядеть более "натурально".

2. Авторизация: как парсить страницы с защитой?
Некоторые сайты требуют авторизацию для доступа к определенным данным. Для этого могут использоваться различные методы, такие как базовая авторизация (Basic Auth) или авторизация через токены (например, JWT).

Пример с базовой авторизацией:

 from requests.auth import HTTPBasicAuth

url = 'https://example.com/protected' 
auth = HTTPBasicAuth('username', 'password')

response = requests.get(url, auth=auth) 
print(response.text)

Здесь мы используем встроенный механизм авторизации библиотеки requests, чтобы получить доступ к защищенным ресурсам.

Авторизация через токены:
Некоторые API используют токены для авторизации. Например, для работы с API часто нужно отправлять токен в заголовке Authorization.

 url = 'https://api.example.com/data' 
headers = { 'Authorization': 'token' }

response = requests.get(url, headers=headers) 
print(response.json())

Токены обычно получаются при авторизации на сайте или через API, и их нужно передавать с каждым запросом для доступа к защищенным данным.

3. Работа с куками (cookies)
Cookies — это небольшие фрагменты данных, которые сервер сохраняет на клиенте и которые могут понадобиться при последующих запросах. Например, после авторизации на сайте, сервер может отправить куки сессии, которые нужно передавать с каждым запросом.

Получение и отправка cookies:
Библиотека requests автоматически сохраняет и отправляет куки, если используется объект сессии (Session).

 import requests

Создаем сессию
session = requests.Session()

Авторизуемся и получаем cookies
login_url = 'https://example.com/login' 
payload = { 'username': 'user', 'password': 'pass' } session.post(login_url, data=payload)

Используем cookies в последующих запросах
protected_url = 'https://example.com/protected' 
response = session.get(protected_url) print(response.text)

Здесь мы сначала авторизуемся на сайте и сохраняем куки сессии в объекте Session. После этого можем использовать те же куки для доступа к защищенным страницам.

Полезные советы:
Следите за частотой запросов: Чтобы избежать блокировки, необходимо контролировать частоту запросов. Некоторые сайты блокируют слишком частые запросы с одного IP-адреса.
Используйте прокси: Если сайт блокирует запросы с определенного IP, можно использовать прокси-серверы для обхода этого ограничения.
Парсинг с динамических сайтов: Если данные на сайте загружаются через JavaScript, можно использовать такие инструменты, как Selenium или Playwright для рендеринга страниц перед парсингом.


Задавайте вопросы, если таковы имеются

 

[keeker]

Крутое объяснение сложного действия. Мне нравится

 

[Facece777]

Как прикрутить прокси сюда?

 

[ART994]

давно искал решение. спасибо