Гайд Поднимаем Веб-скрапер на основе ИИ

[wlux.net]

CyberScraper 2077 — веб-скрапер, который словно веб-разведчик на стероидах, агрегирующий в себе последние достижения ИИ от таких гигантов, как OpenAI, Gemini и Ollama.

Особенности данного инструмента:

• Извлечение на основе искусственного интеллекта: Использует передовые модели искусственного интеллекта для интеллектуального понимания и анализа контента
• Удобный и минималистичный интерфейс
• Поддержка нескольких форматов: экспортируйте свои данные в JSON, CSV, HTML, SQL или Excel – в любом удобном для вас формате cyberdeck
• Скрытый режим: реализованы параметры скрытого режима, которые помогают избежать обнаружения в качестве бота
• Поддержка Ollama: Используйте огромную библиотеку LLM с открытым исходным кодом
• Асинхронные операции: молниеносная очистка, которой позавидовала бы бригада травматологов
• Интеллектуальный синтаксический анализ: структурирует очищенный контент так, как если бы он был извлечен прямо из инграммы главного netrunner
• Кэширование: Реализовано кэширование на основе контента и запросов с использованием кэша LRU и пользовательского словаря для сокращения избыточных вызовов API
• Загрузка в Google Таблицы: теперь вы можете легко загружать извлеченные CSV-данные в Google Таблицы одним щелчком мыши
• Обход капчи: обходите капчу, используя -captcha в конце URL-адреса. (В настоящее время работает только нативно, не работает в Docker)
• Текущий браузер: функция текущего браузера использует ваш локальный экземпляр браузера, что поможет вам обойти 99% систем обнаружения ботов. (Используйте только при необходимости)
• Режим прокси (скоро появится): встроенная поддержка прокси-серверов, чтобы вы могли скрытно перемещаться по сети
• Перемещайтесь по страницам (BETA): перемещайтесь по веб-странице и собирайте данные с разных страниц

Демо:


Установка CyberScraper 2077:

Установите ключ OpenAI и Gemini в вашей среде:

Установка Docker:
Изначально вам необходимо скачать и установить Docker с официального сайта, далее выполнить данные команды:

После чего откройте

Пожалуйста, войдите или зерегистрируйтесь, чтобы увидеть скрытый текст.

, введите ссылку на сайт и попросите какие именно данные вам необходимо извлечь

Использование:

streamlit run main.py

После чего откройте

Пожалуйста, войдите или зерегистрируйтесь, чтобы увидеть скрытый текст.

, введите ссылку на сайт и попросите какие именно данные вам необходимо извлечь

Настройка аутентификации Google Sheets

 

[No3pa]

Автор ясно и понятно всё обьяснил!

 

[kirher45]

Интересная информация спасибо автору