Как парсить сайт: 20+ инструментов на все случаи жизни

Как работает парсинг и какой контент можно парсить своими руками или автоматически

Вам удастся получить любую информацию (текстовую или медийную), которая находится в открытом доступе, например:

Названия товаров, карточек и категорий, в которые они обобщены.
Характеристики

Особенно важно для бытовой техники, смартфонов.
Стоимость, наличие скидки.
Изменение товарного ряда, добавление новых позиций.
Описание услуг или продаваемых предметов.
Изображения. Но с ними следует работать аккуратнее, они могут быть авторскими, а значит, их использование уже будет незаконным.

Мы очень не рекомендуем перезаливать полученный текст на свою страничку в надежде, что он пройдет через фильтры поисковых систем. Скорее всего, они сразу вас забанят при попытке продвинуть такой неуникальный ресурс.

Зачем нужны парсеры

Парсер — это программа, сервис или скрипт, который собирает данные с указанных веб-ресурсов, анализирует их и выдает в нужном формате.

С помощью парсеров можно делать много полезных задач:

Для справки. Есть еще серый парсинг. Сюда относится скачивание контента конкурентов или сайтов целиком. Или сбор контактных данных с агрегаторов и сервисов по типу Яндекс.Карт или 2Гис (для спам-рассылок и звонков). Но мы будем говорить только о белом парсинге, из-за которого у вас не будет проблем.

Где взять парсер под свои задачи

Есть несколько вариантов:

1. Оптимальный — если в штате есть программист (а еще лучше — несколько программистов). Поставьте задачу, опишите требования и получите готовый инструмент, заточенный конкретно под ваши задачи. Инструмент можно будет донастраивать и улучшать при необходимости.
2. Воспользоваться готовыми облачными парсерами (есть как бесплатные, так и платные сервисы).
3. Десктопные парсеры — как правило, программы с мощным функционалом и возможностью гибкой настройки. Но почти все — платные.
4. Заказать разработку парсера «под себя» у компаний, специализирующихся на разработке (этот вариант явно не для желающих сэкономить).

Первый вариант подойдет далеко не всем, а последний вариант может оказаться слишком дорогим.

Что касается готовых решений, их достаточно много, и если вы раньше не сталкивались с парсингом, может быть сложно выбрать. Чтобы упростить выбор, мы сделали подборку самых популярных и удобных парсеров.

Законно ли парсить данные?

В законодательстве РФ нет запрета на сбор открытой информации в интернете. Право свободно искать и распространять информацию любым законным способом закреплено в четвертом пункте 29 статьи Конституции.

Допустим, вам нужно спарсить цены с сайта конкурента. Эта информация есть в открытом доступе, вы можете сами зайти на сайт, посмотреть и вручную записать цену каждого товара. А с помощью парсинга вы делаете фактически то же самое, только автоматизированно.

Как выбрать подходящий парсер

В первую очередь необходимо определить, для каких именно целей требуется данный инструмент, а также выяснить, какой объем данных предстоит получать, и в каком виде. После этого необходимо понять, потребуется разовый сбор данных, либо подобную операцию нужно будет проводить с определенной периодичностью

Отобрав наиболее подходящие под решение поставленных задач инструменты, можно опробовать демоверсии, обратив особое внимание на оказание технической поддержки. После того, как взвешены все за и против, — подобрать наиболее подходящий сервис, обратив внимание на соотношение цены и качества

В подавляющем большинстве случаев будет достаточно стандартного решения, причем иногда даже бесплатной версии, однако если требуется проводить достаточно сложную обработку большого объема данных, то в данном случае лучше разработать собственный парсер, заточенный под конкретные задачи.

Parsing

Данный механизм действует по заданной программе и сопоставляет определенный набор слов, с тем, что нашлось в интернете. Как поступать с полученной информацией, написано в командной строке, называемой «регулярное выражение». Она состоит из символов и задает правило поиска.

Фактически понятие переводится с английского языка как семантический анализ или разбор. Но термин, применяемый в технологиях создания и наполнения вебсайта, имеет более широкое значение. Это процедура, действие, предполагающее многостороннее исследование страницы, документа, целого раздела на предмет нахождения лексических, грамматических единиц или иных элементов (не только текста, но и видео-, аудио-контента) с последующей систематизацией. Искомые сведения находятся и преобразуются, они подготавливаются для дальнейшей работы с ними. Еще можно сказать, что это быстрая оценка и скорая обработка интернет-ресурса, данных с него. Вручную подобный процесс занял бы много времени, но автоматизация его значительно упрощает.

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Второе название для процедуры – скраппинг, или скрейпинг от англоязычного «scraping». В ходе этого буквального «соскабливания» программное обеспечение заходит на вебсайт под видом обыкновенного пользователя и, используя скрипты, производит сбор данных.

Исходником может быть ваш собственный веб-ресурс (для аналитики и принятия последующих решений), сайт конкурента, страничка из социальных сетей и пр. Полученным результатом можно будет пользоваться в дальнейшем по усмотрению владельца. Приведем понятный пример. По такому принципу работают поисковые системы, когда они анализируют страницы на релевантность, наличие ключевых слов из запроса и соответствие тематике, а затем на основе полученных сведений автоматически формируется выдача.

Ограничения: почему бывает сложно парсить

Многие задумываются о том, как защитить сайт от парсинга, потому что не хотят терять уникальность контента. Поэтому используют различные программы, которые запрещают доступ к ресурсу ботам.

Запреты могут накладываться на работу по следующим аспектам:

• По user-agent. Клиентское приложение отправляет запросы, чтобы получить информацию о пользователе. Многие вебсайты блокируют парсеры, но это можно избежать, если настроить все как YandexBot или Googlebot.
• По robots.txt. Здесь еще проще. Прописываем в настройках, что нужно игнорировать этот протокол.
• По IP. Подозрительно, что с одного адреса с удивительной регулярностью поступают одинаковые запросы, действия. Решить это можно, используя VPN.
• По капче. Ряд ресурсов при подозрении на автоматизацию процесса предлагают ее пройти. Обучение системы отгадывать и распознавать картинку – это дорогая и длительная процедура.

Парсеры сайтов в зависимости от используемой технологии

Парсеры на основе Python и PHP

Такие парсеры создают программисты. Без специальных знаний сделать парсер самостоятельно не получится. На сегодня самый популярный язык для создания таких программ Python. Разработчикам, которые им владеют, могут быть полезны:

• библиотека Beautiful Soup;
• фреймворки с открытым исходным кодом Scrapy, Grab и другие.

Заказывать разработку парсера с нуля стоит только для нестандартных задач. Для большинства целей можно подобрать готовые решения.

Парсеры-расширения для браузеров

Парсить данные с сайтов могут бесплатные расширения для браузеров. Они извлекают данные из html-кода страниц при помощи языка запросов Xpath и выгружают их в удобные для дальнейшей работы форматы —  XLSX, CSV, XML, JSON, Google Таблицы и другие. Так можно собрать цены, описания товаров, новости, отзывы и другие типы данных.

Примеры расширений для Chrome: Parsers, Scraper, Data Scraper, kimono.

Парсеры сайтов на основе Excel

В таких программах парсинг с последующей выгрузкой данных в форматы XLS* и CSV реализован при помощи макросов — специальных команд для автоматизации действий в MS Excel. Пример такой программы — ParserOK. Бесплатная пробная версия ограничена периодом в 10 дней.

Парсинг при помощи Google Таблиц

В Google Таблицах парсить данные можно при помощи двух функций — importxml и importhtml.

Функция IMPORTXML импортирует данные из источников формата XML, HTML, CSV, TSV,  RSS, ATOM XML в ячейки таблицы при помощи запросов Xpath. Синтаксис функции:

  
IMPORTXML("https://site.com/catalog"; "//a/@href")
IMPORTXML(A2; B2)
  

Расшифруем: в первой строке содержится заключенный в кавычки url (обязательно с указанием протокола) и запрос Xpath.

Знание языка запросов Xpath для использования функции не обязательно, можно воспользоваться опцией браузера «копировать Xpath»:

Вторая строка указывает ячейки, куда будут импортированы данные.

IMPORTXML можно использовать для сбора метатегов и заголовков, количества внешних ссылок со страницы, количества товаров на странице категории и других данных.

У IMPORTHTML более узкий функционал — она импортирует данные из таблиц и списков, размещенных на странице сайта. Синтаксис функции:

  
IMPORTHTML("https://https://site.com/catalog/sweets"; "table"; 4)
IMPORTHTML(A2; B2; C2)
  

Расшифруем: в первой строке, как и в предыдущем случае, содержится заключенный в кавычки URL (обязательно с указанием протокола), затем параметр «table», если хотите получить данные из таблицы, или «list», если из списка. Числовое значение (индекс) означает порядковый номер таблицы или списка в html-коде страницы.

A-Parser — парсер для профессионалов#

A-Parser — многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик…), A-Parser содержит более 90 встроенных парсеров.

Ключевыми особенностями A-Parser является поддержка платформ Windows/Linux, веб интерфейс с возможностью удаленного доступа, возможность создания своих собственных парсеров без написания кода, а также возможность создавать парсеры со сложной логикой на языке JavaScript / TypeScript с поддержкой NodeJS модулей.

Производительность, работа с прокси, обход защиты CloudFlare, быстрый HTTP движок, поддержка управления Chrome через puppeteer, управлением парсером по API и многое другое делают A-Parser уникальным решением, в данной документации мы постараемся раскрыть все преимущества A-Parser и способы его использования.

Виды парсеров по используемой технологии

Браузерные расширения

Данный вариант следует использовать в том случае. Если требуется собрать достаточно небольшие объемы данных, а среди наиболее популярных парсеров для Google Chrome можно выделить Parsers, Data Scraper, Kimono.

Надстройки для Excel

В данном случае используются макросы, а результаты парсинга, выполненного, например, при помощи ParserOK, выгружаются в XLS или CSV.

Google таблицы

Данные с XML-фидов, равно как и других источников, можно собирать при помощи формулы IMPORTXML, причем тратить время на изучение XPath-запросов не потребуется, в то время как инструмент позволяет собирать с html-страниц практически любые данные. Еще одна формула, а именно IMPORTHTML, обладает не столь широким функционалом, позволяя получить данные из таблиц, равно как и списков на странице.

Законно ли это?

Законодательство РФ не предусматривает какого-либо запрета на сбор информации, размещенной в открытом доступе, причем соответствующее право на сбор, равно как и распространение информации, используя для этого любые законные способы, закреплено в Конституции.

Так, в том случае, если требуется осуществить парсинг цен с сайта конкурента, то это не будет противоречить законодательству, так как подобная информация размещена в открытом доступе, а использование парсинга лишь ускоряет время для ее получения. Однако если при помощи парсера планируется собрать персональные данные пользователей, с последующим их использованием в таргетированной рекламе, то здесь уже будет иметь место нарушение закона о защите персональных данных.

Сервисы для веб-скрапинга

Скрапинг требует правильного парсинга исходного кода страницы, рендеринга JavaScript, преобразования данных в читаемый вид и, по необходимости, фильтрации… Звучит суперсложно, правда? Но не волнуйтесь — есть множество готовых решений и сервисов, которые упрощают процесс скрапинга.  

Вот 7 лучших инструментов для парсинга сайтов, которые хорошо справляются с этой задачей.

1. Octoparse

Octoparse — это простой в использовании скрапер для программистов и не только.

Цена: бесплатен для простых проектов, но есть и платные тарифы: 75 $ в месяц — стандартный, 209 $ — профессиональный.

Особенности:

• Работает на всех сайтах: с бесконечным скроллом, пагинацией, авторизацией, выпадающими меню и так далее.
• Сохраняет данные в Excel, CSV, JSON, API.
• Данные хранятся в облаке.
• Скрапинг по расписанию или в реальном времени.
• Автоматическая смена IP для обхода блокировок.
• Блокировка рекламы для ускорения загрузки и уменьшения количества HTTP запросов.
• Можно использовать XPath и регулярные выражения.
• Поддержка Windows и macOS.

2. ScrapingBee

Сервис ScrapingBee Api использует «безлоговый браузер» и смену прокси. Также имеет API для скрапинга результатов поиска Google.

Цена: бесплатен до 1 000 вызовов API, после чего нужно выбрать платный тариф от 29 $ в месяц.

Особенности:

• Рендеринг JS.
• Ротация прокси.
• Можно использовать с Google Sheets и браузером Chrome.

3. ScrapingBot

ScrapingBot предоставляет несколько API: API для сырого HTML, API для сайтов розничной торговли, API для скрапинга сайтов недвижимости.

Цена: бесплатный тариф на 100 кредитов и платные тарифы: 47 $ в месяц для фрилансеров, 120 $ в месяц для стартапов и 361 $ в месяц для бизнеса.

Особенности:

• Рендеринг JS (безголовый Chrome).
• Качественный прокси.
• До 20 одновременных запросов.
• Геотэги.
• Аддон Prestashop, интегрирующийся на ваш сайт для мониторинга цен конкурентов.

4. Scrapestack

Scrapestack — это REST API для скрапинга веб-сайтов в реальном времени. Он позволяет собирать данные с сайтов за миллисекунды, используя миллионы прокси и обходя капчу.

Цена: бесплатный тариф до 1 000 запросов и платные тарифы от 19,99 $ в месяц. 

Особенности:

• Одновременные API запросы.
• Рендеринг JS.
• Шифрование HTTPS.
• Более 100 геолокаций.

5. Scraper API

Scraper API работает с прокси, браузерами и капчей. Его легко интегрировать — нужно только отправить GET запрос к API с вашим API ключом и URL.

Цена: 1000 вызовов API бесплатно, тариф для хобби — 29 $ в месяц, для стартапов — 99 $ в месяц. 

Особенности:

• Рендеринг JS.
• Геотэги.
• Пул мобильных прокси для скрапинга цен, результатов поиска, мониторинга соцсетей и так далее.

6. ParseHub

ParseHub — ещё один сервис для веб-скрапинга, не требующий навыков программирования.

Цена: бесплатный тариф, стандартный тариф — 149 $ в месяц.

Особенности:

• Понятный графический интерфейс.
• Экспорт данных в Excel, CSV, JSON или доступ через API.
• XPath, регулярные выражения, CSS селекторы.

7. Xtract.io

Xtract.io — это гибкая платформа, использующая технологии AI, ML и NLP.

Её можно настроить для скрапинга и структурирования данных сайтов, постов в соцсетях, PDF-файлов, текстовых документов и электронной почты.

Цена: есть демо-версия

Особенности:

• Скрапинг данных из каталогов, финансовых данных, данных об аренде, геолокационных данных, данных о компаниях и контактных данных, обзоров и рейтингов.
• Преднастроенная система для автоматизации всего процесса извлечения данных.
• Очистка и валидация данных по заданным правилам.
• Экспорт в JSON, текст, HTML, CSV, TSV.
• Ротация прокси и прохождение капчи для скрапинга данных в реальном времени.

⌘⌘⌘

Независимо от того, чем вы занимаетесь, парсинг веб-страниц может помочь вашему бизнесу. Например, собирать информацию о своих клиентах, конкурентах и прорабатывать маркетинговую стратегию. 

Отрендерите JS через Headless Browsers

Если XHR запросы требуют актуальных tokens, sessions, cookies. Если вы нарываетесь на защиту Cloudflare. Если вам обязательно нужно логиниться на сайте. Если вы просто решили рендерить все, что движется загружается, чтобы минимизировать вероятность бана. Во всех случаях — добро пожаловать в мир автоматизации браузеров!

Если коротко, то есть инструменты, которые позволяют управлять браузером: открывать страницы, вводить текст, скроллить, кликать. Конечно же, это все было сделано для того, чтобы автоматизировать тесты веб интерфейса. I’m something of a web QA myself.

После того, как вы открыли страницу, чуть подождали (пока JS сделает все свои 100500 запросов), можно смотреть на HTML страницу опять и поискать там тот заветный JSON со всеми данными.

Selenoid — open-source remote Selenium cluster

Для масштабируемости и простоты, я советую использовать удалённые браузерные кластеры (remote Selenium grid).

Недавно я нашел офигенный опенсорсный микросервис Selenoid, который по факту позволяет вам запускать браузеры не у себя на компе, а на удаленном сервере, подключаясь к нему по API. Несмотря на то, что Support team у них состоит из токсичных разработчиков, их микросервис довольно просто развернуть (советую это делать под VPN, так как по умолчанию никакой authentication в сервис не встроено). Я запускаю их сервис через DigitalOcean 1-Click apps: 1 клик — и у вас уже создался сервер, на котором настроен и запущен кластер Headless браузеров, готовых запускать джаваскрипт!

Вот так я подключаюсь к Selenoid из своего кода: по факту нужно просто указать адрес запущенного Selenoid, но я еще зачем-то передаю кучу параметров бразеру, вдруг вы тоже захотите. На выходе этой функции у меня обычный Selenium driver, который я использую также, как если бы я запускал браузер локально (через файлик chromedriver).

Заметьте фложок . Верно, вы сможете смотреть видосик с тем, что происходит на удалённом браузере. Всегда приятно наблюдать, как ваш скрипт самостоятельно логинится в Linkedin: он такой молодой, но уже хочет познакомиться с крутыми разработчиками.

Интегрировано с

Zapier автоматически перемещает данные между вашими веб-приложениями.

Zapier |
Использование

Tableau — Business Intelligence платформа, лидер рынка платформ для бизнес-аналитики.

Tableau |
Использование

Еще один сервис с помощью которого вы сможете обходить капчи любой сложности.

rucaptcha |
Использование

С помощью сервиса Anti-captcha вы можете обходить капчи любой сложности.

Anti-captcha |
Использование

Luminati, это прокси сервис, который позволит вам иметь любое количество IP адресов.

Luminati |
Использование

С помощью сервиса Death by Captcha вы можете обходить капчи любой сложности.

Deathbycaptcha |
Использование

Proxy-Sellers предоставляют прокси из более чем 100 сетей и 300 различных подсетей.

Proxy-Seller |
Использование

Инфраструктура поддерживает миллиарды скраперов каждый месяц.

Blazing SEO |
Использование

Парсеры поисковых систем#

Варианты вывода результатов#

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON.

Вывод контента

Формат результата:

$data
Скопировать

Пример результата:

<!DOCTYPEhtml><htmlid=»XenForo»lang=»ru-RU»dir=»LTR»class=»Public NoJs uix_javascriptNeedsInit LoggedOut Sidebar Responsive pageIsLtr hasTabLinks hasSearch is-sidebarOpen hasRightSidebar is-setWidth navStyle_0 pageStyle_0 hasFlexbox»xmlns:fb=»»>

<head>

<metacharset=»utf-8″/>

<metahttp-equiv=»X-UA-Compatible»content=»IE=Edge,chrome=1″/>

<metaname=»viewport»content=»width=device-width, initial-scale=1″/>

<basehref=»https://a-parser.com/»/>

<title>A-Parser — парсер для профессионалов SEO</title>

<noscript><style>.JsOnly,.jsOnly{display none !important;}</style></noscript>

<linkrel=»stylesheet»href=»css.php?css=xenforo,form,public,parser_icons&amp;style=9&amp;dir=LTR&amp;d=1612857138″/>

<linkrel=»stylesheet»href=»&amp;style=9&amp;dir=LTR&amp;d=1612857138″/>

<linkrel=»stylesheet»href=»css.php?css=uix,uix_style&amp;style=9&amp;dir=LTR&amp;d=1612857138″/>

Скопировать

Код ответа сервера

Формат результата:

$code
Скопировать

Пример результата:

200
Скопировать

note

Формат результата позволяет выводить статус 301, если в запросе присутствуют редиректы.

Получение данных о запросе

Переменная помогает получить о запросе и ответе сервера

Формат результата:

$response.json\n
Скопировать

Пример результата:

{

«Time»3.414,

«connection»»keep-alive»,

«Decode»»Decode from utf-8(meta charset)»,

«cache-control»»max-age=3600,public»,

«last-modified»»Tue, 18 May 2021 12:42:56 GMT»,

«transfer-encoding»»chunked»,

«date»»Thu, 27 May 2021 14:18:42 GMT»,

«Status»200,

«content-encoding»»gzip»,

«Body-Length-Decoded»1507378,

«Reason»»OK»,

«Proxy»»http://51.255.55.144:25302»,

«content-type»»text/html»,

«Redirects»,

«server»»nginx»,

«Request-Raw»»GET / HTTP/1.1\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\r\nAccept-Encoding: gzip, deflate, br\r\nAccept-Language: en-US,en;q=0.9\r\nConnection: keep-alive\r\nHost: a-parser.com\r\nUpgrade-Insecure-Requests: 1\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)\r\n\r\n»,

«URI»»https://a-parser.com/»,

«HTTPVersion»»1.1»,

«Body-Length»299312,

«Decode-Mode»»auto-html»,

«etag»»W/\»60a3b650-170032\»»,

«Decode-Time»0.003,

«IP»»remote»,

«expires»»Thu, 27 May 2021 15:18:42 GMT»

}

Скопировать

Получение редиректов

Запрос:

https://google.it
Скопировать

Формат результата:

$response.Redirects.0.URI -> $response.URI
Скопировать

Пример результата:

https://google.it/ -> https://www.google.it/
Скопировать

JSON с редиректами

Формат результата:

$response.Redirects.json

Скопировать

Пример результата:

{«x-powered-by»»PleskLin»,»connection»»keep-alive»,»URI»»http://a-parser.com/»,»location»»https://a-parser.com/»,»date»»Thu, 18 Feb 2021 09:16:36 GMT»,»HTTPVersion»»1.1″,»Status»301,»content-length»»162″,»Reason»»Moved Permanently»,»Proxy»»socks5://51.255.55.144:29683″,»content-type»»text/html»,»IP»»remote»,»server»»nginx»,»Request-Raw»»GET / HTTP/1.1\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8\r\nAccept-Encoding: gzip, deflate, br\r\nAccept-Language: en-US,en;q=0.9\r\nConnection: keep-alive\r\nHost: a-parser.com\r\nUpgrade-Insecure-Requests: 1\r\nUser-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)\r\n\r\n»}

Скопировать

Формат результата:

$reason
Скопировать

Пример результата:

OK
Скопировать

Формат результата:

$response.Time

Скопировать

Пример результата:

1.457
Скопировать

Получение размера страницы

В качестве примера размер представлен в трех разных вариантах.

Формат результата:

%»data-length: » _ data.length _ «\n»;

«Body-Length: » _ response.${‘Body-Length’} _ «\n»;

«Body-Length-Decoded: » _ response.${‘Body-Length-Decoded’} _ «\n»%

Скопировать

Пример результата:

data-length: 70257
Body-Length: 23167
Body-Length-Decoded: 75868

Скопировать

Похожие записи:

Много кофе каждый день: что будет, передозировка, первая помощь Как создавать эффективные cta, чтобы «за руку» привести клиента к покупке Письмо об изменении цены на услуги Fix price в балашихе Как составить приказ на отпуск Как оформить уменьшение оклада по инициативе работодателя?