Парсинг сайтов (веб скраппинг)
Парсинг сайтов на английском языке называется web scrapping - веб скрапинг. Это сбор и систематизация данных с сайтов. Парсер выполняет две основные задачи: первое это получение данных с сайта, второе это разбор полученных данных (непосредственно парсинг) и занесение их в какую-то базу данных.
Для создания парсеров я использую язык программирования Python с библиотекой BeautifulSoup. Но в некоторых случаях (например отсутствия языка Python на хостинге клиента) приходится использовать язык PHP.
Возможны следующие варианты создания и дальнейшей работы парсера:
-
единоразовый сбор данных. В этом случае я я запускаю программу у себя и передаю заказчику готовый результат. Обычно это нужно для первоначального заполнения интернет-магазина или другого своего сайта. Обычно стоимость сбора данных - 10000 рублей.
-
сбор данных на регулярной основе. В этом случае разработанный мною парсер размещается на сервере и заказчик получает данные на регулярной основе. Как правило это требуется для ведение аналитики, например мониторинга цен конкурентов. В этом случае после оплаты стоимости создание парсера заказчик оплачивает стоимость его размещения и обслуживание на моём сервере - 7500 рублей в месяц или 60000 рублей в год. В этом случае я гарантирую работоспособность парсера при изменение алгоритмов работы сайта.
-
интеграция парсера с веб-сайтом заказчика. В этом случае разработанные мною парсер размещается непосредственно на на сервере заказчика, и полученные данные сразу заносятся на сайт заказчика. Обычно так поступают с с сайтами поставщиков для автоматического обновления цен на своём сайте. Стоимость создания парсера и интеграция его на сайт заказчика составляет ориентировочно 20000 рублей (для сайтов которые созданы мною). Для сайтов созданных другими разработчиками стоимость может отличаться. Важное замечание - при такой схеме работа если после создания парсера алгоритмы сайта изменяется, то потребуется переделка парсера под новый алгоритмы. Это работа оплачивается дополнительно.
Перед тем как звонить мне, пожалуйста ознакомьтесь с памяткой для желающих заказать парсинг. в любом случае буду вынужден задать вам все перечисленные там вопросы, поэтому будет гораздо продуктивнее если вы заранее обдумаете эти детали.