Нужна программа сборщик объявлений с телефонами с Авито

Вопрос: 22 июля 2020 г.

Программа сборщик объявлений+номеров с этих объявлений с Авито.
Как в режиме реального времени(мониторинг , и запланированный мониторинг , то есть по таймеру , например выбор времени работы от и до )
Так и за определенный период времени(за месяц,за неделю,за последние 24часа)

В программе присутствуют фильтры для сбора сбора объявлений :
1.Категория
2.Подкатегория
3.Геолокация
4.Цена от и до
5.Выбор давности размещения объявлении ( например опубликованные за последние 24часа, за неделю )

В программе должен быть встроен чекер(проверщик) что бы у продавца было в завершенных не более 4ех объявлений.

Как выглядит это на практике :

Запускаем программу , выбираем нужные фильтры для сбора.

Программа заходит на объявление к продавцу , проверяет его аккаунт , конкретно количество завершенных объявлений , важно именно то , что не больше 4ех.

Если объявление подходит , тогда программа берет ссылку с этого объявления + номер с него( при этом программа записывает все в документ , например в Excel файл , собранные данные )

Важный момент , у одного продавца может быть несколько объявлений , нужно что бы этот момент обходился , и в базу собранную , не попадал один и тот же номер телефона продавца.

Данные в таком формате : номер телефона , ссылка на объявление.

Так же важно , что бы в программе велись определенные логи , то есть что бы при дальнейшем сборе , например на следующий день , она не собирала те же самые объявления , и не брала одного и того же продавца.

И напишите , сможете ли вы такое сделать ?
И сориентируйте по стоимости и срокам работы.

Ответ: 23 июля 2020 г., Антон Соловьев

с авито есть тонкости:

1) они блочат по IP - потребуется использовать динамические мобильные прокси
2) открыть телефон можно только в браузере - потребуется selenium (или аналог) - то есть свой сервер
3) они выкладывают обновления раз в 2 недели - конечно в основном мелочи, но надо быть готовым к тому что все сломалось
4) телефон - картинкой - потребуется распознавание

ну а в остальном ничего особенного

какой объем (в день / час) вы планируете собирать ?

Ответ: 23 июля 2020 г.,

Ну смотрите , если я например выбираю период за последнюю неделю , то там понятное дело , большие объемы будут.

Но вообще буду использовать за последние 24 часа для сбора

Например я с утра ставлю на сбор и за часа 2-3 он например собирает , 500 объявлений

Ответ: 23 июля 2020 г., Антон Соловьев

Это будет 3 по сути отдельных программы:
1) управляющая (база данных) - 10000
2) скраппер объявлений (то что ползает по авито и собирает данные) - 40000
3) распознавание телефонных номеров с картинки - 20000 (можно не делать а класть в базу картинкой)

4) экспорт в эксель (XLS) из базы данных + 5000
5) распараллеливание - +5000

прокси 1000-3000 /мес

Задайте мне вопрос

Почта нужна для того что бы я с вами связался
Телефон нужен для оперативной связи. Или телефон, или почта должны быть указаны обязательно.
captcha Подтвердите что вы Homo sapiens а не бот какой-то. Решите эту простенькую арифметическую задачку и напишите ответ (число).