Нужна программа сборщик объявлений с телефонами с Авито
Программа сборщик объявлений+номеров с этих объявлений с Авито.
Как в режиме реального времени(мониторинг , и запланированный мониторинг , то есть по таймеру , например выбор времени работы от и до )
Так и за определенный период времени(за месяц,за неделю,за последние 24часа)
В программе присутствуют фильтры для сбора сбора объявлений :
1.Категория
2.Подкатегория
3.Геолокация
4.Цена от и до
5.Выбор давности размещения объявлении ( например опубликованные за последние 24часа, за неделю )
В программе должен быть встроен чекер(проверщик) что бы у продавца было в завершенных не более 4ех объявлений.
Как выглядит это на практике :
Запускаем программу , выбираем нужные фильтры для сбора.
Программа заходит на объявление к продавцу , проверяет его аккаунт , конкретно количество завершенных объявлений , важно именно то , что не больше 4ех.
Если объявление подходит , тогда программа берет ссылку с этого объявления + номер с него( при этом программа записывает все в документ , например в Excel файл , собранные данные )
Важный момент , у одного продавца может быть несколько объявлений , нужно что бы этот момент обходился , и в базу собранную , не попадал один и тот же номер телефона продавца.
Данные в таком формате : номер телефона , ссылка на объявление.
Так же важно , что бы в программе велись определенные логи , то есть что бы при дальнейшем сборе , например на следующий день , она не собирала те же самые объявления , и не брала одного и того же продавца.
И напишите , сможете ли вы такое сделать ?
И сориентируйте по стоимости и срокам работы.
с авито есть тонкости:
1) они блочат по IP - потребуется использовать динамические мобильные прокси
2) открыть телефон можно только в браузере - потребуется selenium (или аналог) - то есть свой сервер
3) они выкладывают обновления раз в 2 недели - конечно в основном мелочи, но надо быть готовым к тому что все сломалось
4) телефон - картинкой - потребуется распознавание
ну а в остальном ничего особенного
какой объем (в день / час) вы планируете собирать ?
Ну смотрите , если я например выбираю период за последнюю неделю , то там понятное дело , большие объемы будут.
Но вообще буду использовать за последние 24 часа для сбора
Например я с утра ставлю на сбор и за часа 2-3 он например собирает , 500 объявлений
Это будет 3 по сути отдельных программы:
1) управляющая (база данных) - 10000
2) скраппер объявлений (то что ползает по авито и собирает данные) - 40000
3) распознавание телефонных номеров с картинки - 20000 (можно не делать а класть в базу картинкой)
4) экспорт в эксель (XLS) из базы данных + 5000
5) распараллеливание - +5000
прокси 1000-3000 /мес