Программа-парсер объявлений по любым поисковым ссылкам (с поддержкой любых критериев), кроме раздела РЕЗЮМЕ. Есть отдельная версия по недвижимости, включая циан.
Основные возможности
- Многопоточность — есть возможность парсить страницы каждой "поисковой ссылки" параллельно в несколько потоков, что увеличивает скорость сбора данных.
- Поддержка прокси (http/socks5)
- Высокая скорость парсинга. В минуту парсит примерно 100-120 объявлений в один поток, на минимальных паузах.
- 80% процентов запросов - это работа через API Avito
- Полностью настраиваемое сохранение данных (параметров для каждого объявления - любой их них можно включить/выключить)
- Возможность сохранять только объявления с сотовыми номерами
- Возможно задать формат сохранения сотовых номеров: "79...", "+79...", "89..."
- Пропуск объявления, если оно уже было обработано ранее или содержит телефоны, найденные ранее
- Установка количества страниц для "поисковой ссылки". Например, собирать только первые 5 страниц.
Парсер способен собрать объявления с любого раздела авито включая все дополнительные фильтры по поиску объявлений и любые ключевые слова.
Здесь задаются основные настройки процесса парсинга.
- В программе есть возможность использования прокси. Типы: http (c авторизацией и без), socks5 (c авторизацией и без). Формат файла с прокси будет во всплывающем окне – подсказке при выборе файла.
- «Куда сохранять» - тут задаётся директория для выгрузки результата
- «Интервал между запросами» - время в секундах между запросами к сайту avito. Если без прокси и в один поток – ставьте минимум 1 секунда.
- «Таймаут» - это максимальное время в секундах, в течении которого программа будет ждать ответ от сервера. По истечении которого будет ошибка соединения по таймауту.
- «Количество потоков» - количество параллельных процессов парсинга. Учитывайте важный момент : 1 поток – 1 прокси.
- «Количество страниц для одной ссылки» - это ограничение задает программе, дальше какой страницы не собирать объявления. По-умолчанию стоит парсить все 100 страниц.
- «Не собирать объявления с одинаковыми номерами телефона» - парсер не будет собирать объявления с одинаковыми номерами телефона за один парсинг. Один парсинг – это процесс от нажатия кнопки «старт» до завершения.
- «Собирать не позднее даты» - указываем дату и время, позднее которой размещенные объявления собираться не будут. Например, если выставлено 14/03/2019 00:00, то объявление с датой публикации 10/02/2019 03:14 не попадет в результат, а объявление с датой 15/03/2019 15:32. – попадет.
- «Формат сохранения телефонных номеров» - выбор из списка нужного формата
-
«Фильтр
по количеству просмотров» - при использовании данной опции будут собираться
только объявления, количество просмотров которых подходит под условия фильтра.
- «Получать доп. информацию» - если выставлен данный чекбокс, то становится активным блок ниже!
Каждая
опция из блока выше, отвечает за столбец в результирующем файле формата CSV.
Цитата из сети: Программа рассчитана на одновременный парсинг десятков, максимум - сотен тысяч объявлений. Претензии вроде "я не смог слить все 40 млн объявлений" не принимаются!
Пример работы парсера через ПАБЛИК-ПРОКСИ:
С одной
ссылки авито отдает не более 100 страниц
по 50 объявлений. В итоге 1 ссылка не более 5000 об. Это надо учитывать при
парсинге ссылок на «большие» категории, которые содержат в себе другие
подкатегории. Чтобы собрать максимальное количество объявлений с одной ссылки –
нужно разбивать на подкатегории, потом каждую на частные / компании (если
конечно таковые нужны).
Если Вам не хочется покупать программу из-за разовой необходимост - Вы всегда можете заказать услугу по сбору базы данных с сайта.
Попробовать демо
Связь (все кликабельно): e-mail: sale@alexpost-soft.ru, skype: vebposter, telegram: @Vebposter
Программа-парсер объявлений по любым поисковым ссылкам (с поддержкой любых критериев).
Основные возможности
- Многопоточность — есть возможность парсить страницы каждой "поисковой ссылки" параллельно в несколько потоков, что увеличивает скорость сбора данных.
- Поддержка прокси (http/socks5)
- Высокая скорость парсинга. В минуту парсит примерно 100-120 объявлений в один поток, на минимальных паузах.
- 80% процентов запросов - это работа через API Avito
- Полностью настраиваемое сохранение данных (параметров для каждого объявления - любой их них можно включить/выключить)
- Возможность сохранять только объявления с сотовыми номерами
- Возможно задать формат сохранения сотовых номеров: "79...", "+79...", "89..."
- Пропуск объявления, если оно уже было обработано ранее или содержит телефоны, найденные ранее
- Установка количества страниц для "поисковой ссылки". Например, собирать только первые 5 страниц.
Парсер способен собрать объявления с любого раздела авито включая все дополнительные фильтры по поиску объявлений и любые ключевые слова.
Цитата из сети: Программа рассчитана на одновременный парсинг десятков, максимум - сотен тысяч объявлений. Претензии вроде "я не смог слить все 40 млн объявлений" не принимаются!
[SPOILER="ВИДЕО РАБОТЫ НА ПАБЛИК-ПРОКСИ"]
[MEDIA=youtube]uqqIeRRDPfA[/MEDIA]
[/SPOILER]
Позже добавлю больше настроек для обработки собранных баз. Лицензия вечная. Абонентская плата отсутствует. Обновления пока бесплатные. Продажа с привязкой к железу.
Цена: 3500р
Связь: ЛС,skype: vebposter, telegram: @Vebposter