Парсер фирм Дубльгис UltraParser2gis | Сок Сайтов

Парсер организаций 2gis UltraParser2gis

Скачай прямо сейчас!
Покупаю прямо сейчас!

UltraParser2gis

парсер организаций ДубльГИС

С тех пор, как на 2ГИС перешли от концепции отдельных баз городов к концепции непрерывной карты без привязки к отдельным городам (как в Яндекс-картах, парсер для которых здесь), появилась необходимость в парсере, который будет способен выгружать данные об организациях по заданным участкам карты. Первые наши парсеры для выгрузки из 2гис (этот и этот) работают только с базами городов.

К примеру, если нам необходимо выгрузить свадебные салоны Свердловской области, то такие организации: пример 1, пример 2 — не попадут в выгрузку ни по какой базе, потому что у них нет привязки к базе. Организации, привязанные к какой-то базе, имеют в ссылке на карточку компании название этой базы. Например здесь это «ekaterinburg», и эта организация может быть выгружена по базе Екатеринбурга.

Таким образом, часть организаций в справочнике 2ГИС могут быть выгружены только по карте, и выгрузки по базам городов недостаточно. К тому же, ДубльГИС закрыли для выгрузки страницы списков организаций дальше пятой, и при запросе например шестой страницы https://2gis.ru/moscow/search/*/rubricId/5603/page/6 открывается первая https://2gis.ru/moscow/search/*/rubricId/5603/ — без page. Поэтому мы разработали UltraParser2gis, который решает эти проблемы.

Возможности нового парсера ошеломляют!
И это всё вам! Парсер выгружает данные по всем странам, которые есть в 2ГИС.
И это всё вам! Выгружает по ссылкам на карты и по базам городов.
И это всё вам! Выгружает по рубрикам и по произвольным поисковым запросам.
И это всё вам! Выгружает организации в здании по заданному адресу.
И это всё вам! Выгружает по типам организаций (интернет-магазины, опт, розница, производство).
И это всё вам! Выгружает организации в заданном радиусе от заданной точки.
И это всё вам! Парсер умеет сканировать сайты компаний в поисках email и ИНН, умеет при сканировании выделять наиболее перспективные страницы сайта, фильтровать найденные ящики, избегать заданные сайты.
И это всё вам! Парсер умеет пропускать указанные ID организаций и выгружать только новые. Умеет работать в режиме запуска из командной строки.

Парсер выгружает данные напрямую из 2ГИС! Никакие промежуточные базы не используются.

Кому полезна программа

  • продавцам для поиска покупателей
  • покупателям для поиска поставщиков
  • маркетологам для изучения рынка
  • руководителям компаний для поиска партнеров и клиентов
У ВАС ЕСТЬ ДВА ВАРИАНТА
СБОРА ДАННЫХ ИЗ 2ГИС:

самый трудозатратный

заходить на сайт 2гис, делать поиск по нужным рубрикам или поисковым запросам, открывать последовательно каждую карточку компании, и копировать все нужные данные со страницы в браузере в Excel.

Этот вариант занимает огромное количество времени, и возможны ошибки в силу человеческого фактора!

самый быстрый и надёжный

использовать нашу разработку, программу-парсер для выгрузки данных из ДубльГИС, которая выгрузит все данные по заданным параметрам в таблицу Excel и сэкономит Ваши силы и время.

Вы получите готовый к обработке список организаций в табличном виде, который можно импортировать в CRM-систему и обрабатывать любым другим способом.

Программа очень проста в использовании и имеет интуитивно понятный интерфейс:

Скриншот парсера организаций из ДубльГИС UltraParser2gis

От запуска сбора по заданным параметрам до получения первых сотен контактов организаций — считанные секунды!

Программа собирает следующие данные

  • Уникальный ID организации
  • Уникальный ID группы филиалов
  • Количество филиалов в группе
  • Название
  • Описание
  • Юр.Название
  • ОГРН
  • Раздел->Подраздел
  • Рубрики
  • Ссылка на карту/Страна->Округ->Регион
  • Регион
  • Поселение
  • Округ
  • Город
  • Район
  • Микрорайон
  • Адрес
  • Примечание
  • Мобильные
  • Немобильные
  • Сайт
  • Email из 2гис
  • Email с сайта компании
  • ИНН с сайта компании
  • Широта
  • Долгота
  • Facebook
  • Instagram
  • Twitter
  • Vkontakte
  • ICQ
  • Skype
  • Odnoklassniki
  • Youtube
  • Оплата
  • График работы
  • Атрибуты
  • Описание
  • Фотографии
  • Метро
  • Расстояние до метро
  • Рейтинг
  • Индекс

Результатом выгрузки из справочника фирм 2гис являются такие файлы: пример файла выгрузки, формируемой парсером.

Файл Excel с данными об организациях из 2ГИС

Файл Excel с данными об организациях из 2ГИС

В процессе выгрузки программа периодически сохраняет накопленные данные в файл current.csv. После завершения работы программы файл с результатами автоматически открывается в Excel (если установлен MS Office) или Calc (если установлен OpenOffice). Файл имеет имя вида data***.csv.

В режиме выгрузки со сканированием сайтов Вы можете управлять количеством сканируемых страниц даже в процессе сканирования, для регулировки скорости обработки сайтов. Программа берёт в список сканирования только те страницы, которые видны с главной страницы сайта компании — это позволяет не зарываться на больших сайтах.

Хотите заказать подобную программу для другого сайта? Закажите у нас создание парсера!

Стоимость лицензии сегодня:

от 1500р

в зависимости от срока лицензии

Ценность

При стоимости на рынке небольшой выгрузки по базам организаций от 500-1000р, было бы справедливым установить цену на этот мощнейший парсер в размере минимум 1500р в час, или 36.000 рублей в сутки! Ведь скорость выгрузки UltraParser2gis позволяет выгружать сотни тысяч организаций в час!

Доказательства

Посмотрите на логи реальных сборов, здесь выложен лог выгрузки рубрики «Парикмахерские» по карте https://2gis.ru/?m=46.1729%2C56.570255%2F5.35 — в эту карту попало наверное с треть России. Выгрузка заняла 27 минут, за один раз было выгружено более 50тыс организаций! Другой пример: здесь выложен лог выгрузки полной базы Москвы по всем рубрикам. Выгрузка заняла 4 часа, за один раз было выгружено 397 тысяч организаций! Ещё пример: здесь выложен лог выгрузки 24 баз городов от Абакана до Димитровграда по всем рубрикам. Выгрузка заняла 3 часа, за один раз было выгружено 294 тысячи организаций! По этим примерам видна реальная скорость выгрузки: 1) по карте, 2) по одной крупнейшей базе, 3) по нескольким средним базам сразу.

Несмотря на огромную мощность парсера и ценность создаваемых выгрузок, мы приняли решение сделать этот парсер доступным для всех, и не делать почасовые тарифы. Минимальная лицензия на целые сутки использования парсера стоит всего 1500р. За сутки можно сделать десятки выгрузок на многие сотни тысяч организаций! Если Ваш бюджет не позволяет потратить 1500р, мы можем сделать вам выгрузку какой-либо рубрики за 1000р.

Обратите внимание: если вам необходимо сканировать сайты компаний в поисках email и ИНН, выгрузка будет идти дольше, чем выгрузка только из 2гис. Скорость сканирования сайтов зависит от заданного вами лимита количества сканируемых страниц на каждом сайте, от скорости работы сайтов в выборке, от количества компаний с сайтами в выборке, и так далее. Если вам необходимо выгружать со сканированием сайтов большое количество компаний, суточного тарифа может быть недостаточно для завершения выгрузки. После истечения срока действия лицензии выгрузка остановится.

Для того, чтобы сканирование сайтов не тормозило процесс выгрузки из 2гис, рекомендуем использовать отдельный парсер для сканирования сайтов компаний, который не имеет ограничений по сроку действия лицензии, и кроме всего прочего, позволяет накапливать базу емейлов для ускорения повторных выгрузок по тем же сайтам. Использовать UltraParser2gis для сканирования сайтов компаний — это как использовать Феррари для перемещения прицепа со скоростью 40 км/ч: возможно, но не рационально. Тем не менее, UltraParser2gis отлично справляется со сканированием сайтов, он это делает в несколько сотен потоков (реальный пример скорости сканирования смотрите в видео.

Мы предлагаем несколько тарифов, среди которых есть прекрасные решения и для тех, кому нужна разовая выгрузка, и для тех, кто профессионально занимается услугами по предоставлению выгрузок. В рамках бесплатной демо-версии вы можете пользоваться программой неограниченное время, единственное ограничение демо-версии это остановка после выгрузки 10 организаций. В предыдущих наших парсерах сайта 2гис остановка происходила после 30 организаций, но многим этого ограничения хватало, и они в бесплатном неограниченном режиме до сих пор выгружают базы на тысячи организаций в бесплатном режиме. К слову, ограничение 2гис на 60 организаций в списке во многих случаях не мешает делать полноценные выгрузки, в некоторых нишах количество организаций меньше, и практически ежедневные продажи лицензий на предыдущие парсеры (этот и этот) подтверждают это.

Если Вам необходимо постоянно актуализировать данные по определенному списку организаций, есть смысл приобрести лицензию UltraParser2gis на короткий срок, сделать выгрузку, и затем регулярно актуализировать эту базу с помощью парсера Parser2gisByIds, лицензия которого сейчас не имеет ограничений по сроку.
 

Скачать демо-версию парсера UltraParser2gis

 
Нажмите кнопку покупки, оформите заказ на защищённом сервере OnWiz, оплатите заказ в автоматическом режиме, и Вам будет автоматически выслана лицензия. Всего 1 минута отделяет Вас от возможности делать выгрузки!
Одноминутная готовность!
 
 

Выберите подходящий вариант ниже

Ниже!
 


1 сутки за 1500р
Тариф позволяет выгрузить более миллиона организаций!

 
3 суток за 4000р
скидка 10%!
Тариф позволяет выгрузить несколько миллионов организаций!

 
1 неделя за 7000р
скидка 33%!
Тариф позволяет выгрузить полностью все базы по всем странам из 2ГИС!

 
1 месяц за 18000р
скидка 60%!
Тариф для тех, кто постоянно делает выгрузки с разными параметрами!

Что вы получаете, покупая у нас
программу для выгрузки из 2ГИС UltraParser2gis:

И это всё вам! Богатый функционал для любых бизнес-задач
И это всё вам! Возможность задавать для выгрузки ссылки на нужные участки карты!
И это всё вам! Возможность задавать для выгрузки как отдельные города, так и страны/округа/регионы!
И это всё вам! Возможность выгрузки по категориям организаций
И это всё вам! Возможность выгрузки по произвольному списку запросов / ключевых слов
И это всё вам! Удобный поиск нужных рубрик в огромном списке категорий
И это всё вам! Копилка рубрик для наглядности отобранных для выгрузки рубрик: даже при выборе рубрик из разных концов списка, всё остаётся под контролем!
И это всё вам! Запоминание отмеченных городов и рубрик при выходе из программы, и восстановление их при запуске.
И это всё вам! Возможность запускать несколько копий парсера с разными профилями выгрузки из разных папок, в том числе одновременно!
И это всё вам! Рубрика указывается для всех городов один раз, нет необходимости указывать ту же самую рубрику в каждом городе
И это всё вам! Корректная обработка ошибок сайта 2гис — программа поставит себя на паузу, пока на сайте идут работы, чтобы не пропустить ни одной компании
И это всё вам! Корректная обработка ошибок подключения к сети — парсер поставит себя на паузу, пока вы везете ноутбук из офиса домой, и продолжит сбор после приезда домой
И это всё вам! Поддержка работы через прокси-сервер для адаптации к инфраструктуре вашей компании или для обхода блокировки
И это всё вам! Возможность сбора адресов электронной почты email с сайтов компаний, в том числе защищенных от сбора разными методами
И это всё вам! Парсер при сканировании сайтов компаний умеет находить скрытые адреса электронной почты (например такие: office[at]mail.ru, office@mail[DOT]ru, office[собака]mail.ru и даже обходит некоторые методы шифрации ящиков скриптами)
И это всё вам! Возможность выгрузки ИНН с сайтов компаний
И это всё вам! Возможность задавать количество страниц, сканируемых на сайтах компаний, и менять это количество «на лету» в процессе сбора
И это всё вам! Многопоточное сканирование сайтов компаний: сотни параллельных потоков сканирования, точное число зависит от заданного лимита сканирования
И это всё вам! Синхронизация рубрикатора и списка городов с сайтом ДубльГИС
И это всё вам! Визуальная индикация прогресса сбора с помощью разноцветных индикаторов
И это всё вам! Возможность пропускать ненужные/старые компании с помощью файла skip
И это всё вам! Программа автоматически задает имя файла с новой выгрузкой, не нужно искать куда и с каким именем сохранить, чтобы не потерять
И это всё вам! Возможность настраивать кодировку файла выгрузки
И это всё вам! Возможность выбирать, выгружать все данные в один общий файл, или выгружать каждый город в отдельный файл
И это всё вам! Возможность выгружать файлы городов в свои отдельные папки
И это всё вам! Программа автоматически открывает файл выгрузки после завершения сбора — невозможно не заметить
И это всё вам! Выгрузка в стандартный формат CSV даёт возможность использовать файл для импорта в любую CRM или CMS
И это всё вам! Возможность сразу пользоваться собираемыми данными из временного файла current, еще до завершения полного сбора

И это всё вам! Прозрачный, интуитивно понятный интерфейс

И это всё вам! Надежная работа с любым качеством Интернет-соединения

И это всё вам! Поддержка сервиса автоматического распознавания капчи

И это всё вам! Высокое качество продукта — гарантия отсутствия глюков/перезагрузок/и т.д.

И это всё вам! Возможность оплаты через расчетный счет с закрывающими бухгалтерскими документами

И это всё вам! Оперативная бесплатная техподдержка от профессиональных разработчиков

Работа с программой

  • ОПРЕДЕЛЯЕМ, ОТКУДА ВЫГРУЖАТЬ
  • Для выгрузки в режиме сбора по ссылкам на карты, откройте в браузере сайт 2гис, настройте отображение нужного участка карты, скопируйте полученную ссылку на карту из адресной строки браузера в парсер
  • Для выгрузки по базам городов, зайдите на вкладку <Сбор по городам>, выберите подходящую вкладку: <По дереву регионов> или <По списку>, поставьте отметки на нужных городах/регионах
  • Для того, чтобы отметить несколько городов в списке, удерживайте клавишу Shift или Ctrl при клике на городе. Удержание Shift отметит все города в диапазоне от предудущего выделения до кликнутого. Удержание Ctrl добавит в прежним выделениям кликнутый город.
  • Нажмите кнопку <Отметить все> справа внизу списка для отметки всех городов в списке. Обратите внимание, что будут отмечены все города всех стран. Если нужно выделить все города одной страны, кликните на первом городе страны в списке для его выделения, затем удерживая Shift, кликните на последнем городе страны в списке.
  • Раз в месяц или несколько есть смысл актуализировать список городов, на случай если в 2ГИС добавят новые базы. Для этого нажмите <Обновить города> на вкладке <Сбор по городам>
  • ОПРЕДЕЛЯЕМ, ЧТО ВЫГРУЖАТЬ
  • Для выгрузки по рубрикатору откройте вкладку <Сбор с рубрикатора компаний>
  • Для поиска нужной рубрики нажмите клавиши Ctrl+F, введите фразу, слово или несколько символов, например «парк». Программа покажет только рубрики, содержащие «парк»: Аквапарки, Парки культуры и отдыха, и т.д. Двойными кликами на нужных рубриках добавьте их в копилку рубрик. Для возврата к нефильтрованному списку рубрик нажмите клавиши Ctrl+F и нажмите Enter без ввода фильтра.
  • Нажмите кнопку <Все> справа внизу списка для выделения всех рубрик в списке.
  • Обратите внимание, при выделении рубрики первого уровня выгрузка будет производиться по всем вложенным в неё рубрикам второго и третьего уровня. При выделении рубрики второго уровня выгрузка будет производиться по всем вложенным в неё рубрикам третьего уровня.
  • Для выгрузки по произвольным поисковым фразам — откройте вкладку <Сбор по произвольному списку запросов/адресов>
  • Для выгрузки организаций в здании по заданному адресу — откройте вкладку <Сбор по произвольному списку запросов/адресов>
  • Нажмите кнопку <Редактировать список> для внесения изменений в список запросов/адресов
  • Отметьте в списке нужные строки, используя Shift и Ctrl для отметки нескольких строк при необходимости (как с городами, описано выше).
  • Нажмите кнопку <Все> справа внизу списка для выделения всех запросов/адресов в списке.
  • ОПРЕДЕЛЯЕМ, КАК ВЫГРУЖАТЬ
  • Если необходимо сканировать сайты компаний в поисках емейлов, включите соответствующую галочку.
  • Если необходимо при поиске емейлов искать ещё и ИНН, включите соответствующую галочку. Включение поиска ИНН автоматически включает поиск емейлов.
  • Задайте число сканируемых страниц. Число 1 будет означать, что программа откроет сайт компании по ссылке из справочника 2гис, и возьмёт данные только оттуда. Если лимит сканирования больше 1, программа возьмёт с открытой страницы все ссылки на внутренние страницы сайта, выстроит их согласно заданным приоритетам сканирования (подробнее о них в описании настроек), возьмёт из построенного списка ссылок заданное вами число страниц, и все их просканирует.
  • Если сайт компании попадает под заданные фильтры сайтов (подробнее о них в описании настроек), то программа не будет его сканировать.
  • Если найденный на сайте email попадает под заданные фильтры email (подробнее о них в описании настроек), то программа не будет его выгружать в результаты.
  • Включите фильтр организаций по типу, при необходимости. Обратите внимание, что включение каждой галочки УМЕНЬШАЕТ число результатов в выгрузке. Чем больше галочек фильтра включено, тем меньше фирм будет в выгрузке. Включение всех галочек может привести к тому, что ни одна фирма не будет выгружена, поскольку в данной рубрике не окажется ни одной фирмы со всеми ОДНОВРЕМЕННО включенными признаками типов.
  • При необходимости выгрузить организации только в заданном радиусе от точки с заданными координатами, включите соответствующую галочку, задайте радиус и точку в формате «долгота,широта» (например 91.431549,53.724787).
  • ОПРЕДЕЛЯЕМ НАСТРОЙКИ
  • Для вызова окна настроек программы нажмите на оранжевую кнопку рядом с кнопкой <СТАРТ>
  • Установите параметры организации файлов: выгружать все организации выгрузки в один файл, или раскладывать их по разным файлам (и разным папкам).
  • Установите кодировку выгрузки. В случае старых версий Excel удобнее использовать кодировку Windows-1251. Обратите внимание, что при выгрузке организаций не из России кодировка Windows-1251 не подходит.
  • Если вам необходимо, чтобы программа не допускала дублирования организаций, включите галочку <… выгружать только один раз…>. Если отключить эту галочку, в выгрузке организация будет присутствовать столько раз, сколько рубрик ей присвоено в справочнике 2гис.
  • Задайте настройки сканирования сайтов компаний. Нажатие кнопок открывает текстовые файлы из папки программы, вы можете открывать их оттуда на редактирование любым удобным вам способом. В файле ScanSitesUrlsBlackList — список сайтов, на которые программа не будет заходить. В файле ScanSitesEmailsBlackList — список почт, которые программа не будет выводить в выгрузку. В файле ScanSitesPriorityMarkers — список маркеров, которые определяют наиболее приоритетные для поиска контактов страницы. Предполагается, что на страницах контактов вероятность встретить email или ИНН компании выше, чем на других страницах. Поэтому в этот список нужно вносить фразы вроде «contact» или «контакты», чтобы страницы с заданными фразами пользовались приоритетом при отсечении сканируемых согласно заданному лимиту страниц от несканируемых.
  • Задайте ключ антикапчи, на случай если потребуется распознавать капчу. Клик по синей надписи <Ключ брать здесь> открывает сайт антикапчи на странице с ключом. Зарегистрируйтесь и пополните баланс в сервисе антикапчи при необходимости.
  • Нажмите кнопку СТАРТ!
  • Программа автоматически откроет файл выгрузки после завершения работы, чтобы вы не пропустили этот момент.

 

Скачать демо-версию парсера UltraParser2gis

 
Приобрести лицензию

 


Заказать разработку другого парсера!

×
Недавняя активность:

Мы Вас услышим!

Отправить
Обратная связь