Парсер организаций 2gis UltraParser2gis

С тех пор, как на 2ГИС перешли от концепции отдельных баз городов к концепции непрерывной карты без привязки к отдельным городам (как в Яндекс-картах, парсер для которых здесь), появилась необходимость в парсере, который будет способен выгружать данные об организациях по заданным участкам карты. Первые наши парсеры для выгрузки из 2гис (этот и этот) работают только с базами городов.

К примеру, если нам необходимо выгрузить свадебные салоны Свердловской области, то такие организации: пример 1, пример 2 — не попадут в выгрузку ни по какой базе, потому что у них нет привязки к базе. Организации, привязанные к какой-то базе, имеют в ссылке на карточку компании название этой базы. Например здесь это «ekaterinburg», и эта организация может быть выгружена по базе Екатеринбурга.

Таким образом, часть организаций в справочнике 2ГИС могут быть выгружены только по карте, и выгрузки по базам городов недостаточно. К тому же, ДубльГИС закрыли для выгрузки страницы списков организаций дальше пятой, и при запросе например шестой страницы https://2gis.ru/moscow/search/*/rubricId/5603/page/6 открывается первая https://2gis.ru/moscow/search/*/rubricId/5603/ — без page. Поэтому мы разработали UltraParser2gis, который решает эти проблемы.

Возможности нового парсера ошеломляют!
 Парсер выгружает данные по всем странам, которые есть в 2ГИС.
 Выгружает по ссылкам на карты и по базам городов.
 Выгружает по рубрикам и по произвольным поисковым запросам.
 Выгружает организации в здании по заданному адресу.
 Выгружает по типам организаций (интернет-магазины, опт, розница, производство).
 Выгружает организации в заданном радиусе от заданной точки.
 Парсер умеет сканировать сайты компаний в поисках email и ИНН, умеет при сканировании выделять наиболее перспективные страницы сайта, фильтровать найденные ящики, избегать заданные сайты.
 Парсер умеет пропускать указанные ID организаций и выгружать только новые. Умеет работать в режиме запуска из командной строки.

Парсер выгружает данные напрямую из 2ГИС! Никакие промежуточные базы не используются.
При этом важно учитывать, что 2гис сейчас выдаёт не более 10000 организаций по любому одному запросу или рубрике, соответственно и в выгрузке например парикмахерских Москвы будет только первые 10000 организаций.

Программа очень проста в использовании и имеет интуитивно понятный интерфейс:

Результатом выгрузки из справочника фирм 2гис являются такие файлы: пример файла выгрузки, формируемой парсером.

Файл Excel с данными об организациях из 2ГИС

В процессе выгрузки программа периодически сохраняет накопленные данные в файл current.csv. После завершения работы программы файл с результатами автоматически открывается в Excel (если установлен MS Office) или Calc (если установлен OpenOffice). Файл имеет имя вида data***.csv.

В режиме выгрузки со сканированием сайтов Вы можете управлять количеством сканируемых страниц даже в процессе сканирования, для регулировки скорости обработки сайтов. Программа берёт в список сканирования только те страницы, которые видны с главной страницы сайта компании — это позволяет не зарываться на больших сайтах.

Ценность

При стоимости на рынке небольшой выгрузки по базам организаций от 500-1000р, было бы справедливым установить цену на этот мощнейший парсер в размере минимум 1500р в час, или 36.000 рублей в сутки! Ведь скорость выгрузки UltraParser2gis позволяет выгружать сотни тысяч организаций в час!

Доказательства

Посмотрите на логи реальных сборов, здесь выложен лог выгрузки рубрики «Парикмахерские» по карте https://2gis.ru/?m=46.1729%2C56.570255%2F5.35 — в эту карту попало наверное с треть России. Выгрузка заняла 27 минут, за один раз было выгружено более 50тыс организаций! Другой пример: здесь выложен лог выгрузки полной базы Москвы по всем рубрикам. Выгрузка заняла 4 часа, за один раз было выгружено 397 тысяч организаций! Ещё пример: здесь выложен лог выгрузки 24 баз городов от Абакана до Димитровграда по всем рубрикам. Выгрузка заняла 3 часа, за один раз было выгружено 294 тысячи организаций! По этим примерам видна реальная скорость выгрузки: 1) по карте, 2) по одной крупнейшей базе, 3) по нескольким средним базам сразу.

Несмотря на огромную мощность парсера и ценность создаваемых выгрузок, мы приняли решение сделать этот парсер доступным для всех, и не делать почасовые тарифы. Минимальная лицензия на целые сутки использования парсера стоит всего 3000р. За сутки можно сделать десятки выгрузок на многие сотни тысяч организаций!

Обратите внимание: если вам необходимо сканировать сайты компаний в поисках email и ИНН, выгрузка будет идти дольше, чем выгрузка только из 2гис. Скорость сканирования сайтов зависит от заданного вами лимита количества сканируемых страниц на каждом сайте, от скорости работы сайтов в выборке, от количества компаний с сайтами в выборке, и так далее. Если вам необходимо выгружать со сканированием сайтов большое количество компаний, суточного тарифа может быть недостаточно для завершения выгрузки. После истечения срока действия лицензии выгрузка остановится.

Для того, чтобы сканирование сайтов не тормозило процесс выгрузки из 2гис, рекомендуем использовать отдельный парсер для сканирования сайтов компаний, который не имеет ограничений по сроку действия лицензии, и кроме всего прочего, позволяет накапливать базу емейлов для ускорения повторных выгрузок по тем же сайтам. Использовать UltraParser2gis для сканирования сайтов компаний — это как использовать Феррари для перемещения прицепа со скоростью 40 км/ч: возможно, но не рационально. Тем не менее, UltraParser2gis отлично справляется со сканированием сайтов, он это делает в несколько сотен потоков (реальный пример скорости сканирования смотрите в видео.

Мы предлагаем несколько тарифов, среди которых есть прекрасные решения и для тех, кому нужна разовая выгрузка, и для тех, кто профессионально занимается услугами по предоставлению выгрузок. В рамках бесплатной демо-версии вы можете пользоваться программой неограниченное время, единственное ограничение демо-версии это остановка после выгрузки 10 организаций. В предыдущих наших парсерах сайта 2гис остановка происходила после 30 организаций, но многим этого ограничения хватало, и они в бесплатном неограниченном режиме до сих пор выгружают базы на тысячи организаций в бесплатном режиме. К слову, ограничение 2гис на 60 организаций в списке во многих случаях не мешает делать полноценные выгрузки, в некоторых нишах количество организаций меньше, и практически ежедневные продажи лицензий на предыдущие парсеры (этот и этот) подтверждают это.

Если Вам необходимо постоянно актуализировать данные по определенному списку организаций, есть смысл приобрести лицензию UltraParser2gis на короткий срок, сделать выгрузку, и затем регулярно актуализировать эту базу с помощью парсера Parser2gisByIds, лицензия которого сейчас не имеет ограничений по сроку.
 

Заказать разработку другого парсера!