Парсер организаций 2gis UltraParser2gis
С тех пор, как на 2ГИС перешли от концепции отдельных баз городов к концепции непрерывной карты без привязки к отдельным городам (как в Яндекс-картах, парсер для которых здесь), появилась необходимость в парсере, который будет способен выгружать данные об организациях по заданным участкам карты. Первые наши парсеры для выгрузки из 2гис (этот и этот) работают только с базами городов.
К примеру, если нам необходимо выгрузить свадебные салоны Свердловской области, то такие организации: пример 1, пример 2 — не попадут в выгрузку ни по какой базе, потому что у них нет привязки к базе. Организации, привязанные к какой-то базе, имеют в ссылке на карточку компании название этой базы. Например здесь это «ekaterinburg», и эта организация может быть выгружена по базе Екатеринбурга.
Таким образом, часть организаций в справочнике 2ГИС могут быть выгружены только по карте, и выгрузки по базам городов недостаточно. К тому же, ДубльГИС закрыли для выгрузки страницы списков организаций дальше пятой, и при запросе например шестой страницы https://2gis.ru/moscow/search/*/rubricId/5603/page/6 открывается первая https://2gis.ru/moscow/search/*/rubricId/5603/ — без page. Поэтому мы разработали UltraParser2gis, который решает эти проблемы.
Возможности нового парсера ошеломляют!
Парсер выгружает данные по всем странам, которые есть в 2ГИС.
Выгружает по ссылкам на карты и по базам городов.
Выгружает по рубрикам и по произвольным поисковым запросам.
Выгружает организации в здании по заданному адресу.
Выгружает по типам организаций (интернет-магазины, опт, розница, производство).
Выгружает организации в заданном радиусе от заданной точки.
Парсер умеет сканировать сайты компаний в поисках email и ИНН, умеет при сканировании выделять наиболее перспективные страницы сайта, фильтровать найденные ящики, избегать заданные сайты.
Парсер умеет пропускать указанные ID организаций и выгружать только новые. Умеет работать в режиме запуска из командной строки.
Парсер выгружает данные напрямую из 2ГИС! Никакие промежуточные базы не используются.
При этом важно учитывать, что 2гис сейчас выдаёт не более 10000 организаций по любому одному запросу или рубрике, соответственно и в выгрузке например парикмахерских Москвы будет только первые 10000 организаций.
Кому полезна программа
СБОРА ДАННЫХ ИЗ 2ГИС:
самый трудозатратный
заходить на сайт 2гис, делать поиск по нужным рубрикам или поисковым запросам, открывать последовательно каждую карточку компании, и копировать все нужные данные со страницы в браузере в Excel.
Этот вариант занимает огромное количество времени, и возможны ошибки в силу человеческого фактора!
самый быстрый и надёжный
использовать нашу разработку, программу-парсер для выгрузки данных из ДубльГИС, которая выгрузит все данные по заданным параметрам в таблицу Excel и сэкономит Ваши силы и время.
Вы получите готовый к обработке список организаций в табличном виде, который можно импортировать в CRM-систему и обрабатывать любым другим способом.
Программа очень проста в использовании и имеет интуитивно понятный интерфейс:
Результатом выгрузки из справочника фирм 2гис являются такие файлы: пример файла выгрузки, формируемой парсером.
Файл Excel с данными об организациях из 2ГИС
В процессе выгрузки программа периодически сохраняет накопленные данные в файл current.csv. После завершения работы программы файл с результатами автоматически открывается в Excel (если установлен MS Office) или Calc (если установлен OpenOffice). Файл имеет имя вида data***.csv.
В режиме выгрузки со сканированием сайтов Вы можете управлять количеством сканируемых страниц даже в процессе сканирования, для регулировки скорости обработки сайтов. Программа берёт в список сканирования только те страницы, которые видны с главной страницы сайта компании — это позволяет не зарываться на больших сайтах.
Хотите заказать подобную программу для другого сайта? Закажите у нас создание парсера!
Ценность
При стоимости на рынке небольшой выгрузки по базам организаций от 500-1000р, было бы справедливым установить цену на этот мощнейший парсер в размере минимум 1500р в час, или 36.000 рублей в сутки! Ведь скорость выгрузки UltraParser2gis позволяет выгружать сотни тысяч организаций в час!
Доказательства
Посмотрите на логи реальных сборов, здесь выложен лог выгрузки рубрики «Парикмахерские» по карте https://2gis.ru/?m=46.1729%2C56.570255%2F5.35 — в эту карту попало наверное с треть России. Выгрузка заняла 27 минут, за один раз было выгружено более 50тыс организаций! Другой пример: здесь выложен лог выгрузки полной базы Москвы по всем рубрикам. Выгрузка заняла 4 часа, за один раз было выгружено 397 тысяч организаций! Ещё пример: здесь выложен лог выгрузки 24 баз городов от Абакана до Димитровграда по всем рубрикам. Выгрузка заняла 3 часа, за один раз было выгружено 294 тысячи организаций! По этим примерам видна реальная скорость выгрузки: 1) по карте, 2) по одной крупнейшей базе, 3) по нескольким средним базам сразу.
Несмотря на огромную мощность парсера и ценность создаваемых выгрузок, мы приняли решение сделать этот парсер доступным для всех, и не делать почасовые тарифы. Минимальная лицензия на целые сутки использования парсера стоит всего 3000р. За сутки можно сделать десятки выгрузок на многие сотни тысяч организаций!
Обратите внимание: если вам необходимо сканировать сайты компаний в поисках email и ИНН, выгрузка будет идти дольше, чем выгрузка только из 2гис. Скорость сканирования сайтов зависит от заданного вами лимита количества сканируемых страниц на каждом сайте, от скорости работы сайтов в выборке, от количества компаний с сайтами в выборке, и так далее. Если вам необходимо выгружать со сканированием сайтов большое количество компаний, суточного тарифа может быть недостаточно для завершения выгрузки. После истечения срока действия лицензии выгрузка остановится.
Для того, чтобы сканирование сайтов не тормозило процесс выгрузки из 2гис, рекомендуем использовать отдельный парсер для сканирования сайтов компаний, который не имеет ограничений по сроку действия лицензии, и кроме всего прочего, позволяет накапливать базу емейлов для ускорения повторных выгрузок по тем же сайтам. Использовать UltraParser2gis для сканирования сайтов компаний — это как использовать Феррари для перемещения прицепа со скоростью 40 км/ч: возможно, но не рационально. Тем не менее, UltraParser2gis отлично справляется со сканированием сайтов, он это делает в несколько сотен потоков (реальный пример скорости сканирования смотрите в видео.
Мы предлагаем несколько тарифов, среди которых есть прекрасные решения и для тех, кому нужна разовая выгрузка, и для тех, кто профессионально занимается услугами по предоставлению выгрузок. В рамках бесплатной демо-версии вы можете пользоваться программой неограниченное время, единственное ограничение демо-версии это остановка после выгрузки 10 организаций. В предыдущих наших парсерах сайта 2гис остановка происходила после 30 организаций, но многим этого ограничения хватало, и они в бесплатном неограниченном режиме до сих пор выгружают базы на тысячи организаций в бесплатном режиме. К слову, ограничение 2гис на 60 организаций в списке во многих случаях не мешает делать полноценные выгрузки, в некоторых нишах количество организаций меньше, и практически ежедневные продажи лицензий на предыдущие парсеры (этот и этот) подтверждают это.
Если Вам необходимо постоянно актуализировать данные по определенному списку организаций, есть смысл приобрести лицензию UltraParser2gis на короткий срок, сделать выгрузку, и затем регулярно актуализировать эту базу с помощью парсера Parser2gisByIds, лицензия которого сейчас не имеет ограничений по сроку.
Нажмите кнопку покупки, оформите заказ на защищённом сервере OnWiz, оплатите заказ в автоматическом режиме, и Вам будет автоматически выслана лицензия. Всего 1 минута отделяет Вас от возможности делать выгрузки!
Выберите подходящий вариант ниже
1 сутки за 3000р
3 суток за 6000р
Тариф позволяет выгрузить несколько миллионов организаций!
1 неделя за 10000р
Тариф позволяет выгрузить полностью все базы по всем странам из 2ГИС!
1 месяц за 20000р
Тариф для тех, кто постоянно делает выгрузки с разными параметрами!
Если вам не подходят способы оплаты, доступные по кнопкам выше — например, вы хотите оплатить на расчётный счёт от организации, пришлите запрос на почту для выставления счёта на оплату.
Что вы получаете, покупая у нас
программу для выгрузки из 2ГИС UltraParser2gis:
Богатый функционал для любых бизнес-задач
Возможность задавать для выгрузки ссылки на нужные участки карты!
Возможность задавать для выгрузки как отдельные города, так и страны/округа/регионы!
Возможность выгрузки по категориям организаций
Возможность выгрузки по произвольному списку запросов / ключевых слов
Удобный поиск нужных рубрик в огромном списке категорий
Копилка рубрик для наглядности отобранных для выгрузки рубрик: даже при выборе рубрик из разных концов списка, всё остаётся под контролем!
Запоминание отмеченных городов и рубрик при выходе из программы, и восстановление их при запуске.
Возможность запускать несколько копий парсера с разными профилями выгрузки из разных папок, в том числе одновременно!
Рубрика указывается для всех городов один раз, нет необходимости указывать ту же самую рубрику в каждом городе
Корректная обработка ошибок сайта 2гис — программа поставит себя на паузу, пока на сайте идут работы, чтобы не пропустить ни одной компании
Корректная обработка ошибок подключения к сети — парсер поставит себя на паузу, пока вы везете ноутбук из офиса домой, и продолжит сбор после приезда домой
Поддержка работы через прокси-сервер для адаптации к инфраструктуре вашей компании или для обхода блокировки
Возможность сбора адресов электронной почты email с сайтов компаний, в том числе защищенных от сбора разными методами
Парсер при сканировании сайтов компаний умеет находить скрытые адреса электронной почты (например такие: office[at]mail.ru, office@mail[DOT]ru, office[собака]mail.ru и даже обходит некоторые методы шифрации ящиков скриптами)
Возможность выгрузки ИНН с сайтов компаний
Возможность задавать количество страниц, сканируемых на сайтах компаний, и менять это количество «на лету» в процессе сбора
Многопоточное сканирование сайтов компаний: сотни параллельных потоков сканирования, точное число зависит от заданного лимита сканирования
Синхронизация рубрикатора и списка городов с сайтом ДубльГИС
Визуальная индикация прогресса сбора с помощью разноцветных индикаторов
Возможность пропускать ненужные/старые компании с помощью файла skip
Программа автоматически задает имя файла с новой выгрузкой, не нужно искать куда и с каким именем сохранить, чтобы не потерять
Возможность настраивать кодировку файла выгрузки
Возможность выбирать, выгружать все данные в один общий файл, или выгружать каждый город в отдельный файл
Возможность выгружать файлы городов в свои отдельные папки
Программа автоматически открывает файл выгрузки после завершения сбора — невозможно не заметить
Выгрузка в стандартный формат CSV даёт возможность использовать файл для импорта в любую CRM или CMS
Возможность сразу пользоваться собираемыми данными из временного файла current, еще до завершения полного сбора
Прозрачный, интуитивно понятный интерфейс
Надежная работа с любым качеством Интернет-соединения
Высокое качество продукта — гарантия отсутствия глюков/перезагрузок/и т.д.
Возможность оплаты через расчетный счет с закрывающими бухгалтерскими документами
Оперативная бесплатная техподдержка от профессиональных разработчиков