Парсер Гугл-карт (справочника организаций)

В последнее время набирает популярность справочник организаций Google-карт. Компаний там не так много, как в ДубльГИСе (программа для которого здесь) и в Яндекс-справочнике (программа для которого здесь), но его ни в коем случае нельзя обходить вниманием!

Глубину разбиения карт пользователь может регулировать с помощью настройки «максимальная степень дробления карты» в окне программы. Чем больше это значение — тем больше будут дробиться карты, тем дольше ждать завершения выгрузки, и тем больше организаций можно выгрузить.
Это значение — не что иное, как параметр Z в ссылке на карту. Карта с масштабом 20z соответствует нескольким домам на карте, так что использовать разбиение, близкое к 20 — не имеет смысла. Масштаб 15z — это несколько кварталов, можете использовать значение 15 для глубокой проработки карты.

Парсер позволяет делать выгрузки по краткому рубрикатору, по полному (более 1000 категорий), и по произвольным запросам.

Если Вы зададите слишком большую область карты (например, всю Россию одной ссылкой) — Гугл откажется выдавать данные, поэтому необходимо задавать много список на разные участки карты (отдельные города и области). В папке с программой Вы найдёте файл «Города России и ссылки на ГК.xlsx» — в нём собраны города и регионы с информацией о количестве жителей (колонки файла: Город; Регион; Население; Ссылка на Гугл-карты).

Вы можете делать выгрузки в двух режимах.
В первом режиме область поиска задаётся ссылкой на карту, в которой зашиты координаты и масштаб (например ссылка https://www.google.com/maps/@55.8028761,49.096281,11.33z/ на Казань — здесь 55.8028761,49.096281 это координаты, и 11.33 — масштаб).
Во втором режиме область поиска задаётся фразами в окошке справа от окошка ссылок. Там могут быть фразы «в Москве», «в Казани», и т.п.
Таким образом, если вам необходимо собрать кафе в Казани, вы можете либо:
а) задать ссылку на Казань, не включать добавление гео к запросам, выделить рубрику Кафе, и запустить выгрузку
б) не задавать вообще никакой ссылки, включить добавление гео к запросам, указать гео «в Казани», выделить рубрику Кафе, и запустить выгрузку.

При выгрузке с включенными гео-модификаторами программа будет для каждой выделенной рубрики делать выгрузку по каждому заданному гео-модификатору. Например, выбрав три рубрики, и указав три гео-модификатора, вы получите выгрузку по 9 запросам.

Парсер выгружает данные с Гугл-карт с помощью встроенного Chromium-браузера. Работу браузера вы можете наблюдать на отдельной вкладке программы. Иногда это необходимо, чтобы понимать, какие корректировки нужно внести в задание для парсера.

В логах выводятся ссылки, которые открывает браузер. Вы можете брать из логов ссылки, открывать их в своем браузере, и проверять корректность работы.

Программа очень проста в использовании и имеет интуитивно понятный интерфейс.

Результатом сбора являются такие файлы: пример файла с выгрузкой компаний из Гугл-Карт, сделанной парсером.

Файл Excel с данными, собранными с Гугл-Карт

После завершения работы программы файл с результатами автоматически открывается в Excel (если установлен MS Office) или Calc (если установлен OpenOffice). Файл имеет имя вида data***.csv.

Данные, собираемые программой, становятся доступны еще до завершения работы программы: файл выгрузки обновляется сразу после сбора данных об очередной организации.

Те, кто покупает парсер организаций Гугл-карт, чаще всего покупают и программу для карт ДубльГИС. Узнайте подробности о ней здесь: https://soksaitov.ru/2gis-parser/