База организаций России из Яндекс Карты (Яндекс Справочник)

​ Время сбора базы: 23.02.2018 по 06.03.2018. Используемый инструмент: собственные парсер открытый данных ЯндексКарт + парсер Email с сайтов, все на ZennoPoster. Регион: Россия Количество объектов в базе: ~4 336 000. Из них: 2 049 000 имеют заполнено поле с сайтами (1 134 000 уникальных значений) 1 382 000 имеют заполнено поле с email (1 287 000 уникальных значений) 2 985 000 имеют заполнено поле с телефонами\факсами (3 378 000 уникальных значений) Формат файла: таблица *.CSV (обычный текстовый файл, разделитель табуляция, кодировка UTF-8), размер 2,3 ГБ, сжатая в архив *.zip размером 634 Мбайт. Инструмент для работы: Лично я работал с файлом через мультифункциональный текстовый редактор EmEditor («Меню > Правка > Разделенные данные > Табулятор»). в MS EXCEL лимит на 1 млн строк, так что туда можно импортировать только часть данных при желании («Данные > Из текста > Открыть файл > С разделителями, Unicode UTF-8 > Знак табуляции > Готово»). Ну и можно сделать импорт этого файла в любые редакторы, которые поддерживают быстрою выборку. Возможное применение: Email-рассылка, SMS-рассылка, прозвон, аналитика рынка и конкурентов. Колонки в базе: Категории Адрес Все услуги Телефоны Главный сайт Все сайты Вконтакте Facebook Instagram Twitter Одноклассники Мой мир YouTube Все соц. и бизнес ссылки Страничка на Яндекс.Карты Координаты Широта Координаты Долгота ID на Яндекс.Карты Почтовые ящики c сайтов Пример случайной выборки из базы на 10 000 строк: Такое количество данных позволит оценить нужна вам база или нет. Ну а для проверяющих задача, как по мне, состоит лишь в том, чтобы проверить отвечают ли остальные данные такому же формату. И в добавок вот полностью весь столбец «Адрес», чтобы вы смогли понять сколько в каком городе объектов. Сортировка здесь по алфавиту, но некоторые города могут указываться без родительских элементов (страны, области), так что проверяйте через «поиск-количество совпадений», а не просто визуально листая строки: Приблизительные подсчеты объектов по городам: Москва: 430 000. Санкт-Петербург: 230 000. Самара: 48 000. Сочи: 27 000. Об Е-mail в базе: Е-mail собирался отдельно на сайтах организаций, если такие были указаны, так как с недавнего времени Яндекс отключил показ Е-mail. Парсилась страничка, указанная в карточке организации на Яндекс картах, а также часть соседних внутренних страницы сайта, на которые вели ссылки с этой странички (приоритет отдавался «контактам», «о нас» и т.д.). Это помогло увеличить вероятность нахождения почтового адреса, даже если он не присутствовал на целевой странице, и увеличило общее количество почт. Так что если встретите в отчете большое количество ящиков на организацию, то основным ящиком можно считать первое значение, а остальные уже обычно нашлись на других страницах. Похожие старые складчины (НЕ авторские, так что и цены там ниже ): UPD: Обновление: 1 раз через 2-3 месяца после первой выдачи. Это при условии доступности парсинга. UPD2: