Выгрузка данных из CoMagic при помощи myBI Connect

В этой статье мы расскажем про выгрузку данных с помощью myBI Connect из сервиса CoMagic. Пройдем по всем шагам настройки и покажем структуру данных, которую вы сможете самостоятельно использовать.

Также доступна видеоинструкция по данной теме:

Сервис myBI Connect предназначен для автоматической выгрузки данных из различных онлайн-источников в облачное хранилище и ежедневного их обновления. При этом данные в хранилище представлены в удобном виде для последующей самостоятельной работы с ними. Это позволяет пользователю взять данные под свой полный контроль, собрать единую модель данных из различных источников подобно конструктору, а после построить отчетность по своим правилам и законам. Для новых пользователей нашего сервиса доступен бесплатный триал на 2 недели работы.

После регистрации в сервисе и создания проекта вы сможете приступать к выгрузке данных.

На данный момент существует несколько способов получения данных с помощью myBI Connect:

• базовая выгрузка,
• выгрузка пользовательских отчетов,
• использование вебхуков.

Сейчас мы рассмотрим базовую выгрузку, а в следующих материалах расскажем про особенности остальных вариантов и работу с этими данными.

Итак, в первую очередь необходимо получить ключ для доступа по API к сервису CoMagic (в сервисе используется Data API).

Это делается на уровне пользователя в меню администратора.

Здесь вы можете: выбрать тип доступа и активировать использование ключа (1), выбрать время жизни ключа (рекомендуем выбирать постоянный) (2), сгенерировать ключ (3).

Изображение № 7

Сгенерированный ключ скопируйте.

Далее необходимо открыть доступ к ключу, который по умолчанию закрыт. Для этого нужно прописать IP-адрес хоста, с которого делается запрос на получение данных (адреса наших серверов, на которых обрабатываются данные: 40.115.109.79 и 23.100.57.136). Для этого зайдите в меню администратора,

затем перейдите в раздел «Правила и настройки безопасности» (1) на вкладку «API» (2) и нажмите на кнопку «+ Добавить» (3). После чего вводим IP (4), описание (5) и сохраняем (6).

Также есть возможность открыть доступ всем, написав «0.0.0.0/0» на место IP (7).

Стоит отметить, что возможность выполнять запросы к API осуществляется с тарифа Optimum или на тарифе Start, при условии что вы подключите дополнительный пакет (500 рублей).

Вторым шагом будет настройка выгрузки уже в самом сервисе myBI Connect.

Для этого в разделе «Источники данных» нажимаем на кнопку «Добавить новый +», далее во вкладке «Другое» выбираем «CoMagic» и нажимаем «Подключить».

Затем задаем любое узнаваемое название и вставляем ключ, который вы скопировали ранее.

Теперь остается только выполнить загрузку данных за выбранный период. Для этого в разделе источников данных выбираем действие «Загрузить»,

а затем указываем период исторической загрузки (на триале период ограничен одним месяцем).

Необходимо также сказать о том, что в CoMagic установлены лимиты на обращение к API. Изначально доступно 3000 баллов в день, которые расходуются за каждый успешный запрос. Если вы превысите это значение, то с очередной выгрузкой в сервисе myBI Connect вы увидите ошибку,

описание которой можно посмотреть в журнале событий (напротив источника в столбце действий выбираем «Журнал событий»).

Чтобы исправить данную ситуацию, нужно в меню аккаунта сервиса CoMagic перейти в раздел «Тариф и опции» и увеличить показатель «Баллов Data API в день» за дополнительную плату.

Затем следует запустить загрузку данных за тот период, в котором вы получили эту ошибку (на изображении, где описана ошибка, это будет период с 22 по 24 марта).

Взглянуть на выгружаемую модель данных вы можете в настройках источника.

Здесь представлен список таблиц

и наглядно изображена сама структура базы данных.

Зеленым цветом на схеме выделены таблицы измерений, которые используются только данной выгрузкой, синим — общие таблицы измерений, используемые различными выгрузками, желтым — таблицы фактов и фиолетовым — вспомогательные таблицы. Также вы можете скачать документацию в разделе «Файлы для загрузки», где будут описаны все таблицы с их полями и сведениями, которые в них загружаются.

Рассмотрим сначала таблицы измерений. Как правило, они содержат набор описательных атрибутов, характеризующих объект.

СМ Параметры кампаний (comagic_campaigns)

Здесь собрана некоторая информация, касающаяся рекламной кампании, к которой относится звонок.

В таблице, кроме идентификаторов, содержатся сведения:

• причина окончания звонка,
• направление звонка,
• источник звонка,
• потерянный звонок,
• номер контакта,
• виртуальный номер,
• устройство пользователя,
• канал,
• источник перехода.

СМ Параметры звонков (comagic_calls)

Данная таблица описывает качественные характеристики звонка:

• название кампании,
• описание кампании,
• тип кампании,
• платформа интегрированной кампании,
• статус,
• расходы,
• коэффициент расходов,
• оператор расчета расходов.

СМ Параметры кампаний (comagic_campaigns)

Здесь собрана некоторая информация, касающаяся рекламной кампании, к которой относится звонок.

В таблице, кроме идентификаторов, содержатся сведения:

• причина окончания звонка,
• направление звонка,
• источник звонка,
• потерянный звонок,
• номер контакта,
• виртуальный номер,
• устройство пользователя,
• канал,
• источник перехода.

СМ Атрибуты звонков (comagic_calls_attributes)

Таблица дает информацию о том, какой системный параметр (атрибут) присвоен обращению:

• название атрибута.

СМ Теги звонков (comagic_calls_tags)

Здесь вы узнаете, какой тег был поставлен звонку:

• название тега,
• тип тега.

Общие таблицы измерений:

SHD Параметры дат (general_dates)

Здесь вы узнаете, когда был совершен звонок:

• дата,
• год,
• квартал,
• номер месяца,
• месяц,
• номер недели,
• номер дня недели,
• день недели,
• день месяца.

SHD Параметры местоположений (general_locations)

Таблица дает сведения о географическом расположении клиента:

• страна,
• регион,
• город,
• широта,
• долгота.

SHD Параметры посетителей (general_clientids)

• идентификатор посетителя сайта,
• телефон,
• e-mail.

SHD Параметры сайтов (general_sites)

Здесь отражаются сайты, созданные в сервисе CoMagic

• доменное имя,
• описание.

SHD Параметры трафика (general_traffic)

Сюда передаются UTM-метки сессий пользователей, перешедших на ваш сайт:

• название группы,
• источник,
• канал,
• кампания,
• объявление,
• ключевое слово,
• страница входа.

СМ Звонки (comagic_calls_facts)

Таблица фактов состоит из ссылок на таблицы измерений и статистики по звонкам:

• длительность ожидания,
• полная длительность ожидания (учитывает все промежутки, когда абонент не разговаривал с сотрудником),
• длительность разговора (считается от момента первого разговора абонента с сотрудником до начала постобработки),
• чистая длительность разговора,
• общая длительность звонка (учитывает только те промежутки, когда абонент разговаривал с сотрудником),
• длительность постобработки.

Как вы можете видеть из списка таблиц, в базовой выгрузке реализовано получение сведений по звонкам. Кому-то этого может оказаться недостаточно. Для таких случаев существует возможность использования выгрузки пользовательских отчетов, о которой мы расскажем в следующей публикации.

Все выгружаемые данные помещаются в облачную базу данных Azure и обновляются раз в сутки (начиная с часа ночи по Москве). И после этих шагов вы будете иметь к ней доступ, который можно использовать в Power BI, Qlik или в других инструментах, имеющих возможность подключения к БД.

Использование базы данных в качестве промежуточного звена между источником данных и, например, Power BI позволяет получить ряд преимуществ:

• получение только новых сведений без необходимости полной выгрузки исторических данных;
• данные могут использоваться многократно (без постоянного извлечения их из источников);
• быстрая загрузка данных в отчеты по защищенным каналам при работе с Power BI без необходимости использования шлюзов, за счет использования Azure;
• возможность работы в Power BI как через DirectQuery, так и через импорт данных;
• представления, создаваемые сервисом, имеют русские названия, что облегчает работу с ними в Power BI;
• аналитическая структура базы данных позволяет формировать единую модель данных для множества источников за счет общих таблиц измерений. Кстати, именно этот подход ранее описывал наш партнер в своем кейсе аналитики аренды жилья.