Как перенесли 343 000 сущностей из Мегаплан в Битрикс24

Перенос данных из Мегаплан в Битрикс24 коробочные версии с помощью REST API.

Клиент: завод по производству оконных систем.

Задача: переезд из коробки Мегаплан в коробочную версию Битрикс24 без потери данных и всей истории работы с клиентами.
Необходимо перенести сделки, комментарии к сделкам, контакты, компании.

Этапы работ мы разделили на два блока:

Подготовка:
1. Создание таблиц соответствий для каждой из сущностей: контакты, компании, сделки, смарт-процессы.
2. Сопоставление пользователей из Мегаплан в Битрикс24.
3. Согласование вида комментариев, как они будут выглядеть в Битрикс24.
4. Выгрузка сущностей из мега-план.
5. Подготовка данных для миграции, корректировка приложения для переноса под конкретного клиента.

Загрузка:
6. Загрузка контактов.
7. Загрузка комментариев для контактов.
8. Загрузка компаний.
9. Загрузка комментариев для компаний.
10. Связывание контактов и компаний так как они были связаны в Мегаплан.
11. Загрузка сделок поочередно для каждой воронки.
12. Загрузка комментариев сделок поочередно для каждой из воронок.
13. Загрузка смарт-процессов для каждой из воронок.
14. Загрузка комментариев смарт-процессов для каждой из воронок.
15. Создание связей между смарт-процессами и сделками.

На каждом этапе загрузки делалась небольшая первичная загрузка в 100 сущностей, для того чтобы клиент мог проверить всё ли правильно и так как он хотел. Этапы загрузки по продолжительности зависели от количества сущностей в мега-план.

Описание этапов:

Подготовка:

1. На данном этапе создавались связи между сущностями в Мегаплане и Битрикс24 в основном это ручная работа, если вид данных сильно отличается, если данные идентичны и имеют одинаковые названия, то ручная работа не требуется.
2. На этом этапе создавали связи между пользователями в Мегаплане и Битрикс24, многие из сущностей имеют привязку к пользователю которых нету в Битрикс24 для них создается один системный пользователь и такие сущности в Битрикс24 были привязаны к нему.
3. В процессе этого этапа мы с клиентом согласовывали как будут выглядеть комментарии в Битрикс24. У Битрикс24 интеграции с WhatsApp\Телеграм\Авито выполнены не так как в Мегаплан для этого мы старую переписку из мега-плана вытаскиваем в комментарии сущностей Битрикс24.
4. Самый важный этап, на нем делалась замороженная копия данных из Мегаплан, и вся выгрузка будет выполнятся из неё.
5. Подготавливали приложение и вносили изменения в зависимости от пожелания клиента для дальнейшей загрузки.

Загрузка:
6. Загрузили контакты из Мегаплана в Битрикс24 с заполнением всех данных согласно таблице соответствия из этапа 1.
7. Загрузили комментарии для контактов согласно шаблонам из этапа номер 3.
8. Загрузили компании из Мегаплана в Битрикс24 с заполнением всех данных согласно таблице соответствия из этапа 1.
9. Загрузили комментарии для компаний согласно шаблонам из этапа 3.
10. Связали компании и контакты между собой так как это было выполнено в Мегаплан, при желании связываем контакты между собой, так как к Мегаплане это возможно, но такой вариант является не штатным в Битрикс24 и не рекомендуется.
11. Загрузили сделки для каждой воронки поочерёдно, так как сделки это самые богатые на данные сущности. Например мы сначала загружаем воронки Продаж, после мы загружаем воронку Сервиса и так далее. Для каждой из воронок подготавливается своя таблица соответствия на этапе 1.
12. Загрузили комментарии для сделок согласно шаблонам из этапа 3.
13. Загрузили смарт-процессы. Обычно смарт-процессами являются вспомогательные сделки из Мегаплан которые привязаны к "основным" сделкам. Загружаются так же для каждой воронки отдельно и подготавливается своя таблица соответствия на этапе 1.
14. Загрузили комментариев для смарт-процессов согласно шаблонам из этапа 3.
15. Создание связей между смарт-процессами и сделками.

Результаты работы:

Количество перенесенных сущностей из мегаплан:

Комментариев к компаниям: 1881,
Комментариев к контактам: 26 605,
Компаний: 1539,
Контактов: 30 756,
Сделок: 26 918,
Комментариев к сделкам: 119 635,
Смарт-процессов: 11 063,
Комментариев к смарт-процессам: 48 941,
Всего перенесено сущностей: 267 338

Сервисные сущности по желанию клиента:
Создано новых комментариев к сделкам: 53 836
Создано новых комментариев к смартам: 22 126
Всего сервисных сущностей: 75 962

Всего сущностей по переносу: 343 300

Клиент продолжил работу в коробочной версии Битрикс24 без потери данных.