Как оптимизировать миграцию больших таблиц

Существует несколько способов сократить время миграции и ускорить процесс переноса данных.

Если в процессе экспорта не возникало проблем, можно отключить Режим Трассировки (сканер). Это позволит избежать генерации трассировочных данных и тем самым сократить общее время миграции.

Также можно разбить перенос данных на части и выполнять их параллельно в инструменте Конвертум Мастер Классик. Это можно сделать двумя способами:

• с использованием настроек данных (Параметры Данных);
• с использованием SQL-запросов (Запросы).

Использование Параметров Данных

При выборе вкладки Data на странице Настройки для уровня таблиц в дереве объектов становятся доступны поля для указания:

• начальной строки;
• количества строк для экспорта.

Изменяя эти значения в отдельных экземплярах Конвертум Мастер Классик (например: 1–5000, 5001–10000 и т.д.), можно запускать миграцию разных частей данных параллельно.

Также обратите внимание, что для всех процессов, кроме первого, необходимо снять флажок Генерировать DDL на вкладке DDL, чтобы избежать ошибки, связанной с уже существующей таблицей. В этом случае будет выполняться только миграция данных.

Использование Запросов

Вы можете экспортировать данные на основе уникального индекса, первичного ключа или любого другого условия запроса.

Для этого в мастере Конвертум Мастер Классик выберите опцию Использовать Запрос в выпадающем списке на странице Выбор Объектов.

Данная опция позволяет задать собственный SQL-запрос для выборки данных. При этом:

DDL-оператор будет сгенерирован на основе выбранных столбцов; имя таблицы будет соответствовать указанному в секции FROM.

Тем не менее, рекомендуется предварительно создать пустые таблицы, а затем выполнять миграцию данных этим способом. При попытке создания уже существующей таблицы будут возникать ошибки, однако загрузка данных при этом будет выполняться корректно.

Для обоих подходов также рекомендуется использовать отдельные директории проектов для каждой миграции, чтобы избежать перезаписи файлов проекта.

Если у вас возникнут дополнительные вопросы, пожалуйста, свяжитесь со службой поддержки: support@convertum.ru