Конвертум Стрим: руководство пользователя

Главная страница
Создать новый проект
Настройка целевой базы данных
Регистрация лицензии
Настройка исходной базы данных
Выбор и Маппинг объектов
Подготовка объектов
Запуск проекта миграции
Управление проектом миграции
Результаты миграции

Главная страница

На Главной странице Конвертум Стрим отображается список проектов и сведения о привязанных к ним лицензиях.

Карточка Проекта отображает (если указано):

• Имя проекта
• Описание
• Детали лицензии
• Опция удаления проекта через дополнительное меню

Кнопка Удалить удаляет метаданные проекта: управляющую схему, таблицы журнала миграции и все временные ресурсы из целевой базы данных PostgreSQL. Это действие необратимо и должно выполняться только после полного завершения миграции и готовности целевой схемы к использованию в рабочей среде.

Панель Информация о лицензии для каждого проекта отображает:

• Типы исходной и целевой баз данных
• Оценочный объем данных проекта
• Лицензированное использование данных (использованные и доступные ГБ) для данного проекта

Каждый проект в списке сохраняет свое последнее настроенное состояние миграции (Выполняется или Остановлен) и продолжает фоновую обработку в соответствии со статусом своих таблиц и режимом согласованности на момент последнего доступа или закрытия проекта.

Лицензионный ключ для каждого проекта вводится при его создании и привязывается к этому проекту.

Создание нового проекта

Все операции по миграции данных выполняются внутри проектов.

Чтобы создать новый проект, нажмите кнопку + Создать новый проект на главной странице. Откроется страница Создания проекта.

На этой странице введите следующую информацию:

• Имя проекта (обязательное поле): Введите уникальное имя проекта.
• Имя схемы: Автоматически заполняемое имя схемы, которая будет создана в целевой БД для хранения управляющих таблиц и метаданных миграции. Она автоматически удаляется при удалении проекта.
• Описание проекта (необязательное поле): Краткое описание целей и масштабов проекта.

После заполнения обязательных полей нажмите кнопку Создать проект для продолжения. В случае успешного ввода откроется страница Настройки целевой базы данных.

Используйте панель План настройки, которая поможет вам пройти основные шаги и страницы, необходимые для запуска проекта.

Настройка целевой базы данных

На странице Настройки целевой базы данных введите данные для подключения к целевой PostgreSQL БД:

• Хост*: Сетевой адрес сервера целевой БД, где будут храниться перенесенные данные.
• Порт*: Номер TCP-порта, используемый для установки соединения с сервером.
• Имя базы данных*: Имя целевой базы данных, в которую будут переноситься данные.
• Имя пользователя root*: Учетная запись с привилегиями суперпользователя (обычно postgres или другой суперпользователь). Эта учетная запись используется во время настройки проекта для установки расширений, создания управляющей схемы, сопоставлений пользователей и другой инфраструктуры миграции.
• Пароль пользователя root*: Пароль для указанной учетной записи.

Примечание: Целевая база данных должна быть создана и доступна до запуска проекта.

Важно. Убедитесь, что установлены и настроены следующие утилиты:

После ввода данных нажмите кнопку Далее для продолжения. После успешного ввода и проверки подключения к БД откроется cтраница Регистрации лицензии.

Примечание: Все описанные ниже шаги по установке должны выполняться пользователем root PostgreSQL RDBMS. Это требуется только для целей установки; для дальнейшей эффективной работы решения Конвертум Стрим избыточные права администратора не требуются.

Альтернативные поля учетных данных предназначены для пользователя "только для миграции", что позволяет выполнять перенос данных с минимальными привилегиями и без прав на администрирование.

Примечание: Если возникает ошибка подключения:

• Дважды проверьте хост, порт, учетные данные и настройки сети/брандмауэра.
• Убедитесь, что установлены необходимые расширения (при необходимости выполните команды CREATE EXTENSION от имени суперпользователя).
• Проверьте, доступен ли целевой сервер.

Если проблема не устранена, обратитесь в службу поддержки.

Регистрация лицензии

Все операции по миграции данных выполняются в пределах объема, предусмотренного лицензией.

На странице Регистрация лицензии введите следующую информацию:

• Лицензионный ключ. Уникальный ключ, который авторизует продукт и определяет допустимый объем данных для операций миграции.

Нажмите кнопку Активировать ключ для продолжения. Лицензионный ключ будет проверен, и на этой же странице появится панель Детали лицензии.

Примечание: Проверка лицензии выполняется онлайн через подключение к лицензионному серверу Конвертум; на компьютере пользователя требуется активное подключение к Интернету.

Панель Детали лицензии показывает типы источника и цели, дату истечения срока действия, максимально допустимый объем данных проекта, а также текущее использование лицензированных данных (использованные и доступные ГБ) для этого ключа.

Нажмите кнопку Далее для продолжения. Откроется страница Настройки исходной базы данных.

Примечание: Если срок действия вашей лицензии истек, вы столкнулись с какими-либо проблемами, связанными с лицензией, или у вас возникли вопросы, пожалуйста, запросите новую лицензию или свяжитесь с нами через контактную информацию на странице.

Существует два вида лицензий:

• Онлайн-лицензия (используется по умолчанию) — требует активного подключения к интернету для активации и работы с лицензионным сервером Конвертум.
• Оффлайн-лицензия — изготавливается по специальному запросу. Для её получения необходимо предоставить LSN-номер (License Serial Number) целевой базы данных PostgreSQL.

Важное предупреждение (только для оффлайн-лицензии): Если целевой сервер PostgreSQL был переустановлен, восстановлен после сбоя или пересоздан, LSN-номер изменится. В этом случае оффлайн-лицензия перестанет действовать. Вам потребуется предоставить новый LSN-номер на нашу сторону. Мы обновим лицензию и вышлем вам новый оффлайн-ключ для продолжения миграции.

ПРИМЕЧАНИЕ: Поддержка резервного лицензионного ключа доступна. Вы можете добавить резервный ключ к своему проекту, чтобы обеспечить продолжение процесса миграции в случае истечения лимита основного ключа.

Также вы можете заказать демо и получить демо-лицензию Конвертум Стрим на странице.

Настройка исходной базы данных

На странице Настройки исходной базы данных введите следующую информацию:

• Имя сервиса*: Имя службы или экземпляра базы данных, используемого для подключения к источнику.
• Хост*: Сетевой адрес сервера исходной БД.
• Порт*: Номер порта для подключения к исходной БД.
• Имя пользователя*: Учетная запись пользователя БД для чтения данных и захвата изменений из источника.
• Пароль*: Пароль для указанной учетной записи.

Нажмите кнопку Далее. В случае успешного ввода и проверки соединения откроется страница Выбора исходных таблиц.

Если возникает ошибка подключения:

• Проверьте хост, порт, имя сервиса, учетные данные и сетевое подключение.
• Убедитесь, что у пользователя Oracle есть минимально необходимые привилегии (см. ниже).
• Убедитесь, что разрешение TNS работает и прослушиватель (listener) запущен.

Обратитесь в поддержку, если проблема сохраняется.

Примечание: При указании имени пользователя и пароля базы данных на этой странице вам необходимо иметь достаточные привилегии для успешного выполнения операторов SELECT к системным таблицам исходной базы данных.

Важно. Убедитесь, что привилегии пользователя исходной базы данных настроены правильно.

Примечание: Для подключения к исходной базе данных также требуется выделенный пользователь базы данных с достаточными привилегиями; в разделах ниже описаны минимально необходимые разрешения и приведены подробные инструкции по их настройке, если это необходимо.

Выбор и Маппинг объектов

Выбор объектов

Проект миграции создается пустым и изначально не содержит списка объектов.

На странице Выбора исходных таблиц необходимо отметить, какие объекты из исходной БД включить в объем миграции:

• Выбор объектов: Просматривайте дерево объектов в левой части страницы.
  • Разверните схемы и выберите нужные таблицы (или целые схемы).
  • Установите флажок рядом с каждой таблицей/схемой, которую хотите перенести.
• Снятие флажка: Чтобы исключить объект из списка, просто снимите с него флажок.

Нажмите Далее для продолжения. Откроется страница Подготовки целевых таблиц.

Маппинг

На странице Выбора исходных таблиц также можно работать с настройками маппинга.

Маппинг определяет, как объекты исходной базы данных будут сопоставлены с объектами целевой базы данных в процессе миграции.
Чтобы перейти к экрану настроек маппинга, нажмите кнопку Маппинг. Откроется страница Маппинг Объектов Миграции.

Чтобы перейти на страницу Маппинг Объектов Миграции, необходимо выбрать как минимум один объект.

На странице представлены три вкладки:

• Имена схем — схемы сопоставляются с использованием заданных имён схем на целевой базе.
• Имена объектов — имена на целевой базе задаются для отдельных объектов и используются для сопоставления объектов.

• По формулам — определение пользовательских формул преобразования для отдельных столбцов.

  

  

Настройки имени схем и объектов позволяют задать имена объектов на целевой базе данных, отличные от имён в исходной базе данных. По умолчанию имена объектов автоматически заполняются на основе соответствующих имён в исходной базе.

На этом этапе вы задаёте имена объектов на целевой базе данных. Создание и валидация объектов будут выполняться на следующих страницах.
На следующих страницах дерево объектов проекта будет отображаться с использованием имён объектов целевой базы данных.

Чтобы задать новое имя для объекта, введите его в поле ввода в сегменте Имя целевой схемы или Целевое имя, заменив автозаполненное значение.
Новое имя будет отображаться подчеркнутым курсивом.

Вы можете воспользоваться live-поиском (поиск по мере ввода), чтобы быстро найти объекты проекта по имени (схему, таблицу или колонку). Результаты поиска обновляются автоматически по мере ввода.

Вы можете отменить ввод новых имён объектов и вернуть автозаполненные имена по умолчанию (соответствующие именам объектов исходной базы данных) с помощью следующих элементов:

• Кнопка Восстановить по умолчанию — сбрасывает имена для всего проекта.

• Бейдж Отменить изменения — сбрасывает имя для отдельного объекта в поле ввода.

При вводе новых имён для объектов target базы данных вы можете столкнуться с двумя типами ошибок:

• Дублирующиеся имена — для связанных объектов заданы одинаковые имена. Чтобы исправить ошибку, введите другое имя в одном из полей ввода, подсвеченных красным.

  

• Превышение лимита длины имени — суммарная длина имён объектов превышает лимит. Чтобы исправить ошибку, используйте более короткое имя в одном из полей ввода, подсвеченных красным.

Важно. Пока ошибка не будет исправлена, выход со страницы настройки маппингов будет заблокирован, так как такие ошибки не позволяют добавить объекты в проект миграции.
Самый простой способ их исправить — использовать бейдж Отменить изменения в поле ввода, чтобы вернуть имя по умолчанию.

После завершения настройки маппингов вы можете вернуться на страницу Выбора исходных таблиц, нажав на значок закрытия (×).

Вы можете дополнительно добавить или удалить объекты из проекта (как и на предыдущем шаге), и также продолжить настройку маппингов для обновлённого выбора объектов миграции.

Вкладка "По формулам" позволяет задать пользовательские формулы преобразования для любого столбца для обработки сложных преобразований данных между Oracle и PostgreSQL. Слева показано иерархическое дерево: Схема -> Таблица -> Столбцы. Для каждого столбца доступны три поля:

• Название столбца
• Исходная формула - SQL-выражение Oracle, применяемое на стороне исходной базы данных (перед передачей данных)
• Целевая формула - SQL-выражение PostgreSQL, применяемое на стороне целевой базы данных (перед вставкой)

Пример: REPLACE(str, CHR(0), '?') .

После завершения выбора объектов и настройки маппингов, нажмите кнопку Далее, чтобы перейти к следующему этапу настройки проекта — созданию и валидации объектов на целевой базе (страница Подготовки целевых таблиц).

Важно: После перехода к следующему шагу вы не сможете вернуться к этапу выбора объектов и настройки маппингов.

Подготовка объектов

На странице Подготовки целевых таблиц настройте и проверьте целевые структуры для выбранных исходных таблиц. На этом этапе проверяется, что целевые таблицы существуют (или могут быть созданы), сопоставление столбцов корректно, типы данных совместимы, и все готово к миграции.

Доступные действия (кнопки для каждой схемы или таблицы):

• Создать: Автоматически создает целевые схемы (если они отсутствуют) и целевые таблицы для всех выбранных исходных объектов. Таблицы создаются пустыми, без ограничений, индексов и с отключенными триггерами — это стандартное состояние подготовки к миграции.
• Валидировать: Запускает валидацию совместимости и маппинга. Проверка включает:
  • Корректное сопоставление столбцов источника и цели.
  • Поддерживаемые типы данных.
  • Отсутствие критических конфликтов.
  • Готовность к включению в процесс миграции.

Нажмите Создать все и Валидировать все для каждой схемы или таблицы. Дождитесь подтверждения успешного выполнения.

Статусы создания таблиц:

• Создана: Таблица успешно создана в целевой базе данных.

• Уже существует: Таблица уже существует в целевой БД и может быть повторно использована для миграции.

• Ошибка: Не удалось создать таблицу из-за ошибки (требует внимания пользователя).

Статусы добавления таблиц:

• Готова к миграции: Таблица прошла проверку и будет включена в проект миграции.

• Ошибка: Таблица не прошла проверку и не может быть включена в миграцию до устранения проблемы.

Примечание: По умолчанию имена целевых таблиц и столбцов преобразуются в нижний регистр. В окончательный объем миграции включаются только проверенные таблицы.

На панели План настройки отображается общий объем данных всех проверенных таблиц в поле Размер добавленных таблиц. Расчет основан на размере исходной базы данных. Окончательный размер перенесенных данных в целевой базе данных может незначительно отличаться.

Нажмите Завершить настройку для продолжения. Откроется страница Проекта миграции.

Важно. После завершения настройки миграция проекта выполняется только по добавленным объектам этого проекта.

Запуск проекта миграции

После настройки конфигурация проекта фиксируется. Миграция выполняется и управляется со страницы Проект миграции (рабочей области).

Рабочая область содержит:

• Панель Дерево объектов: Иерархия схем и таблиц, включенных в миграцию.

• Основные кнопки управления проектом: Для управления миграцией на уровне проекта.

• Панели метрик: Текущая и выполненные итерации (показывают прогресс).

• Графики динамики миграции: Визуализация строк, времени и завершения таблиц.

Панель Дерево объектов представляет собой боковую панель, на которой отображается иерархия объектов проекта, организованная по схемам и входящим в них таблицам.

При развертывании схемы каждая таблица отображается в виде отдельной карточки или компонента, содержащего следующую информацию:

• Поле Имя таблицы. Имя таблицы, определенное на этапе создания и проверки конфигурации проекта.
• Выпадающий список Режим консистентности таблицы. Настроенный режим; после запуска миграции в этом поле отображается индикатор прогресса.
• Поле Номер итерации. Номер текущей или последней завершенной итерации (появляется после начала миграции).
• Поле Статус таблицы. Текущий статус миграции таблицы.
• Кнопки Управления таблицей. Кнопки для запуска, приостановки, остановки или возобновления миграции отдельной таблицы.

Выпадающий список Режим консистентности таблицы. Выберите режим консистентности в карточке каждой таблицы или глобально на уровне проекта:

• Вариант Полная.
• Вариант Частичная.
• Вариант Гибридная.

Режим консистентности можно установить глобально для проекта или индивидуально для каждой таблицы; глобальная настройка доступна только в том случае, если проект или выбранная таблица находятся в состоянии Остановлено.

Ослабление режима во время миграции

Если миграция уже запущена, можно понизить режим консистентности для отдельной таблицы (например, с Полной на Гибридную или Частичную). Для этого нажмите на кнопку-иконку понижения режима рядом с названием таблицы. Важно: Если таблица уже находится на самом низком уровне консистентности (Частичная), инструмент не позволит выполнить дальнейшее понижение. Поле Статус таблицы. Текущий статус миграции таблицы:

• Запущена. Таблица активно участвует в текущей итерации, процесс миграции запущен.

• Ожидание. Таблица завершила обработку в текущей итерации и ожидает завершения других таблиц перед началом следующей итерации.

• Завершение. Таблица заканчивает обработку в рамках Плавной остановки и завершит текущую итерацию перед тем, как миграция будет остановлена. Этот статус обозначается с помощью всплывающей подсказки.
  

• Пауза. Процесс миграции таблицы временно приостановлен и не будет продолжен до возобновления вручную.

• Остановлена. Процесс миграции таблицы остановлен, и таблица не участвует в миграции. Таблица в этом состоянии может пропускать итерации и снова присоединиться к миграции, когда проект запущен.
  

• Ошибка (Повторяемая). В таблице возникла ошибка, блокирующая запуск следующей итерации. Ошибка должна быть устранена, либо затронутая таблица должна быть остановлена, прежде чем миграция сможет продолжиться.
  

• Ошибка (Прервано). В таблице возникла ошибка, из-за которой текущая итерация была прервана для этой таблицы. Прогресс текущей итерации потерян, но общая миграция продолжается со следующей итерации.

Помимо изменения режима согласованности, вы можете получить доступ к более продвинутым параметрам настройки на уровне проекта.

Найдите значок Настройки в правом верхнем углу бокового меню Проект миграции.

Нажатие на этот значок открывает окно Параметры миграции — настраиваемый список параметров системного уровня, которые управляют общим поведением процесса миграции, такими как параллелизм, размер пакетов, обработка ошибок и оптимизация производительности

Эти настройки применяются глобально. Они позволяют выполнять точную индивидуальную настройку для крупномасштабных или сложных миграций.

Также доступны настройки для отдельных таблиц, только когда таблица находится в статусе Остановлена. Для доступа к этим настройкам выберите отдельную таблицу, нажмите кнопку Опции Таблицы в левом верхнем углу рабочей области. Далее откроется окно Опции Таблицы со списком всех возможных пунктов для настройки.

Управление проектом миграции

Начальное состояние проекта — все таблицы находятся в статусе Остановлена, режим консистентности установлен на Частичная, и доступна только кнопка Запуск.

Режим консистентности можно изменить глобально или для каждой таблицы отдельно, но только пока все таблицы (или выбранная таблица) остаются в состоянии Остановлена.

Миграцию можно запустить с помощью Основных кнопок управления проектом для всех таблиц или инициировать индивидуально для каждой таблицы через Кнопки управления таблицей в дереве объектов.

Чтобы начать миграцию проекта, нажмите кнопку Запуск. Это запустит миграцию для всех таблиц в проекте в соответствии с настроенным объемом и параметрами согласованности.

В следующих разделах описывается, как управлять миграцией на уровнях проекта и отдельных таблиц.

Основные кнопки управления проектом служат для управления миграцией на уровне всего проекта.

Кнопка Запуск:

• Запускает миграцию для всех таблиц в статусе Остановлено или Приостановлено.
• После начала миграции кнопка Запуск заменяется на кнопку Пауза.
• Миграцию также можно запустить индивидуально для конкретных таблиц с помощью Кнопок действий с таблицей.

Кнопка Пауза:

• Временно приостанавливает процесс миграции для всех активных таблиц.
• Приостановленные таблицы блокируют завершение итерации, и миграция ожидает их возобновления перед началом следующей итерации.

Кнопка Плавная остановка проекта:

• Инициирует контролируемую плавную остановку процесса миграции.
• Текущая и следующая итерации выполняются до конца, прежде чем миграция будет остановлена; необходимо дождаться завершения процесса.
• Все активные таблицы переходят в статус Завершение и заканчивают свои итерации перед остановкой.
• Это действие доступно только в том случае, если ни одна из таблиц не находится в статусе Ошибка или Приостановлено.

Кнопка Остановка:

• Немедленно прекращает процесс миграции для всех таблиц, независимо от их текущего статуса (Выполняется, Ожидание, Приостановлено или Ошибка).
• Прогресс текущей итерации может быть потерян.
• После остановки кнопка Запуск снова становится доступной.
• Перед выполнением этого действия отображается предупреждение для подтверждения.

Кнопки управления таблицей служат для управления миграцией на уровне отдельных таблиц.

Действия для выбранной таблицы: кнопки Запуск, Пауза, Стоп.

Доступность действий в зависимости от статуса таблицы:

• Статус Запущено — кнопки Пауза, Стоп.
• Статус Ожидание — кнопка Стоп.
• Статус Завершение — кнопки Пауза, Стоп (в этом процессе действия не требуются).
• Статус Пауза — кнопки Запуск, Стоп.
• Статус Остановлена — кнопка Запуск.
• Статус Ошибка (Повторяемая) — кнопки Запуск, Пауза, Стоп.
• Статус Ошибка (Прервано) — кнопки Запуск, Стоп.

Миграция выполняется в фоновом режиме (через pg_cron) повторяющимися итерациями до тех пор, пока не будет остановлена вручную. Закрытие графического интерфейса или браузера не останавливает миграцию — она продолжается в своем последнем состоянии (Выполняется или Остановлено). Вы можете удалить весь проект (включая метаданные и схему управления) на карточке проекта на главной странице.

Результаты миграции

Прогресс и производительность миграции в реальном времени можно отслеживать на дашборде, который включает:

• Панель Текущая итерация
• Панель Завершенная миграция
• Графики Динамика миграции

Вы также можете проверять ход и результаты миграции непосредственно в исходной и целевой системах, используя собственные инструменты работы с базами данных.

Это позволяет проверять данные, подтверждать изменения и устранять неполадки вне приложения.

Панель Текущая итерация отображает следующую информацию:

• Элемент Индикатор прогресса. Показывает номер текущей итерации, расчетное время завершения и процент выполнения миграции.
• Поле Вставлено/Обновлено. Количество строк, вставленных или обновленных в ходе текущей итерации. Сюда входят строки, данные в которых на источнике изменились по сравнению с предыдущей итерацией, а именно: вновь созданные записи или измененные существующие записи.
• Поле Удалено. Количество строк, удаленных в текущей итерации. Это строки, которые были удалены на источнике по сравнению с предыдущей итерацией; соответствующие события удаления были зафиксированы и применены в целевой базе в ходе текущей итерации.
• Элемент Индикатор статуса таблицы. Отображает прогресс миграции таблицы на основе ее текущего статуса.

Панель Текущая итерация помогает ориентироваться в альтернативных сценариях, возникающих в процессе миграции:

• Состояние Остановить таблицы с ошибками. Прекращает процесс миграции для таблиц, находящихся в состоянии ошибки, чтобы они не блокировали текущую или последующие итерации.
  

• Состояние Запустить все приостановленные таблицы. Возобновляет миграцию для всех таблиц, которые в данный момент приостановлены, позволяя им продолжить участие в текущей итерации.
  

• Состояние Обновление: Истечение лицензии. Указывает на то, что лимит объема данных по лицензии подходит к концу, и уведомляет о том, что оставшийся объем миграции по текущему лицензионному ключу ограничен.

• Состояние Обновление: Лицензия истекла. Указывает на то, что лимит объема данных по лицензии достигнут или превышен; процесс миграции отключается до тех пор, пока лицензия не будет продлена или обновлена.

Панель Завершенная миграция отображает следующую информацию:

• Поле Завершено итераций. Указывает общее количество итераций, успешно выполненных в ходе процесса миграции.
• Поле Перенесено данных. Общий объем данных, обработанных во всех таблицах во всех завершенных итерациях в процессе миграции.
• Поле Общее время. Общее затраченное время на обработку всех завершенных итераций миграции.
• Поле Всего строк. Общее количество строк, обработанных во всех таблицах во всех завершенных итерациях, включая вставленные/обновленные и удаленные строки.
• Поле Всего вставлено/обновлено. Общее количество строк, перенесенных за все завершенные итерации. Сюда входят строки, данные в которых на источнике изменились по сравнению с предыдущей итерацией, а именно: вновь созданные записи и измененные существующие записи.
• Поле Всего удалено. Общее количество строк, для которых были обнаружены события удаления на источнике во всех завершенных итерациях. Эти события удаления были зафиксированы и применены в целевой базе в процессе миграции.
• Элемент Информация о лицензии. Отображает информацию о текущей лицензии, включая лицензированный объем данных и его использование в ходе миграции.

Графики Динамики миграции отображают:

График Удаленные и добавленные строки показывает значения метрик для завершенных итераций.

• Ось X: индекс итерации.
• Ось Y: измеренное значение удаленных и добавленных строк по всем таблицам данных, участвующим в итерации.

Значения обновляются после завершения каждой итерации.

График Время итерации показывает значения метрик для завершенных итераций.

• Ось X: индекс итерации.
• Ось Y: общее время обработки, необходимое для завершения каждой итерации.

Значения обновляются после завершения каждой итерации.

График Таблиц обработано показывает значения метрик для завершенных итераций.

• Ось X: индекс итерации.
• Ось Y: количество таблиц, успешно завершивших обработку в течение каждой итерации.

Значения обновляются после завершения каждой итерации.