Transformers в экспорте Logpush реализуют SQL-преобразования: условие WHERE отбирает записи, а SELECT формирует поля результата. Это даёт возможность исключать ненужные события или удалять/модифицировать отдельные поля перед передачей получателю.
Обработка внутри конвейера
Преобразования выполняются в процессе сервиса доставки с применением движка обработки данных. Для обмена типизированными партиями между компонентами используется формат для промежуточной сериализации. При всех преимуществах такой схемы остаются издержки: данные требуется подготовить, сериализовать и обработать, что добавляет вычислительную и временную нагрузку на конвейер.
Поведение при ошибках
Если преобразование не удаётся, исходная партия данных не отправляется получателю. Смещение доставки не продвигается, а попытка обработки повторяется с ростом задержек и генерацией сообщений об ошибке; при длительных сбоях проблемная задача может быть отключена. Такая стратегия предотвращает случайную передачу необработанных записей и важна, когда получатель ожидает, что конфиденциальные поля будут удалены или модифицированы.
Перед применением SQL-преобразований рекомендуется проверять результат на наборах с пустыми и необычными значениями: поддержка SQL не гарантирует автоматическое скрытие всех чувствительных сведений, и логика запроса должна быть протестирована на реальных примерах.