Movimentação de dados
Movimentação de dados: o que é?
Movimentação de dados é a capacidade de mover dados de um repositório em sua organização para outro por meio de tecnologias que incluem ETL (extrair, transformar e carregar), ELT (extrair, carregar e transformar), replicação de dados e captura de dados alterados (CDC), principalmente para fins de migração de dados e data warehousing.
A infraestrutura de TI e o cenário de aplicações de sua organização estão constantemente mudando, e suas aplicações precisam de dados oriundos de uma gama de bancos de dados. Isto significa que você precisa de soluções de movimentação de dados eficientes e seguras para transferir dados entre seus sistemas sem impactar o desempenho de suas fontes.
Movimentação de dados, sincronização de dados e replicação de dados são métodos complementares de integração de dados. Juntos eles permitem que você entregue dados novos para manter atualizados os seus bancos de dados, data warehouse, big data e sistemas em nuvem.
Tipos de movimentação de dados
Replicação
Oferece um método confiável e de baixo impacto de criar uma cópia precisa e atualizada de seus dados de fonte única ou de múltiplas fontes, que pode ser disponibilizada a qualquer pessoa que precise de acesso a tais dados, quando e onde quer que trabalhem. Você pode garantir o controle de bases de dados replicadas com configurações flexíveis de regras de arquivamento e retenção, realocação de dados e armazenamento. Seus dados permanecem acessíveis por meio da aplicação original ou por meio de quaisquer ferramentas de analytics que você tenha em uso.
Técnicas de sincronização de bancos de dados
Permite que você mantenha atualizados os seus dados replicados para que os seus usuários e suas aplicações trabalhem com a melhor informação que você possa fornecer a eles. Você pode atualizar bancos de dados replicados com uma configuração orientada a batch (pull) ou em tempo real (push). Para muitos bancos de dados relacionais, você pode sincronizar dados novos de forma instantânea com uma capacidade chamada CDC (change data capture ou captura de dados alterados).
Por que mover dados?
Capacidades abrangentes de movimentação e transformação de dados são essenciais para modernizar e expandir o seu portfólio de TI. Por exemplo, você pode precisar de ferramentas de movimentação de dados para mover dados de seus sistemas legados e plataformas para bancos de dados em nuvem. O ELT é um processo de integração de dados que combina dados de múltiplas fontes em um único armazem de dados. Esta capacidade é valiosa para atender requerimentos de integração híbrida como: conectar e transformar fontes de dados legados para um ambiente de data warehouse; ou mover dados de bancos de dados relacionais para ambientes de big data ou data lake.
Os casos de uso incluem:
Replicação de bancos de dados
Replique um banco de dados para recuperação de desastres (DR), rodar análises (analytics) mais rápido em múltiplas localidades, e para uso mais eficiente da distribuição de recursos.
Data warehouse em nuvem
Tenha a confiança de que o seu data warehouse contém as informações mais atualizadas extraídas dos sistemas em sua organização, incluindo bancos de dados e plataformas legados, enquanto minimiza o impacto do tempo de atividade e desempenho dos sistemas adjacentes. Mova dados para bancos de dados em nuvem como: MySQL para Microsoft® Azure® SQL Database, Oracle para Amazon® AWS RDS, ou SQL Server® para Amazon REDSHIFT®. Amplie capacidades ETL para conectar e transformar fontes de dados legados para ambientes de data warehouse como, por exemplo, OpenVMS® Rdb para Teradata®.
Movimentação de dados híbrida
Domine a movimentação de dados entre sistemas em infraestrutura local (on-premises) e serviços de nuvem para encontrar um equilíbrio entre inovação, desempenho e continuidade de negócios. Mova dados on-premises para a nuvem para gerar insights e se beneficiar dos serviços elásticos sob demanda. Mova dados de aplicações cloud para o mainframe, o que resultará em dados completos e precisos em seu sistema de registros.
Data lakes em nuvem
Utilize uma solução de movimentação de dados para transferir dados de bancos de dados transacionais como Adabas, VSAM ou IMS, para ambientes de big data ou data lake como Hadoop® , Snowflake®, AWS e Azure®.
Arquivamento de dados
Programe o arquivamento de seus principais dados para gerenciar proativamente o crescimento de seus bancos de dados e manter seus sistemas rodando no pico de desempenho. Aumente a conformidade com diretrizes regulatórias para captura de dados para permitir a rastreabilidade e futuras auditorias.
Benefícios da movimentação de dados usando CONNX
Integre todas as suas fontes de dados
Mova, replique e sincronize dados oriundos de um amplo espectro de bases de dados (legado, relacional, big data e nuvem) residindo em plataformas como mainframe, OpenVMS, iSeries (AS/400), UNIX®, Linux®, Windows® e desktop. CONNX oferece mais de 150 adaptadores para bancos de dados, a maior variedade do setor, para entregar conectividade padrão SQL. Conecte a qualquer aplicação compatível com ODBC, OLE DB, JDBC®, J2EE® ou .NET®, a editores de relatórios ou ferramenta de desenvolvimento.
Mova dados com facilidade
Use a solução de movimentação de dados da plataforma CONNX para sincronizar o seu data warehouse em nuvem com fontes de dados legados e não-relacionais como Adabas, VSAMTM, IMSTM, Rdb e RMS, de uma forma fácil e padronizada, e sem interromper as operações.
Replique em tempo real
Compartilhe dados orientados a eventos aproveitando a tecnologia CDC. Capture, transforme e replique dados de uma seleção de fontes para diversos sistemas alvo de dados (como bancos de dados, data warehouse, big data, nuvem e plataformas digitais). Mantenha a eficiência de sua movimentação de dados ao atualizar somente os registros que sofreram alterações.
Sincronize de forma eficiente
Configurações de transformação permitem o controle total de agendamentos incrementais ou de movimentações totais de dados, iniciando tarefas pré ou pós-sincronização, e ainda estabelecendo notificações automáticas de eventos via e-mail. Você pode escalar suas tarefas de sincronização com base na demanda, como agendar atualizações para períodos de baixo uso ou de forma tão frequente como a cada minuto sempre que o seu negócio requerer informações mais atualizadas. Por exemplo, adicione o CONNX ao Microsoft® SSIS para suporte avançado ao SQL Server® para poder facilmente identificar alterações de dados no banco de dados SQL Server, o que irá resultar em atualizações incrementais eficientes.
Transformação abrangente e ETL
Transformação com base em SQL com um construtor de consultas visuais (query builder) permite mapeamentos abrangentes de tabelas e campos. Uma biblioteca com mais de 500 funções de transformação oferece várias maneiras de mapear o valor de um campo, incluindo habilidades para transformações complexas como filtros, classificações, junções, uniões e agregações.
Fique no controle
As soluções de replicação de dados do CONNX colocam você no controle total com configurações flexíveis de arquivamento e regras de retenção, realocação de dados e armazenamento. Seus dados permanecem acessíveis por meio de sua aplicação de origem ou por quaisquer ferramentas de analytics que você tenha em uso.
Acesso seguro
O CONNX Security é utilizado para lidar com questões de segurança entre plataformas ao gerenciar múltiplos logins de bancos de dados, garantindo acesso aos dados de cada sistema.
Gerencie metadados
Crie um léxico que combine todos os seus dados em uma estrutura única e abrangente sem alterar as estruturas de fontes.
