A Microsoft anunciou recentemente em seu blog uma atualização para o Azure Data Factory que traz diversos novos recursos e melhorias.

O que é o Azure Data Factory?

O Azure Data Factory é um serviço de integração de dados baseado em nuvem que automatiza a movimentação e a transformação dos dados. Você pode criar soluções de integração de dados usando o serviço do Data Factory que pode receber dados de vários repositórios de dados, transformar/processar os dados e publicar os dados de resultado nos repositórios de dados.

O serviço Data Factory permite criar pipelines de dados que movem e transformam dados e depois executar os pipelines em um agendamento especificado (por hora, diariamente, semanalmente, etc.).

Ele também fornece visualizações avançadas para exibir a linhagem e as dependências entre os pipelines de dados e monitorar os pipelines de dados em uma única exibição unificada, a fim de identificar os problemas e configurar alertas de monitoramento facilmente.

Microsoft atualiza o Azure Data Factory

Em uma solução de Data Factory, você cria um ou mais pipelinesde dados. Pipeline é um agrupamento lógico de atividades. Eles são usados para agrupar atividades em uma unidade que, em conjunto, executam uma tarefa.

Atividades definem as ações a serem realizadas em seus dados. Por exemplo, você pode usar uma atividade de cópia para copiar dados de um repositório de dados para outro. Da mesma forma, você pode usar uma atividade do Hive que executa uma consulta de Hive em um cluster do Azure HDInsight para transformar ou analisar seus dados.

O Azure Data Factory dá suporte a dois tipos de atividades: atividades de movimentação de dados e atividades de transformação de dados.

Saiba mais sobre ele aqui.

Novidades no Azure Data Factory

De acordo com o anúncio da Microsoft, uma das novidades nesta atualização para o Azure Data Factory é o suporte para carregamento de dados do SAP HANA, SAP Business Warehouse (BW) e SFTP.

A atualização também traz melhorias na performance durante o carregamento direto de dados do Data Lake Store para o SQL Data Warehouse, suporte para movimentação de dados na primeira região no Reino Unido (UK South) e mais.

A Microsoft detalha todas as novidades trazidas por esta atualização aqui.