Cargo: Engenheiro de Dados Azure
Localização: Durham, NC (Híbrido – 3 dias presenciais)
Tipo de Contrato: Tempo Integral

Visão Geral:
Estamos em busca de um Engenheiro de Dados Azure experiente para integrar nossa equipe de engenharia de dados com base em Minneapolis, MN. Esta posição híbrida envolve colaboração com equipes multifuncionais para desenvolver pipelines de dados escaláveis e implementar soluções confiáveis baseadas em Azure. O candidato ideal terá experiência prática com Azure Data Factory, Databricks e Azure Data Lake, além de um sólido conhecimento na construção e otimização de pipelines de dados em tempo real e em lote.

Responsabilidades Principais:

– Desenvolver pipelines de dados em larga escala, tanto em lote quanto em tempo real, utilizando tecnologias Azure.
– Projetar e implementar processos de ingestão de dados de alto desempenho a partir de fontes estruturadas e não estruturadas, usando Azure Databricks.
– Liderar a criação de processos ETL, estratégias de integração e migração de dados.
– Construir frameworks escaláveis e reutilizáveis para ingestão, processamento e transformação de dados.
– Colaborar com arquitetos de dados, analistas, engenheiros e stakeholders de negócios para implementar plataformas de dados em nível corporativo.
– Garantir que os pipelines de dados, do início ao fim, sejam confiáveis, consistentes e de alta qualidade.
– Utilizar tecnologias baseadas em eventos e streaming para processamento de dados em tempo real.
– Dar suporte a componentes relacionados, como integrações via API e funcionalidades de busca.
– Avaliar ferramentas e plataformas para garantir que atendam aos requisitos de desempenho e de negócios.

Qualificações Necessárias:

– Proficiência em Azure Data Factory, Azure Databricks e Azure Data Lake Storage (ADLS)
– Experiência com Azure SQL Database e Azure Data Warehouse
– Sólido conhecimento prático em:
– Construção e otimização de soluções de dados na nuvem Azure
– Otimização de desempenho no Databricks
– SQL, T-SQL e/ou PL/SQL
– Familiaridade com:
– Contas de Armazenamento Azure
– Azure Data Catalog e Azure Data Analytics
– Logic Apps e Function Apps
– Compreensão de metodologias ágeis e ferramentas como JIRA
– Experiência desejável em gerenciamento de projetos de ingestão de dados de ponta a ponta dentro do ecossistema Azure

Conecte-se conosco no LinkedIn.