Sobre o Desafio: Você será responsável por projetar, implementar e otimizar pipelines de dados de alta performance no ecossistema Google Cloud Platform (GCP) para um dos maiores centros de referência em saúde. Buscamos um profissional com perfil analítico e proativo, focado em construir soluções escaláveis, seguras e com excelente gestão de custos.
Principais Responsabilidades:
Projetar e implementar pipelines de ingestão, transformação e orquestração de dados na Google Cloud (batch e streaming).
Otimizar custos de armazenamento e processamento garantindo qualidade, confiabilidade e escalabilidade do Data Lake/Data Warehouse.
Desenvolver automações e orquestrações complexas para integração de dados de origens heterogêneas (Oracle, SQL Server, MySQL, S3).
Colaborar diretamente com cientistas e analistas de dados, fornecendo estruturas preparadas para consumo.
Requisitos Obrigatórios:
Experiência sólida na Google Cloud Platform (GCP), especialmente com BigQuery, Dataflow (Apache Beam) e Cloud Storage.
Domínio em SQL avançado e desenvolvimento em Python para automações e ETL.
Prática na integração e ingestão de dados em tempo real (Pub/Sub) e batch (Storage Transfer, templates JDBC).
Experiência com ferramentas de orquestração e transformação de dados, como Cloud Composer (Airflow), Dataform ou dbt.
Domínio de versionamento de código com Git e práticas de CI/CD.
Diferenciais que saltam aos olhos:
Conhecimento prévio em sistemas do segmento de saúde (PEP/EMR/EHR, RIS, LIS ou sistemas de agendamento/regulação).
Vivência com Dataproc (Spark/Hadoop) e bancos NoSQL (Bigtable / Firestore).
Prática em governança e catalogação de dados utilizando Dataplex ou Data Catalog.