Estágio em Data Engineering
Job Description
Somos uma EdTech brasileira, desenvolvemos produtos e soluções educacionais para alunos instituições de ensino. Nosso principal produto é a Quero Bolsa, maior portal de educação do Brasil, marketplace que ajuda futuros alunos do Brasil inteiro a escolherem o curso ideal por um preço que possam pagar. Com a Quero, milhões de brasileiros podem comparar faculdades, cursos e escolas, fazer a matrícula e pagar o menor preço pelos seus estudos – tudo online, a qualquer hora.
O time de Data Engineering é responsável por desenvolver e manter plataformas de dados para todas as necessidades de análise da empresa, seja para estudos do dia a dia ou para modelos de Machine Learning. Ele também gerencia a criação e manutenção de Data Warehouses, Data Lakes e trabalha para otimizar dados para leitura. Além disso, o time conhece ferramentas de visualização de dados e streaming.
RESPONSABILIDADES
- Desenvolver, manter e otimizar pipelines de dados, garantindo integridade e disponibilidade das informações.
- Auxiliar na criação e manutenção de bancos de dados, data warehouses e data lakes.
- Implementar e monitorar fluxos de ETL (Extract, Transform, Load) para integrar dados de diferentes fontes.
- Colaborar com analistas de dados, cientistas de dados e outros stakeholders para entender as necessidades de dados e apoiar a criação de soluções eficazes.
- Participar da análise e resolução de problemas de desempenho em sistemas de dados.
- Documentar processos e fluxos de trabalho relacionados à engenharia de dados.
- Atualizar-se constantemente sobre novas ferramentas e técnicas na área de dados.
REQUISITOS
- Estar cursando ensino superior em Ciência da Computação, Engenharia de Computação, Sistemas de Informação ou áreas relacionadas.
- Experiência básica em linguagens de programação, como Python ou SQL.
- Conhecimento básico em bancos de dados relacionais (ex.: MySQL, PostgreSQL) e sistemas de armazenamento de dados.
- Experiência com ferramentas de versionamento de código (git, GitHub).
- Conhecimentos sobre orquestração de pipelines utilizando Apache Airflow.
- Disponibilidade para atuar no modelo 100% presencial, em São José dos Campos/SP.
DIFERENCIAL
- Familiaridade com ferramentas de ETL e frameworks de big data (ex.: Apache Spark, Hadoop).
- Experiência com ferramentas de cloud computing (ex.: AWS, Google Cloud, Azure).
- Conhecimento em metodologias ágeis (ex.: Scrum, Kanban).
- Certificações relevantes na área de dados.
- Conhecimento sobre infraestrutura como código (ex.: Terraform, Terragrunt).
- Familiaridade com Databricks.
- Familiaridade com containers e orquestração de containers (ex.: Docker, Kubernetes).