Data Engineer GCP ETL

  • Katowice
  • Pko Bank Polski
Na co dzień w naszym zespole: budujemy procesy zasilania operacyjnej składnicy danych, projektujemy i realizujemy rozwiązania informatyczne w obszarze zasilania danych, analizujemy dane oraz przygotowujemy dla nich modele logiczne i fizyczne, stroimy zapytania SQL na bazie relacyjnych i hurtowianych w on-prem i na Chmurze GCP, tworzymy przepływy off-linowe oraz strumieniowe danych, przygotowujemy datamarty tematyczne na bazach relacyjnych i kolumnowych, tworzymy koncepcje rozwiązań i implementacje rozwiązań w oparciu o wymagania i potrzeby biznesu, usuwamy incydenty i bierzemy udział w rozwiązywaniu problemów, wspieramy testy i wdrażania zmian w zakresie procesów zasilania danych, pomagamy przy serwisowaniu wdrożonego oprogramowania, tworzymy rozwiązania ładowania danych w Python, pracujemy zgodnie z modelem DevOps. To stanowisko może być Twoje, jeśli: posiadasz doświadczenia jako develeoper Data Enegineer: - w obszarze procesów integracji danych za pomocą narzędzi ETLowych (Informaitica Power Center), - w obszarze technologii GCP (Big Query, Pub-Sub, Google Cloud Anthos, Cloud Storage Buckets), - w programowaniu w języku Phyton (znajomość jednego z framework Phyton: Flask, Django), - w projektowaniu i tworzeniu relacyjnych baz danych (PostgresSQL, Oracle), pracujesz w środowisku chmurowym na Google Cloud Platform (Big Query, Cloud SQL, Kubernetes) znasz środowisko Linux (doświadczenie w pracy z terminalem, podstawowa znajomość skryptów powłoki bash), znasz narzędzie harmonogramujące: Apache Airflow, masz doświadczenie w pracy z dużymi wolumenami danych 100TB. Dodatkowym atutem będzie znajomość: Dash, Streamlit, SqlAlchemy, aplikacji uruchamianymi w kontenerach (Kubernetes, Anthos, Docker lub podobne), aplikacji do harmonogramowania zadań ScheduleIN, środowiska SAS, aplikacji do raportowania i budowania dashboardów np. Google Data Studio, SuperSet, narzędzi do monitorwania np. grafana, rozwiązań chmurowych wykorzystywanych w procesach ładowania danych np data flow, nifi. Dołączając do nas zyskujesz: pakiet benefitów, w tym prywatną opiekę medyczną, Pracowniczy Program Emerytalny, System Kafeteryjny MyBenefit, kartę Multisport, atrakcyjną ofertę produktów bankowych, w tym kredytu hipotecznego, dedykowany system szkoleń, możliwość zdobywania doświadczenia, poznania różnorodnej technologii, w największej instytucji finansowej w kraju, stabilizację zatrudnienia – umowę o pracę, dedykowany system premiowy. Lokalizacja: Warszawa (praca hybrydowa - wizyty w biurze raz w tygodniu)