Data Engineer (airflow/astronomer, Dbt, Snowflake) - Remote Eligible

Data Engineer With Experience In Airflow, Dbt And Snowflake

Forma pracy: długoterminowo, fulltime, 100% zdalnie ⏰ Start: ASAP

Dla naszego klienta z USA poszukujemy Data Engineera z doświadczeniem z Airflow, dbt i Snowflake. Klient zajmuje się wsparciem firm w transformacjach chmurowych. Przekrój projektów i branż jest szeroki. Prace dotyczą działań w obszarach m.in. migracji, zbierania danych i optymalizacji rozwiązań. Klientowi zależy na długoterminowej współpracy. Obecnie poszukiwani są kolejni specjaliści do projektu z wykorzystaniem Snowflake. Projekt dotyczy branży prawniczej. Klient ma legacy systemy, które migrują do Snowflake. Dodatkowo klient boryka się z jakością danych i procesów w pipelines, dlatego chcialiby zająć się również automatyzacją procesów (np. czyszczenia danych) i dopracowaniem struktury danych. Przy projekcie działa mały zespół po stronie klienta + 2 osoby z ramienia Crodu. Praca w modelu z podziałem onshore-offshore. Dla klienta kluczowe jest bardzo dobra znajomość Airflow (Astronomer), Snowflake, dbt(w tym materializacji i modeli przyrostowych) oraz biegłość w SQL.

Głównym zadaniem będzie tworzenie i utrzymanienie pipeline'ów danych tak, aby dane były dobrze przetwarzane i uporządkowane (bronze/ silver/ gold). Klient nacisk na jakość danych, testowanie pipeline'ów i optymalizację kosztów chmurowych. Dodatkowo od kandydatów oczekiwana jest znajomość Python na poziomie umożliwiającym tworzenie prostych zadań ETL. Projekt prowadzony dla firmy z USA - zakładamy, że kilka dni w tygodniu będzie w dostępności w godzinach wieczornych (do godziny 20:00).

Codzienne zadania: Tworzenie i utrzymywanie workflowów i implementacja DAGs przy wykorzystaniu Airflow (Astronomer) na podstawie designów dostarczonych przez onshore architekta Budowanie modeli danych w dbt w podejściu bronze/silver/gold Optymalizacja pracy Snowflake (wydajność, koszty) Rozwiązywanie problemów w pipeline'ach oraz debugowanie problemów we współpracy z architektem (onshore - po stronie klienta) Utrzymywanie dokumentacji dla wszystkich DAGs, dbt models i warehouse objects

Minimum 3-4 lata doświadczenia w obszarach Data Engineering Doświadczenie w pracy z Airflow (Astronomer) - tworzenie i obsługa DAG-ów Biegłość w Snowflake (projektowanie schematów, korzystanie z warehouse'ów, optymalizacja zapytań) Bardzo dobra znajomość dbt (budowanie modeli danych, testowanie, dokumentacja) Bardzo dobra znajomość SQL (transformations) Znajomość Python na poziomie umożliwiającym tworzenie prostych zadań ETL Zrozumienie modelu bronze/ silver/ gold Znajomość Git/GitHub i CI/CD Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Certyfikacja dbt/ SnowPro/ Astronomer Znajomość narzędzi do monitoringu/observability (np. Datadog, Monte Carlo) Doświadczenie z innymi platformami typu data warehouse

Stawiamy na otwartą komunikację zarówno w procesie rekrutacji jak i po zatrudnieniu - zależy nam na klarowności informacji dotyczących procesu i zatrudnienia Do rekrutacji podchodzimy po ludzku, dlatego upraszczamy nasze procesy rekrutacyjne, żeby były możliwie jak najprostsze i przyjazne kandydatowi Pracujemy w imię zasady "remote first", więc praca zdalna to u nas norma, a wyjazdy służbowe ograniczamy do minimum Oferujemy prywatną opiekę medyczną (Medicover) oraz kartę Multisport dla kontraktorów