Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
- Ocena:
- 6.0/6 1 opinii
- Wersja:
- Online
- Czas trwania:
- 04:48:53
- Technologia:
- Airflow 2.7, Python 3.10, PostgreSQL 14
+ gratis
Kupując ten produkt dodatkowo otrzymasz:
Potoki danych. Leksykon kieszonkowy. Przenoszenie i przetwarzanie danych na potrzeby ich analizy ( ebook )
Opis kursu video Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
Obierz kurs na... operowanie przepływami danych
Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.
Jako rozwiązanie typu open source Apache Airflow jest coraz częściej wymagany na stanowiskach typu data engineer czy data analysis. Nic w tym dziwnego, skoro automatyzacja to jeden z najważniejszych procesów dzisiejszego IT, a główną zaletą Airflow jest właśnie ułatwienie automatyzowania procesów. Podstawowym sposobem definiowania zadań są tu acykliczne grafy skierowane (DAG), które określają relacje między operatorami, porządek i zależności. Airflow DAG może zawierać wiele gałęzi i to Ty będziesz decydować, które z nich mają być przestrzegane, a które będą pomijalne w trakcie wykonywania przepływu pracy.
Nasz kurs obejmuje podstawowe tematy powiązane z orkiestracją zadań poprzez Apache Airflow. W jego trakcie dowiesz się, jak stworzyć w pełni proces za pomocą Airflow: skonfigurować zmienne globalne i połączenia, stworzyć DAG i jego scheduler czy konfigurację. Poznasz też najważniejsze elementy Airflow, takie jak Operator czy Sensor.
Co Cię czeka podczas naszego profesjonalnego szkolenia
W trakcie kursu między innymi:
- Zobaczysz, jak poprawnie skonfigurować środowisko pracy
- Dowiesz się, czym jest DAG i na czym polega orkiestracja zadań
- Stworzysz operatory typu Bash, Empty, Python, SimpleHTTP i PostgreSQL
- Ustawisz scheduler i operację catch, a także domyślne argumenty DAG-a
- Skonfigurujesz sensory
- Uruchomisz polecenia SQL na bazie danych PostgreSQL
- Skonfigurujesz zmienne webservera za pomocą obiektów Param, Variable, Config
- Skorzystasz z szablonów Jinja do przekazywania parametrów
- Będziesz zarządzać zadaniami za pomocą grupowania, branchowania i tworzenia triggerów
Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci samodzielnie przygotować proste orkiestratory zadań oparte na języku SQL i Python. Dodatkowo będziesz w stanie zabezpieczyć procesy za pomocą sensorów i wprowadzić zmienne globalne czy konfiguracje za pomocą obiektów webservera.
Na zdobycie szczytu zawsze składa się postawienie tysięcy małych kroków. Aby zrozumieć rzeczy skomplikowane i złożone, należy najpierw przyswoić wiedzę w podstawowym zakresie. Materiał zawarty w powyższym kursie jest pierwszym krokiem dla osób, które widzą swoją przyszłość w branży IT.
Wybrane bestsellery
-
Programowanie wieloma językami stoi. Jednym z nich, może jeszcze nie najbardziej znanym, ale zdecydowanie coraz popularniejszym, jest Rust. Słynący z wydajności, bezpieczeństwa i przejrzystości, należy do języków chętnie wybieranych przez nowoczesnych programistów. Szczególnie dobrze sprawdza się podczas projektowania aplikacji sieciowych, gier, sy
(39,90 zł najniższa cena z 30 dni)
96.85 zł
149.00 zł (-35%) -
Oprogramowanie Apache Kafka powstało jako broker wiadomości w LinkedIn. Obecnie pełni funkcję rozproszonego systemu przetwarzania strumieniowego danych, używanego do budowania aplikacji opracowujących duże ilości danych w czasie rzeczywistym. Z zalet tego oprogramowania korzystają firmy na całym świecie – jest kluczowym narzędziem w takich sektorac
(39,90 zł najniższa cena z 30 dni)
57.85 zł
89.00 zł (-35%) -
Wraz z rozwojem sztucznej inteligencji i modeli językowych – a niewątpliwie żyjemy w czasach eksplozji AI – rośnie znaczenie osób będących w stanie w praktyce sięgać po zasoby, jakie oferuje nam ta nowoczesna technologia. Okazuje się, że pośród rozmaitych innych umiejętności potrafi ona także programować i analizować dane, przenika również na obsza
(39,90 zł najniższa cena z 30 dni)
84.50 zł
169.00 zł (-50%) -
Właściwe wymagania to nie tylko kwestia ich dokumentacji, ale też przede wszystkim kwestia odpowiedniego ich pozyskania i walidacji. Dobrej jakości wymagania zmniejszają ryzyko produktowe i projektowe, pozwalają tworzyć systemy, które realnie spełniają potrzeby interesariuszy i umożliwiają im osiągnięcie pożądanych celów. Każda osoba zaangażowana w
(39,90 zł najniższa cena z 30 dni)
109.85 zł
169.00 zł (-35%) -
W 2022 roku około 10% architektury IT było zarządzane za pomocą chmur obliczeniowych. Prognozuje się, że ten trend będzie rósł i do 2027 roku rzeczony odsetek wzrośnie do 35%. Bez wątpienia wiąże się to z faktem, że świat IT ewoluuje niezwykle szybko, a współczesne aplikacje stają się coraz bardziej złożone – bez zaangażowania chmury nie byłoby moż
(39,90 zł najniższa cena z 30 dni)
116.35 zł
179.00 zł (-35%) -
Jednym z obszarów, w które AI wkracza coraz śmielej, jest programowanie. Tam, gdzie pracuje się z liczbami, kodem i algorytmami, pomoc sztucznej inteligencji okazuje się nieoceniona. Jak ją zaprosić do współpracy? Tego dowiesz się z naszego kursu. Jego tematyka obejmuje bowiem programowanie z wykorzystaniem takich narzędzi jak ChatGPT czy GitHub Co
(39,90 zł najniższa cena z 30 dni)
84.50 zł
169.00 zł (-50%) -
ChatGPT. Kurs video. OpenAI i sztuczna inteligencja w praktyce to przewodnik po sposobach działania AI, który oprowadzi Cię po topowych wtyczkach i narzędziach i podpowie, jak budować prompty od podstaw. Taktyka opracowywania promptów i zrozumienie kontekstowości ChatGPT umożliwią Ci efektywne pozyskiwanie oczekiwanych informacji. Otrzymasz praktyc
(39,90 zł najniższa cena z 30 dni)
69.50 zł
139.00 zł (-50%) -
W drugiej, bardziej zaawansowanej części szkolenia dominują dwa tematy dotyczące tworzenia zapytań: grupowanie danych i łączenie tabel. To zagadnienia trochę trudniejsze do zrozumienia i opanowania, nie martw się jednak - autor kursu przeprowadzi Cię przez nie tak przystępnie, jak to tylko możliwe. Oczywiście skupi się na praktyce. Omawiania i ćwic
(39,90 zł najniższa cena z 30 dni)
116.35 zł
179.00 zł (-35%) -
Internet stał się naszą drugą, nie tyle alternatywną, ile raczej równoległą, rzeczywistością. W wielu sytuacjach jest rzeczywistością pierwszą - korzystamy z niego, gdy chcemy zdobyć jakieś informacje, dla rozrywki, do komunikacji i wykonywania praktycznych czynności, jak płatności, praca, nauka itd. Działając w sieci, dzielimy się z nią równocześn
(39,90 zł najniższa cena z 30 dni)
99.49 zł
199.00 zł (-50%) -
Dzisiejszą gospodarką rządzi informacja. Kto potrafi ją wyłuskać z zalewu danych, ten zyskuje konkurencyjną przewagę. Świadomi tego twórcy oprogramowania komputerowego stworzyli szereg narzędzi służących wyszukiwaniu informacji, ich przetwarzaniu, analizowaniu i prezentowaniu w sposób dostępny dla odbiorców. Jednym z nich jest Elasticsearch – techn
(39,90 zł najniższa cena z 30 dni)
124.50 zł
249.00 zł (-50%)
O autorze kursu video
Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.
Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.
Konfucjusz
Piotr Chudzik - pozostałe kursy
-
Konteneryzacja jest alternatywą dla wirtualizacji. W pracy z nowo wdrażanymi, testowanymi czy usprawnianymi aplikacjami pozwala ograniczyć wykorzystanie zasobów i uruchamiać niezależnie wiele aplikacji na jednej maszynie. Kontenery są od siebie całkowicie odizolowane, nic o sobie nawzajem nie „wiedzą”, każdy zawiera własne środowisko. I właśnie ze
(39,90 zł najniższa cena z 30 dni)
81.95 zł
149.00 zł (-45%) -
Platforma Docker znacznie ułatwiła życie programistom. Dzięki niej zarówno program, jak i jego zależności, takie jak biblioteki, pliki konfiguracyjne czy lokalne bazy danych, można umieścić w lekkim, przenośnym wirtualnym kontenerze, uruchamialnym na praktycznie każdym serwerze z systemem pracującym na jądrze Linux. Nic więc dziwnego, że Docker sta
(39,90 zł najniższa cena z 30 dni)
70.95 zł
129.00 zł (-45%) -
Powiedzieć, że Python jest jednym z najpopularniejszych języków programowania, to nic nie powiedzieć. Doceniają go i od lat wybierają developerzy na całym świecie. Oni go także rozwijają. Ten język programowania wysokiego poziomu jest bowiem dostępny jako projekt typu open source, z błogosławieństwem Python Software Foundation, by udoskonalać Pytho
(39,90 zł najniższa cena z 30 dni)
129.35 zł
199.00 zł (-35%) -
Statycznie typowany język programowania Scala charakteryzuje się między innymi tym, że wspiera zarówno programowanie funkcyjne, jak i obiektowe. Co więcej, Scala jest językiem wieloplatformowym – działa na maszynie wirtualnej Javy i platformie .NET. W najnowszej wersji (3) składnia Scali mocno zbliża się do składni Pythona i równocześnie dzieli bib
(39,90 zł najniższa cena z 30 dni)
70.95 zł
129.00 zł (-45%) -
Jeśli jesteś programistą, na przykład pracujesz jako specjalista w dziedzinie DevOps i do Twoich zadań należy między innymi utrzymanie środowiska produkcyjnego – także z użyciem rozwiązań chmurowych – nazwa Kubernetes z pewnością nie jest Ci obca. Przypomnijmy jednak dla porządku: zyskujący popularność na całym świecie Kubernetes (zwany także K8s)
(39,90 zł najniższa cena z 30 dni)
70.95 zł
129.00 zł (-45%) -
Czy znane są Ci nazwy Apache Spark i PySpark? Jeśli pracujesz z danymi i do tej pory nie poznałeś tej technologii, najwyższy czas to nadrobić – na przykład w trakcie proponowanego przez nas szkolenia wideo. Apache Spark to otwarta platforma programistyczna służąca do obliczeń rozproszonych. Opracowana i rozwijana początkowo na Uniwersytecie Kalifor
(39,90 zł najniższa cena z 30 dni)
67.05 zł
149.00 zł (-55%) -
Kurs video, który dziś proponujemy, skupia się na kwestii podatności Pythona na automatyzację. Pokażemy, jak zaoszczędzić czas dzięki efektywnemu programowaniu z wykorzystaniem najlepszych technik. Dobrze, by słuchacz przed przystąpieniem do szkolenia posiadał już pewną znajomość Pythona w zakresie podstawowych typów danych, zmiennych, pętli, instr
(39,90 zł najniższa cena z 30 dni)
81.95 zł
149.00 zł (-45%) -
Na szczęście Docker należy do tych technologii, w które łatwo się wdrożyć. Zresztą istnieje sporo szkoleń, kursów i książek dla początkujących użytkowników tego oprogramowania. Gorzej z opracowaniami na temat zaawansowanej obsługi Dockera. Tymczasem oferuje on wiele narzędzi i sztuczek, których znajomość pozwala przyspieszyć i ułatwić realizację za
(39,90 zł najniższa cena z 30 dni)
70.95 zł
129.00 zł (-45%) -
Kto się decyduje na karierę programisty, musi wybrać swój „ulubiony” język. Ten, w którym będzie się specjalizować, doskonalić, pracować. Oczywiście nie musi to być jeden jedyny język. Chodzi po prostu o język pierwszego wyboru, w którego zakresie będzie się ekspertem. Wielu programistów wybiera do tej roli Javę, czyniąc ją tym samym jednym z najpo
(39,90 zł najniższa cena z 30 dni)
92.95 zł
169.00 zł (-45%) -
Umiejętność zarządzania bazami danych z roku na rok jest coraz bardziej ceniona. Nic w tym dziwnego - ilość danych, jakimi dysponujemy, a które musimy gdzieś przechowywać, sortować, zestawiać ze sobą i z których chcemy wyciągać ważne dla siebie informacje, stale rośnie. Stąd firmy szczególnie wypatrują specjalistów, którzy potrafią to robić - poszu
(39,90 zł najniższa cena z 30 dni)
59.95 zł
109.00 zł (-45%)
Spis lekcji (odkodowane lekcje)
Kurs Video "Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych" zobaczysz:
-
w aplikacjach Ebookpoint i Videopoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych z dostępem do najnowszej wersji Twojej przeglądarki internetowej
Szczegóły kursu
- Ilość lekcji:
- 35
- Czas trwania:
- 4 godz. 48 min.
- Format:
- Online
- Rok nagrania:
- 2023-10-19
- ISBN :
- 978-83-289-0400-2, 9788328904002
- Data wydania :
- 2023-10-19
- Numer z katalogu:
- 214832
- Do kursu dołączone są materiały dodatkowe, znajdziesz je w Twojej Bibliotece
- Kategorie:
Big Data
Programowanie » Inne
Narzędzia programistyczne
- Kategoria wiekowa: 15+
Videopoint - inne kursy
-
Czy znasz Angulara? Warto się z nim bliżej zaznajomić, ponieważ należy do najważniejszych frameworków służących do budowania interfejsów użytkownika w aplikacjach internetowych. Stworzony i wspierany przez Google, ma niezwykle spójny ekosystem i oferuje pełny zestaw narzędzi do tworzenia skalowalnych i kompleksowych aplikacji. Co istotne, tworząc z
(39,90 zł najniższa cena z 30 dni)
77.35 zł
119.00 zł (-35%) -
Proponowany przez nas kurs video jest poświęcony grupie produktów typu open source, występujących pod wspólną nazwą Elastic Stack. Składają się na nią Elasticsearch, Kibana, Beats i – dla bardziej zaawansowanych – Logstash. Razem stanowią one zestaw narzędzi służących analizie i wizualizacji danych. Celem jest tu przede wszystkim monitorowanie poja
(39,59 zł najniższa cena z 30 dni)
64.35 zł
99.00 zł (-35%) -
Czas na negocjacje! Są ludzie stworzeni do tego, by dyskutować o biznesowej współpracy, przygotowywać warunki kontraktów, dopinać większe lub mniejsze transakcje i rozbrajać bomby pretensji, jeśli na którymś etapie procesu coś się nie uda. Są, i chwała im za to. Wielu osobom jednak już na samą myśl o tym, że miałyby cokolwiek z kimkolwiek negocjowa
(35,55 zł najniższa cena z 30 dni)
31.60 zł
79.00 zł (-60%) -
Sztuczna inteligencja, ChatGPT, sieci neuronowe, uczenie maszynowe, uczenie głębokie... Oto hasła, które elektryzują nie tylko branżę informatyczną na całym świecie. Wraz z rozwojem tej dziedziny wiedzy i w rytmie prezentowania kolejnych narzędzi rosną nadzieje na praktyczne, naukowe i biznesowe zastosowanie drzemiących w niej możliwości. Okazuje s
(39,90 zł najniższa cena z 30 dni)
64.50 zł
129.00 zł (-50%) -
Power Apps to platforma stworzona przez Microsoft, umożliwiająca łatwe projektowanie, tworzenie i dostosowywanie aplikacji bez konieczności posiadania głębokiej wiedzy programistycznej. Z użyciem Power Apps można budować niestandardowe aplikacje, które efektywnie wspierają i automatyzują różne procesy w organizacji. Co ciekawe, do tego, by to robić
(39,90 zł najniższa cena z 30 dni)
129.35 zł
199.00 zł (-35%) -
W dzisiejszej praktyce biznesowej duże znaczenie mają dane i ich analiza. W analizie zastosowanie znajduje wiele modeli statystycznych, implementowanych w różnych programach komputerowych. Na przykład Excel ma specjalny dodatek, nazwany po prostu Analiza Danych. Bardzo popularne narzędzie stanowi program R, którego zaletą jest łatwe tworzenie dashb
(39,90 zł najniższa cena z 30 dni)
74.50 zł
149.00 zł (-50%) -
Według greckiej mitologii Prometeusz był tytanem, twórcą ludzkości – ulepił człowieka z gliny i łez, a następnie wyposażył go w ogień w celu ochrony. Jego imię zapożyczyli dla swojego projektu twórcy darmowej aplikacji służącej do monitorowania systemów i wykrywania ich nieprawidłowości. Przygotowując ją, trafili w dziesiątkę: stopień skomplikowani
(39,90 zł najniższa cena z 30 dni)
103.34 zł
159.00 zł (-35%) -
Czy znany Ci jest termin pentesting? Jeśli nie, oto jego krótka definicja: pentestingiem nazywamy proces badawczy mający na celu identyfikację słabych punktów w systemach komputerowych, sieciach i aplikacjach. W ostatnim czasie zapotrzebowanie na specjalistów od pentestingu i etycznego hakingu, pozwalającego używać technik hakerów do przetestowania
(39,90 zł najniższa cena z 30 dni)
109.85 zł
169.00 zł (-35%) -
Czy zastanawiasz się czasem nad tym, jak to możliwe, że jesteśmy w stanie „rozmawiać” z maszynami? Że coś mówimy, a one nas rozumieją i odpowiadają na nasze pytania, realizują polecenia, wykonują zadania? I na odwrót – to one mówią (i piszą) do nas słowami, które są dla nas jasne? Przetwarzaniem języka naturalnego (ang. natural language processing,
(39,90 zł najniższa cena z 30 dni)
74.50 zł
149.00 zł (-50%) -
Zapewne obiła Ci się o uszy nazwa Windows Presentation Foundation, w skrócie WPF. Dla przypomnienia: kryje się pod nią silnik graficzny i API, bazujący na .NET, wchodzący w skład .NET Framework. Do zadań WPF należy integracja interfejsu użytkownika, grafiki 2D i 3D, multimediów, dokumentów, a także generowanie/rozpoznawanie mowy. Z funkcjonującymi
(39,90 zł najniższa cena z 30 dni)
81.95 zł
149.00 zł (-45%)
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas:
Kurs video
Oceny i opinie klientów: Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych Piotr Chudzik (1) Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.
(1)
(0)
(0)
(0)
(0)
(0)