Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
- Ocena:
- 6.0/6 2 opinii
- Wersja:
- Online
- Czas trwania:
- 04:48:53
- Technologia:
- Airflow 2.7, Python 3.10, PostgreSQL 14
+ gratis
Kupując ten produkt dodatkowo otrzymasz:
Potoki danych. Leksykon kieszonkowy. Przenoszenie i przetwarzanie danych na potrzeby ich analizy ( ebook )
Opis kursu video Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
Obierz kurs na... operowanie przepływami danych
Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.
Jako rozwiązanie typu open source Apache Airflow jest coraz częściej wymagany na stanowiskach typu data engineer czy data analysis. Nic w tym dziwnego, skoro automatyzacja to jeden z najważniejszych procesów dzisiejszego IT, a główną zaletą Airflow jest właśnie ułatwienie automatyzowania procesów. Podstawowym sposobem definiowania zadań są tu acykliczne grafy skierowane (DAG), które określają relacje między operatorami, porządek i zależności. Airflow DAG może zawierać wiele gałęzi i to Ty będziesz decydować, które z nich mają być przestrzegane, a które będą pomijalne w trakcie wykonywania przepływu pracy.
Nasz kurs obejmuje podstawowe tematy powiązane z orkiestracją zadań poprzez Apache Airflow. W jego trakcie dowiesz się, jak stworzyć w pełni proces za pomocą Airflow: skonfigurować zmienne globalne i połączenia, stworzyć DAG i jego scheduler czy konfigurację. Poznasz też najważniejsze elementy Airflow, takie jak Operator czy Sensor.
Co Cię czeka podczas naszego profesjonalnego szkolenia
W trakcie kursu między innymi:
- Zobaczysz, jak poprawnie skonfigurować środowisko pracy
- Dowiesz się, czym jest DAG i na czym polega orkiestracja zadań
- Stworzysz operatory typu Bash, Empty, Python, SimpleHTTP i PostgreSQL
- Ustawisz scheduler i operację catch, a także domyślne argumenty DAG-a
- Skonfigurujesz sensory
- Uruchomisz polecenia SQL na bazie danych PostgreSQL
- Skonfigurujesz zmienne webservera za pomocą obiektów Param, Variable, Config
- Skorzystasz z szablonów Jinja do przekazywania parametrów
- Będziesz zarządzać zadaniami za pomocą grupowania, branchowania i tworzenia triggerów
Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci samodzielnie przygotować proste orkiestratory zadań oparte na języku SQL i Python. Dodatkowo będziesz w stanie zabezpieczyć procesy za pomocą sensorów i wprowadzić zmienne globalne czy konfiguracje za pomocą obiektów webservera.
Na zdobycie szczytu zawsze składa się postawienie tysięcy małych kroków. Aby zrozumieć rzeczy skomplikowane i złożone, należy najpierw przyswoić wiedzę w podstawowym zakresie. Materiał zawarty w powyższym kursie jest pierwszym krokiem dla osób, które widzą swoją przyszłość w branży IT.
Wybrane bestsellery
-
Bestseller Promocja
Apache Spark to narzędzie do przetwarzania danych w trybie rozproszonym, które umożliwia budowanie zaawansowanych systemów operacji na złożonych zbiorach danych. Przetwarzanie rozproszone poprzez wykorzystanie wielu maszyn jednocześnie znacząco przyspiesza operacje na dużych ilościach danych. Spark jest niezwykle popularny, stosowany w licznych pro(59,59 zł najniższa cena z 30 dni)
96.85 zł
149.00 zł (-35%) -
Bestseller Promocja
Angielski dla specjalistów IT. Kurs video. Komunikacja w codziennej pracy bazuje na praktycznych przykładach ściśle powiązanych z tematyką programistyczną, dzięki czemu zobaczysz jasno i wyraźnie, jak wprowadzać w życie dane zagadnienia — w mowie i piśmie. Dlaczego warto to zrobić? Choćby po to, by porozumieć się z zagranicznym klientem. Albo po to(39,90 zł najniższa cena z 30 dni)
58.04 zł
129.00 zł (-55%) -
Bestseller Nowość Promocja
Sztuczna inteligencja i uczenie maszynowe odgrywają istotną rolę w rozwoju nowoczesnych aplikacji mobilnych. Dzięki tym technologiom aplikacje są bardziej interaktywne i lepiej dostosowane do potrzeb użytkowników, co przekłada się na ich atrakcyjność i sukces rynkowy. Technologie AI w świecie programowania mobilnego to nie tylko interesujące nowink(59,15 zł najniższa cena z 30 dni)
118.30 zł
169.00 zł (-30%) -
Nowość Promocja
Obierz kurs na tworzenie gier platformowych! Gdy mowa o programowaniu gier, na myśl przychodzą dwa potężne silniki: Unity i Unreal Engine. Tymczasem chcemy Ci przedstawić silnik również będący w czołówce pod względem popularności – GameMaker Studio! To idealne rozwiązanie dla początkujących, oferujące intuicyjną obsługę IDE i szeroką paletę funkcji(103,34 zł najniższa cena z 30 dni)
103.34 zł
159.00 zł (-35%) -
Promocja
Mówi się, że Scrum Master to lider służebny. Nazwa ta wynika wprost z koncepcji zarządzania, w której lider wspomaga swój zespół, zamiast nad nim dominować. To osoba, która usuwa przeszkody i pomaga zespołowi w stosowaniu zasad Scruma. Scrum to metoda zarządzania projektami, zgodna z manifestem Agile. Opiera się na sprintach – cyklach, podczas któr(52,15 zł najniższa cena z 30 dni)
96.85 zł
149.00 zł (-35%) -
Promocja
Kiedy myślimy o takich aplikacjach jak Maya, VirtualBox, Telegram, Spotify, Dropbox czy Google Earth, być może nie od razu znajdujemy wspólny mianownik. A jest nim framework Qt, używany przez wszystkie te znane marki. Qt powstał z myślą o programowaniu interfejsów graficznych GUI, a ze względu na wydajność, stabilność i unikatowy model programowani(96,85 zł najniższa cena z 30 dni)
96.85 zł
149.00 zł (-35%) -
Promocja
Dzisiejszą gospodarką rządzi informacja. Kto potrafi ją wyłuskać z zalewu danych, ten zyskuje konkurencyjną przewagę. Świadomi tego twórcy oprogramowania komputerowego stworzyli szereg narzędzi służących wyszukiwaniu informacji, ich przetwarzaniu, analizowaniu i prezentowaniu w sposób dostępny dla odbiorców. Jednym z nich jest Elasticsearch – techn(87,15 zł najniższa cena z 30 dni)
136.95 zł
249.00 zł (-45%) -
Promocja
Programowanie wieloma językami stoi. Jednym z nich, może jeszcze nie najbardziej znanym, ale zdecydowanie coraz popularniejszym, jest Rust. Słynący z wydajności, bezpieczeństwa i przejrzystości, należy do języków chętnie wybieranych przez nowoczesnych programistów. Szczególnie dobrze sprawdza się podczas projektowania aplikacji sieciowych, gier, sy(74,50 zł najniższa cena z 30 dni)
81.95 zł
149.00 zł (-45%) -
Bestseller Promocja
Oprogramowanie Apache Kafka powstało jako broker wiadomości w LinkedIn. Obecnie pełni funkcję rozproszonego systemu przetwarzania strumieniowego danych, używanego do budowania aplikacji opracowujących duże ilości danych w czasie rzeczywistym. Z zalet tego oprogramowania korzystają firmy na całym świecie – jest kluczowym narzędziem w takich sektorac(44,50 zł najniższa cena z 30 dni)
48.95 zł
89.00 zł (-45%) -
Bestseller Promocja
Wraz z rozwojem sztucznej inteligencji i modeli językowych – a niewątpliwie żyjemy w czasach eksplozji AI – rośnie znaczenie osób będących w stanie w praktyce sięgać po zasoby, jakie oferuje nam ta nowoczesna technologia. Okazuje się, że pośród rozmaitych innych umiejętności potrafi ona także programować i analizować dane, przenika również na obsza(67,60 zł najniższa cena z 30 dni)
92.95 zł
169.00 zł (-45%)
O autorze kursu video
Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.
Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.
Konfucjusz
Piotr Chudzik - pozostałe kursy
-
Bestseller Promocja
Powiedzieć, że Python jest jednym z najpopularniejszych języków programowania, to nic nie powiedzieć. Doceniają go i od lat wybierają developerzy na całym świecie. Oni go także rozwijają. Ten język programowania wysokiego poziomu jest bowiem dostępny jako projekt typu open source, z błogosławieństwem Python Software Foundation, by udoskonalać Pytho(69,65 zł najniższa cena z 30 dni)
99.49 zł
199.00 zł (-50%) -
Promocja
Konteneryzacja jest alternatywą dla wirtualizacji. W pracy z nowo wdrażanymi, testowanymi czy usprawnianymi aplikacjami pozwala ograniczyć wykorzystanie zasobów i uruchamiać niezależnie wiele aplikacji na jednej maszynie. Kontenery są od siebie całkowicie odizolowane, nic o sobie nawzajem nie „wiedzą”, każdy zawiera własne środowisko. I właśnie ze(67,05 zł najniższa cena z 30 dni)
52.15 zł
149.00 zł (-65%) -
Bestseller Promocja
Platforma Docker znacznie ułatwiła życie programistom. Dzięki niej zarówno program, jak i jego zależności, takie jak biblioteki, pliki konfiguracyjne czy lokalne bazy danych, można umieścić w lekkim, przenośnym wirtualnym kontenerze, uruchamialnym na praktycznie każdym serwerze z systemem pracującym na jądrze Linux. Nic więc dziwnego, że Docker sta(58,04 zł najniższa cena z 30 dni)
45.15 zł
129.00 zł (-65%) -
Bestseller Promocja
Czy znane są Ci nazwy Apache Spark i PySpark? Jeśli pracujesz z danymi i do tej pory nie poznałeś tej technologii, najwyższy czas to nadrobić – na przykład w trakcie proponowanego przez nas szkolenia wideo. Apache Spark to otwarta platforma programistyczna służąca do obliczeń rozproszonych. Opracowana i rozwijana początkowo na Uniwersytecie Kalifor(52,15 zł najniższa cena z 30 dni)
81.95 zł
149.00 zł (-45%) -
Nowość Promocja
Mianem Linuksa określamy całą rodzinę systemów operacyjnych, które bazują na jądrze Linux. Jest to oprogramowanie wolne i otwarte, jego kod może być dowolnie wykorzystywany i rozpowszechniany oraz przebudowywany w zależności od potrzeb. Odkąd w 2017 roku oparto na nim najpopularniejszy system mobilny Android, Linux jest najbardziej rozpowszechniony(90,29 zł najniższa cena z 30 dni)
90.29 zł
129.00 zł (-30%) -
Promocja
Statycznie typowany język programowania Scala charakteryzuje się między innymi tym, że wspiera zarówno programowanie funkcyjne, jak i obiektowe. Co więcej, Scala jest językiem wieloplatformowym – działa na maszynie wirtualnej Javy i platformie .NET. W najnowszej wersji (3) składnia Scali mocno zbliża się do składni Pythona i równocześnie dzieli bib(64,50 zł najniższa cena z 30 dni)
70.95 zł
129.00 zł (-45%) -
Promocja
Jeśli jesteś programistą, na przykład pracujesz jako specjalista w dziedzinie DevOps i do Twoich zadań należy między innymi utrzymanie środowiska produkcyjnego – także z użyciem rozwiązań chmurowych – nazwa Kubernetes z pewnością nie jest Ci obca. Przypomnijmy jednak dla porządku: zyskujący popularność na całym świecie Kubernetes (zwany także K8s)(64,50 zł najniższa cena z 30 dni)
45.15 zł
129.00 zł (-65%) -
Promocja
Kurs video, który dziś proponujemy, skupia się na kwestii podatności Pythona na automatyzację. Pokażemy, jak zaoszczędzić czas dzięki efektywnemu programowaniu z wykorzystaniem najlepszych technik. Dobrze, by słuchacz przed przystąpieniem do szkolenia posiadał już pewną znajomość Pythona w zakresie podstawowych typów danych, zmiennych, pętli, instr(52,15 zł najniższa cena z 30 dni)
74.50 zł
149.00 zł (-50%) -
Promocja
Na szczęście Docker należy do tych technologii, w które łatwo się wdrożyć. Zresztą istnieje sporo szkoleń, kursów i książek dla początkujących użytkowników tego oprogramowania. Gorzej z opracowaniami na temat zaawansowanej obsługi Dockera. Tymczasem oferuje on wiele narzędzi i sztuczek, których znajomość pozwala przyspieszyć i ułatwić realizację za(58,04 zł najniższa cena z 30 dni)
45.15 zł
129.00 zł (-65%) -
Promocja
Kto się decyduje na karierę programisty, musi wybrać swój „ulubiony” język. Ten, w którym będzie się specjalizować, doskonalić, pracować. Oczywiście nie musi to być jeden jedyny język. Chodzi po prostu o język pierwszego wyboru, w którego zakresie będzie się ekspertem. Wielu programistów wybiera do tej roli Javę, czyniąc ją tym samym jednym z najpo(76,05 zł najniższa cena z 30 dni)
84.50 zł
169.00 zł (-50%)
Spis lekcji (odkodowane lekcje)
Kurs Video "Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych" zobaczysz:
-
w aplikacjach Ebookpoint i Videopoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych z dostępem do najnowszej wersji Twojej przeglądarki internetowej
Szczegóły kursu
- Ilość lekcji:
- 35
- Czas trwania:
- 4 godz. 48 min.
- Format:
- Online
- Data aktualizacji:
- 2023-10-19
- ISBN :
- 978-83-289-0400-2, 9788328904002
- Numer z katalogu:
- 214832
- Do kursu dołączone są materiały dodatkowe, znajdziesz je w Twojej Bibliotece
- Kategorie:
Big Data
Programowanie » Inne
Narzędzia programistyczne
- Kategoria wiekowa: 15+
Videopoint - inne kursy
-
Bestseller Nowość Promocja
Przetwarzanie obrazów to dynamicznie rozwijająca się dziedzina, która znajduje zastosowanie w licznych branżach, takich jak medycyna, motoryzacja, przemysł rozrywkowy, bezpieczeństwo, rolnictwo czy marketing. Umożliwia automatyczne rozpoznawanie obiektów, analizę obrazów medycznych i tworzenie interaktywnych aplikacji korzystających ze sztucznej in(34,65 zł najniższa cena z 30 dni)
69.30 zł
99.00 zł (-30%) -
Bestseller Nowość Promocja
Wśród zyskujących popularność nurtów, które obserwujemy w świecie IT, wyróżnia się wirtualizacja. Drugim odmienianym przez wszystkie przypadki trendem jest konteneryzacja. Stąd rosnąca popularność platformy Proxmox, której można używać do dwóch celów – właśnie do konteneryzacji i do wirtualizacji. Realizacja tych dwóch procesów w ramach jednego opr(38,15 zł najniższa cena z 30 dni)
70.85 zł
109.00 zł (-35%) -
Bestseller Nowość Promocja
Flask jest jednym z mikroframeworków napisanych w języku Python. Przedrostek „mikro-” oznacza tyle, że framework ten nie wymaga określonych narzędzi ani bibliotek. Bazuje na użytkowych rozszerzeniach i należy do najpopularniejszych tego typu platform Pythona. Wiele firm programistycznych i samodzielnych deweloperów używa go do tworzenia nowoczesnyc(48,65 zł najniższa cena z 30 dni)
97.29 zł
139.00 zł (-30%) -
Bestseller Nowość Promocja
Obierz kurs na... PowerShell dla administratorów Windows PowerShell już w samej nazwie zawiera swoją charakterystykę. "Power" odnosi się do zaawansowanej mocy i funkcjonalności tego narzędzia, a "Shell" do potężnego środowiska skryptowego i wiersza poleceń (ang. command shell). Jej znaczenie absolutnie nie jest mrzonką - PowerShell to cenione na ca(109,85 zł najniższa cena z 30 dni)
118.30 zł
169.00 zł (-30%) -
Bestseller Nowość Promocja
Obierz kurs na... sprawniejsze projektowanie interfejsów Jeśli - komercyjnie lub na razie tylko amatorsko - tworzysz strony internetowe i aplikacje mobilne, z pewnością nazwa Figma nie jest Ci obca. W końcu to chmurowe narzędzie jest uznawane, obok na przykład AdobeXD, za jedno z najnowocześniejszych przeznaczonych do tego oprogramowań. Korzystają(96,85 zł najniższa cena z 30 dni)
96.85 zł
149.00 zł (-35%) -
Bestseller Promocja
Windows Server 2022 to sieciowy system operacyjny stworzony przez Microsoft. Został zaprojektowany z myślą o obsłudze dużych sieci komputerowych i infrastruktur IT. Jego popularność ciągle rośnie, szczególnie w zastosowaniach sieciowych jako serwery lokalne i serwery usług, takich jak WWW, FTP, chmura, DHCP, DNS, VPN, Print Server czy Hyper-V. Jest(96,85 zł najniższa cena z 30 dni)
96.85 zł
149.00 zł (-35%) -
Bestseller Promocja
Automatyzacja pozwala na zwiększenie efektywności poprzez eliminację rutynowych zadań. Wiedząc o tym, firmy chętnie wdrażają automatyzację. Te, które jeszcze tego nie robią, tracą czas i pieniądze. Raporty nie pozostawiają złudzeń: według McKinsey & Company 57% firm już korzysta z automatyzacji AI, a do 2025 roku liczba ta ma wzrosnąć do 85%. Dzięk(55,65 zł najniższa cena z 30 dni)
103.34 zł
159.00 zł (-35%) -
Bestseller Promocja
W dynamicznie zmieniającym się świecie biznesu automatyzacja procesów staje się kluczowym elementem sukcesu każdej organizacji. Technologia RPA (ang. robotic process automation) w połączeniu z zarządzaniem projektami i inżynierią oprogramowania tworzy nowy standard w zarządzaniu zasobami i operacjami firmowymi. I tu wkracza Microsoft Power Automate(39,90 zł najniższa cena z 30 dni)
70.85 zł
109.00 zł (-35%) -
Bestseller Promocja
Sztuczna inteligencja przyczyniła się do prawdziwej rewolucji technologicznej i zmieniła branżę informatyczną. Po funkcje oparte na AI chętnie sięgnął Microsoft, by udoskonalić swój wiodący produkt – Excela. AI poprzez zaawansowane algorytmy potrafi automatycznie analizować i interpretować duże zbiory danych, co przyspiesza proces podejmowania decy(87,15 zł najniższa cena z 30 dni)
174.30 zł
249.00 zł (-30%) -
Bestseller Promocja
Jeśli myślisz o karierze analityka danych albo starasz się o pracę na stanowisku, na którym będziesz analizować dane, ten kurs jest specjalnie dla Ciebie. Opanujesz dzięki niemu między innymi niezbędne podstawy języka SQL i dowiesz się, jak funkcjonuje i do czego może Ci posłużyć system zarządzania relacyjnymi bazami danych MySQL. Te dwie technolog(39,90 zł najniższa cena z 30 dni)
161.84 zł
249.00 zł (-35%)
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas:
Kurs video
Oceny i opinie klientów: Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych Piotr Chudzik (2) Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię. Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.
(2)
(0)
(0)
(0)
(0)
(0)
więcej opinii