![](https://static01.helion.com.pl/videopoint/img/testy/produkt_cert_info.png)
Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
- Autor:
- Piotr Chudzik
- Ocena:
- 6.0/6 2 opinii
- Wersja:
- Online
- Czas trwania:
- 04:48:53
- Technologia:
- Airflow 2.7, Python 3.10, PostgreSQL 14
+ gratis
Kupując ten produkt dodatkowo otrzymasz:
Potoki danych. Leksykon kieszonkowy. Przenoszenie i przetwarzanie danych na potrzeby ich analizy ( ebook )
Opis kursu video Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych
Obierz kurs na... operowanie przepływami danych
Jeśli pracujesz lub będziesz pracować na danych, prędzej czy później zetkniesz się z akronimem ETL. ETL, czyli wyodrębnianie, przekształcanie i ładowanie, jest procesem powszechnie stosowanym przez organizacje gromadzące i łączące dane z wielu źródeł w celu wspomagania zadań wykrywania, raportowania, analizowania i podejmowania decyzji. Apache Airflow pozwala na tworzenie wysokiej jakości procesów ETL i wprowadzenie optymalizacji niezależnie od infrastruktury końcowej (na przykład relacyjna baza danych, pliki json itp.). Korzystający z języka Python Airflow służy do harmonogramowania wielu zadań i przepływów pracy w projektach i organizacjach. Dlatego też będzie idealny dla osób, które są obeznane z Pythonem, muszą pracować na zbiorach danych i monitorować ich przepływ, ale nie chcą budować własnego narzędzia ETL.
Jako rozwiązanie typu open source Apache Airflow jest coraz częściej wymagany na stanowiskach typu data engineer czy data analysis. Nic w tym dziwnego, skoro automatyzacja to jeden z najważniejszych procesów dzisiejszego IT, a główną zaletą Airflow jest właśnie ułatwienie automatyzowania procesów. Podstawowym sposobem definiowania zadań są tu acykliczne grafy skierowane (DAG), które określają relacje między operatorami, porządek i zależności. Airflow DAG może zawierać wiele gałęzi i to Ty będziesz decydować, które z nich mają być przestrzegane, a które będą pomijalne w trakcie wykonywania przepływu pracy.
Nasz kurs obejmuje podstawowe tematy powiązane z orkiestracją zadań poprzez Apache Airflow. W jego trakcie dowiesz się, jak stworzyć w pełni proces za pomocą Airflow: skonfigurować zmienne globalne i połączenia, stworzyć DAG i jego scheduler czy konfigurację. Poznasz też najważniejsze elementy Airflow, takie jak Operator czy Sensor.
Co Cię czeka podczas naszego profesjonalnego szkolenia
W trakcie kursu między innymi:
- Zobaczysz, jak poprawnie skonfigurować środowisko pracy
- Dowiesz się, czym jest DAG i na czym polega orkiestracja zadań
- Stworzysz operatory typu Bash, Empty, Python, SimpleHTTP i PostgreSQL
- Ustawisz scheduler i operację catch, a także domyślne argumenty DAG-a
- Skonfigurujesz sensory
- Uruchomisz polecenia SQL na bazie danych PostgreSQL
- Skonfigurujesz zmienne webservera za pomocą obiektów Param, Variable, Config
- Skorzystasz z szablonów Jinja do przekazywania parametrów
- Będziesz zarządzać zadaniami za pomocą grupowania, branchowania i tworzenia triggerów
Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych zakończysz na poziomie podstawowym. Zdobyta wiedza pozwoli Ci samodzielnie przygotować proste orkiestratory zadań oparte na języku SQL i Python. Dodatkowo będziesz w stanie zabezpieczyć procesy za pomocą sensorów i wprowadzić zmienne globalne czy konfiguracje za pomocą obiektów webservera.
Na zdobycie szczytu zawsze składa się postawienie tysięcy małych kroków. Aby zrozumieć rzeczy skomplikowane i złożone, należy najpierw przyswoić wiedzę w podstawowym zakresie. Materiał zawarty w powyższym kursie jest pierwszym krokiem dla osób, które widzą swoją przyszłość w branży IT.
Wybrane bestsellery
-
Mówi się, że Scrum Master to lider służebny. Nazwa ta wynika wprost z koncepcji zarządzania, w której lider wspomaga swój zespół, zamiast nad nim dominować. To osoba, która usuwa przeszkody i pomaga zespołowi w stosowaniu zasad Scruma. Scrum to metoda zarządzania projektami, zgodna z manifestem Agile. Opiera się na sprintach – cyklach, podczas któr
(59,59 zł najniższa cena z 30 dni)
52.15 zł
149.00 zł (-65%) -
Oprogramowanie Apache Kafka powstało jako broker wiadomości w LinkedIn. Obecnie pełni funkcję rozproszonego systemu przetwarzania strumieniowego danych, używanego do budowania aplikacji opracowujących duże ilości danych w czasie rzeczywistym. Z zalet tego oprogramowania korzystają firmy na całym świecie – jest kluczowym narzędziem w takich sektorac
(35,60 zł najniższa cena z 30 dni)
35.60 zł
89.00 zł (-60%) -
Jednym z obszarów, w które AI wkracza coraz śmielej, jest programowanie. Tam, gdzie pracuje się z liczbami, kodem i algorytmami, pomoc sztucznej inteligencji okazuje się nieoceniona. Jak ją zaprosić do współpracy? Tego dowiesz się z naszego kursu. Jego tematyka obejmuje bowiem programowanie z wykorzystaniem takich narzędzi jak ChatGPT czy GitHub Co
(39,90 zł najniższa cena z 30 dni)
67.60 zł
169.00 zł (-60%) -
API to akronim pochodzącego z języka angielskiego terminu application programming interface, co tłumaczy się jako interfejs programowania aplikacji. W praktyce to zestaw zasad i protokołów, które pozwalają różnym programom komunikować się ze sobą. API może być używane do integrowania różnych systemów, a także do dostępu do funkcji lub danych w okre
(52,15 zł najniższa cena z 30 dni)
52.15 zł
149.00 zł (-65%) -
PowerShell to zaawansowany interpreter poleceń oparty na środowisku programistycznym .NET Framework. Jest preferowanym narzędziem do kontrolowania i zarządzania środowiskiem Windows i Azure. W przeciwieństwie do większości powłok, które operują na łańcuchach znaków, PowerShell wykorzystuje obiekty. Takie rozwiązanie oferuje zupełnie nowe możliwości
(92,95 zł najniższa cena z 30 dni)
67.60 zł
169.00 zł (-60%) -
Jeśli chodzi o budowę stron internetowych i aplikacji, język PHP jest absolutnym królem. Ceni się go za możliwości, dzięki wydajnym strukturom bowiem umożliwia tworzenie szybkiego i rozbudowanego oprogramowania. Jednak coś za coś: pisanie stron i aplikacji w PHP wymaga sporo cierpliwości i czasu poświęconego na napisanie wielu linijek kodu. I tu z
(45,15 zł najniższa cena z 30 dni)
45.15 zł
129.00 zł (-65%) -
Obierz kurs na tworzenie gier platformowych! Mówiąc o programowaniu gier, na myśl przychodzą dwa potężne silniki: Unity i Unreal Engine. Dzisiaj chcemy Ci przedstawić silnik również będący w czołówce popularności - GameMaker Studio! GameMaker Studio to idealne narzędzie dla początkujących, oferujące intuicyjną obsługę IDE i szeroką paletę funkcji,
(129,27 zł najniższa cena z 30 dni)
127.19 zł
159.00 zł (-20%) -
Apache Spark to narzędzie do przetwarzania danych w trybie rozproszonym, które umożliwia budowanie zaawansowanych systemów operacji na złożonych zbiorach danych. Przetwarzanie rozproszone poprzez wykorzystanie wielu maszyn jednocześnie znacząco przyspiesza operacje na dużych ilościach danych. Spark jest niezwykle popularny, stosowany w licznych pro
(121,14 zł najniższa cena z 30 dni)
119.20 zł
149.00 zł (-20%) -
Kiedy myślimy o takich aplikacjach jak Maya, VirtualBox, Telegram, Spotify, Dropbox czy Google Earth, być może nie od razu znajdujemy wspólny mianownik. A jest nim framework Qt, używany przez wszystkie te znane marki. Qt powstał z myślą o programowaniu interfejsów graficznych GUI, a ze względu na wydajność, stabilność i unikatowy model programowani
(67,05 zł najniższa cena z 30 dni)
52.15 zł
149.00 zł (-65%) -
Dzisiejszą gospodarką rządzi informacja. Kto potrafi ją wyłuskać z zalewu danych, ten zyskuje konkurencyjną przewagę. Świadomi tego twórcy oprogramowania komputerowego stworzyli szereg narzędzi służących wyszukiwaniu informacji, ich przetwarzaniu, analizowaniu i prezentowaniu w sposób dostępny dla odbiorców. Jednym z nich jest Elasticsearch – techn
(136,95 zł najniższa cena z 30 dni)
174.30 zł
249.00 zł (-30%)
O autorze kursu video
Piotr Chudzik - absolwent Politechniki Łódzkiej, jego specjalizacja zawodowa to technologie big data oraz administracja nowoczesnymi środowiskami IT (wykorzystującymi między innymi cloud computing, konteneryzację czy IaC - infrastructure as code). Pracuje jako wykładowca na Uniwersytecie Łódzkim, gdzie przekazuje studentom wiedzę na temat Linuksa, baz danych i programowania w języku Python. Jest również trenerem w Software Development Academy. Na co dzień zatrudniony jako menadżer techniczny w dużym zagranicznym banku, odpowiada za prawidłowe i nieprzerwane działanie aplikacji opartych na Google Cloud Platform. Zawsze otwarty na nowe doświadczenia oraz wiedzę, którą w przyszłości mógłby się podzielić z innymi. Interesuje się grami komputerowymi, światem nowych technologii i fantastyką. Jest fanem serii Wiedźmin i uniwersum Warhammera.
Sukces wymaga wcześniejszego przygotowania, bez niego z pewnością osiągniemy porażkę.
Konfucjusz
Piotr Chudzik - pozostałe kursy
-
Platforma Docker znacznie ułatwiła życie programistom. Dzięki niej zarówno program, jak i jego zależności, takie jak biblioteki, pliki konfiguracyjne czy lokalne bazy danych, można umieścić w lekkim, przenośnym wirtualnym kontenerze, uruchamialnym na praktycznie każdym serwerze z systemem pracującym na jądrze Linux. Nic więc dziwnego, że Docker sta
(58,04 zł najniższa cena z 30 dni)
77.40 zł
129.00 zł (-40%) -
Konteneryzacja jest alternatywą dla wirtualizacji. W pracy z nowo wdrażanymi, testowanymi czy usprawnianymi aplikacjami pozwala ograniczyć wykorzystanie zasobów i uruchamiać niezależnie wiele aplikacji na jednej maszynie. Kontenery są od siebie całkowicie odizolowane, nic o sobie nawzajem nie „wiedzą”, każdy zawiera własne środowisko. I właśnie ze
(59,59 zł najniższa cena z 30 dni)
89.40 zł
149.00 zł (-40%) -
Powiedzieć, że Python jest jednym z najpopularniejszych języków programowania, to nic nie powiedzieć. Doceniają go i od lat wybierają developerzy na całym świecie. Oni go także rozwijają. Ten język programowania wysokiego poziomu jest bowiem dostępny jako projekt typu open source, z błogosławieństwem Python Software Foundation, by udoskonalać Pytho
(69,65 zł najniższa cena z 30 dni)
69.65 zł
199.00 zł (-65%) -
Czy znane są Ci nazwy Apache Spark i PySpark? Jeśli pracujesz z danymi i do tej pory nie poznałeś tej technologii, najwyższy czas to nadrobić – na przykład w trakcie proponowanego przez nas szkolenia wideo. Apache Spark to otwarta platforma programistyczna służąca do obliczeń rozproszonych. Opracowana i rozwijana początkowo na Uniwersytecie Kalifor
(52,15 zł najniższa cena z 30 dni)
52.15 zł
149.00 zł (-65%) -
Statycznie typowany język programowania Scala charakteryzuje się między innymi tym, że wspiera zarówno programowanie funkcyjne, jak i obiektowe. Co więcej, Scala jest językiem wieloplatformowym – działa na maszynie wirtualnej Javy i platformie .NET. W najnowszej wersji (3) składnia Scali mocno zbliża się do składni Pythona i równocześnie dzieli bib
(51,60 zł najniższa cena z 30 dni)
45.15 zł
129.00 zł (-65%) -
Jeśli jesteś programistą, na przykład pracujesz jako specjalista w dziedzinie DevOps i do Twoich zadań należy między innymi utrzymanie środowiska produkcyjnego – także z użyciem rozwiązań chmurowych – nazwa Kubernetes z pewnością nie jest Ci obca. Przypomnijmy jednak dla porządku: zyskujący popularność na całym świecie Kubernetes (zwany także K8s)
(58,04 zł najniższa cena z 30 dni)
90.29 zł
129.00 zł (-30%) -
Kurs video, który dziś proponujemy, skupia się na kwestii podatności Pythona na automatyzację. Pokażemy, jak zaoszczędzić czas dzięki efektywnemu programowaniu z wykorzystaniem najlepszych technik. Dobrze, by słuchacz przed przystąpieniem do szkolenia posiadał już pewną znajomość Pythona w zakresie podstawowych typów danych, zmiennych, pętli, instr
(52,15 zł najniższa cena z 30 dni)
52.15 zł
149.00 zł (-65%) -
Na szczęście Docker należy do tych technologii, w które łatwo się wdrożyć. Zresztą istnieje sporo szkoleń, kursów i książek dla początkujących użytkowników tego oprogramowania. Gorzej z opracowaniami na temat zaawansowanej obsługi Dockera. Tymczasem oferuje on wiele narzędzi i sztuczek, których znajomość pozwala przyspieszyć i ułatwić realizację za
(58,04 zł najniższa cena z 30 dni)
77.40 zł
129.00 zł (-40%) -
Kto się decyduje na karierę programisty, musi wybrać swój „ulubiony” język. Ten, w którym będzie się specjalizować, doskonalić, pracować. Oczywiście nie musi to być jeden jedyny język. Chodzi po prostu o język pierwszego wyboru, w którego zakresie będzie się ekspertem. Wielu programistów wybiera do tej roli Javę, czyniąc ją tym samym jednym z najpo
(67,60 zł najniższa cena z 30 dni)
59.15 zł
169.00 zł (-65%) -
Umiejętność zarządzania bazami danych z roku na rok jest coraz bardziej ceniona. Nic w tym dziwnego - ilość danych, jakimi dysponujemy, a które musimy gdzieś przechowywać, sortować, zestawiać ze sobą i z których chcemy wyciągać ważne dla siebie informacje, stale rośnie. Stąd firmy szczególnie wypatrują specjalistów, którzy potrafią to robić - poszu
(49,05 zł najniższa cena z 30 dni)
54.50 zł
109.00 zł (-50%)
Spis lekcji (odkodowane lekcje)
Kurs Video "Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych" zobaczysz:
-
w aplikacjach Ebookpoint i Videopoint na Android, iOS, HarmonyOs
-
na systemach Windows, MacOS i innych z dostępem do najnowszej wersji Twojej przeglądarki internetowej
Szczegóły kursu
- Ilość lekcji:
- 35
- Czas trwania:
- 4 godz. 48 min.
- Format:
- Online
- Data aktualizacji:
- 2023-10-19
- ISBN :
- 978-83-289-0400-2, 9788328904002
- Numer z katalogu:
- 214832
- Do kursu dołączone są materiały dodatkowe, znajdziesz je w Twojej Bibliotece
- Kategorie:
Big Data
Programowanie » Inne
Narzędzia programistyczne
- Kategoria wiekowa: 15+
Videopoint - inne kursy
-
Windows Server 2022 to sieciowy system operacyjny stworzony przez Microsoft. Został zaprojektowany z myślą o obsłudze dużych sieci komputerowych i infrastruktur IT. Jego popularność ciągle rośnie, szczególnie w zastosowaniach sieciowych jako serwery lokalne i serwery usług, takich jak WWW, FTP, chmura, DHCP, DNS, VPN, Print Server czy Hyper-V. Jest
(121,14 zł najniższa cena z 30 dni)
119.20 zł
149.00 zł (-20%) -
W świecie przepełnionym informacjami doskonała baza danych, która pozwala na ich zbieranie, organizowanie i zarządzanie nimi, to podstawa sprawnego funkcjonowania każdego przedsiębiorstwa. W tej branży od lat prym wiedzie relacyjna baza danych Oracle. Jednak aby efektywnie korzystać z jej dobrodziejstw, trzeba znaleźć z nią wspólny język. Tym język
(80,49 zł najniższa cena z 30 dni)
79.20 zł
99.00 zł (-20%) -
Automatyzacja pozwala na zwiększenie efektywności poprzez eliminację rutynowych zadań. Wiedząc o tym, firmy chętnie wdrażają automatyzację. Te, które jeszcze tego nie robią, tracą czas i pieniądze. Raporty nie pozostawiają złudzeń: według McKinsey & Company 57% firm już korzysta z automatyzacji AI, a do 2025 roku liczba ta ma wzrosnąć do 85%. Dzięk
(71,55 zł najniższa cena z 30 dni)
127.19 zł
159.00 zł (-20%) -
W dynamicznie zmieniającym się świecie biznesu automatyzacja procesów staje się kluczowym elementem sukcesu każdej organizacji. Technologia RPA (ang. robotic process automation) w połączeniu z zarządzaniem projektami i inżynierią oprogramowania tworzy nowy standard w zarządzaniu zasobami i operacjami firmowymi. I tu wkracza Microsoft Power Automate
(49,05 zł najniższa cena z 30 dni)
87.19 zł
109.00 zł (-20%) -
Notion, wszechstronne narzędzie do organizacji pracy, znajduje zastosowanie zarówno w sferze zawodowej, jak i prywatnej. Pomysł na jego stworzenie zrodził się z potrzeby dostępu w jednej aplikacji do funkcji i udogodnień oferowanych przez notatniki, bazy danych, kalendarze i menedżery zadań. Połączenie funkcji wielu narzędzi w jednej platformie spr
(39,90 zł najniższa cena z 30 dni)
35.60 zł
89.00 zł (-60%) -
Angular został przystosowany przez programistów Google’a do tworzenia złożonych i skalowalnych aplikacji. Dzięki modułowości i wydajności jest wybierany do pisania wymagających aplikacji korporacyjnych i biznesowych. Kod jest zredukowany i zorganizowany modułowo, co zapewnia czytelność i ułatwia pracę nad projektem. Dla tworzenia dynamicznych aplik
(81,95 zł najniższa cena z 30 dni)
119.20 zł
149.00 zł (-20%) -
Pytest – nowoczesny framework do uruchamiania testów automatycznych w języku Python. Można używać tej platformy do przeprowadzania testów jednostkowych, ale sprawdzi się świetnie także podczas konstruowania rozbudowanych testów wyższego poziomu (integracyjnych, end-to-end) dla całych aplikacji czy bibliotek. Z Pytestu do testowania kodu korzystają
(39,90 zł najniższa cena z 30 dni)
59.59 zł
149.00 zł (-60%) -
Marzysz o pracy w IT, która „robi różnicę”? Stanowisko inżyniera sieci wiąże się ze sporą odpowiedzialnością, ponieważ od niego zależy działanie sieci całego przedsiębiorstwa. Tylko co to właściwie znaczy? W praktyce chodzi o prawidłowe funkcjonowanie programów i aplikacji sieciowych, działanie telefonii IP, możliwość tworzenia kopii zapasowych i k
(76,05 zł najniższa cena z 30 dni)
135.20 zł
169.00 zł (-20%) -
Być może masz doskonały pomysł na własną aplikację, a nawet wyobrażasz sobie rzesze korzystających z niej i zadowolonych klientów, jednak pomimo wielkich aspiracji rozbijasz się o szklany sufit wynikający z braku doświadczenia programistycznego. Nie zniechęcaj się! Z pomocą przychodzą narzędzia no-code, niewymagające pisania kodu. Dzięki podejściu
(44,55 zł najniższa cena z 30 dni)
79.20 zł
99.00 zł (-20%) -
Jeśli w swojej pracy masz lub miewasz do czynienia z danymi, z pewnością orientujesz się, że do tego celu stworzono dotąd całkiem sporo narzędzi. Nic dziwnego – przy tej liczbie danych, z jaką spotykamy się w dzisiejszym cyfrowym świecie, zdolność do ich sprawnego analizowania i wyciągania z nich konstruktywnych wniosków daje przewagę konkurencyjną
(62,55 zł najniższa cena z 30 dni)
97.29 zł
139.00 zł (-30%)
Dzięki opcji "Druk na żądanie" do sprzedaży wracają tytuły Grupy Helion, które cieszyły sie dużym zainteresowaniem, a których nakład został wyprzedany.
Dla naszych Czytelników wydrukowaliśmy dodatkową pulę egzemplarzy w technice druku cyfrowego.
Co powinieneś wiedzieć o usłudze "Druk na żądanie":
- usługa obejmuje tylko widoczną poniżej listę tytułów, którą na bieżąco aktualizujemy;
- cena książki może być wyższa od początkowej ceny detalicznej, co jest spowodowane kosztami druku cyfrowego (wyższymi niż koszty tradycyjnego druku offsetowego). Obowiązująca cena jest zawsze podawana na stronie WWW książki;
- zawartość książki wraz z dodatkami (płyta CD, DVD) odpowiada jej pierwotnemu wydaniu i jest w pełni komplementarna;
- usługa nie obejmuje książek w kolorze.
Masz pytanie o konkretny tytuł? Napisz do nas:
Kurs video
![](https://static01.helion.com.pl/videopoint/img/ajax-loader.gif)
![ajax-loader](https://static01.helion.com.pl/videopoint/img/ajax-loader.gif)
Oceny i opinie klientów: Airflow. Kurs video. Zarządzanie i monitorowanie przepływu danych Piotr Chudzik (2)
Weryfikacja opinii następuje na podstawie historii zamowień na koncie Użytkownika umiejszczającego opinię.
Użytkownik mógł otrzymać punkty za opublikowanie opinii uprawniającej do uzyskania rabatu w ramach Programu Kadr.
(2)
(0)
(0)
(0)
(0)
(0)
więcej opinii