Stale rosnący strumień informacji z czujników, zdjęć, danych tekstowych, głosowych i wideo oraz nowe sposoby, w jakie możemy przetwarzać dane, odgrywają główną rolę w procesie cyfrowej transformacji we wszystkich branżach.
Firmy są w stanie zrozumieć i przewidzieć, jaki segment klientów kupi jaki produkt i kiedy. Big data pozwala również firmom na bardziej efektywne zarządzanie swoimi operacjami. Big data zmienia świat na inne sposoby, nie tylko w przedsiębiorstwach:
Poprawa opieki zdrowotnej. Dzięki analizie dużej ilości dokumentacji medycznej i obrazów można zidentyfikować wzorce, które mogą pomóc we wczesnym wykrywaniu chorób i w opracowywaniu nowych leków.
Przewidywanie i reagowanie na klęski żywiołowe i katastrofy spowodowane przez człowieka. Dane z czujników są analizowane na potrzeby przewidywania trzęsień ziemi i tsunami. Aby usprawnić pomoc dla ocalałych, organizacje poszukują wzorców ludzkich zachowań. Technologia big data jest również wykorzystywana do prób zrozumienia złożonej dynamiki migracji poprzez kompilację i analizę statystyk dotyczących migracji.
Big data na temat Ziemi. Postępy w teledetekcji, sieciach społecznościowych, wysokowydajnym modelowaniu symulacyjnym i monitorowaniu in-situ dostarczają bezprecedensowych danych big data na temat naszej planety. Duża ilość i różnorodność danych stwarza możliwość lepszego zrozumienia Ziemi poprzez wydobywanie z nich wiedzy.
Tradycyjne sektory, takie jak transport, zdrowie czy produkcja, odniosą ogromne korzyści z właściwej analizy i przetwarzania danych, zwłaszcza big data. Dane mają potencjał, aby:
ożywić europejskie sektory usługowe, pomagając im w generowaniu innowacyjnych produktów i usług informacyjnych w oparciu o preferencje i potrzeby klientów
zwiększyć wydajność poprzez udostępnienie wszystkim sektorom ulepszonej analityki biznesowej
zapewnić nam bardziej dogłębną wiedzę i zrozumienie, w jaki sposób sprostać wielu wyzwaniom społecznym
przyspieszyć badania i innowacje
umożliwić obniżenie kosztów poprzez pomoc przedsiębiorstwom w oferowaniu bardziej spersonalizowanych usług lub produktów
zwiększyć wydajność w sektorze publicznym
Niektóre przykłady wykorzystania big data to:
spersonalizowany marketing
analiza sentymentu (recenzje produktów)
rozwój konsumentów w celu kierowania rozwojem produktów (zachowania konsumentów)
zastosowania biomedyczne (spersonalizowana medycyna i leczenie)
miasta oparte na dużych ilościach danych (inteligentne miasta)
Inteligentne zdrowie: poprawa opieki zdrowotnej i zdrowia publicznego
Rozszyfrowanie ludzkiego genomu zajęło 10 lat. Obecnie moc obliczeniowa analityki big data umożliwia nam rozszyfrowanie całych łańcuchów DNA w ciągu kilku minut i uważa się, że dzięki temu będziemy mogli leczyć, rozumieć i przewidywać wzorce chorobowe. Jeśli wszystkie indywidualne dane z inteligentnych zegarków i urządzeń noszonych na ciele zostaną zebrane razem, będzie można je zastosować do milionów ludzi i ich chorób. Dzięki temu badania kliniczne mogą stać się o wiele bardziej wydajne i wnikliwe.
Na przykład, nowa aplikacja zdrowotna firmy Apple, zwana ResearchKit, może zmienić telefon w urządzenie do badań biomedycznych. Naukowcy mogą teraz zbierać dane i dane wejściowe z telefonów użytkowników, aby prowadzić badania zdrowotne. Urządzenie użytkownika (np. inteligentny zegarek) może śledzić liczbę kroków wykonanych w ciągu dnia, sen, pytać pacjentów chorych na raka o ich samopoczucie po chemioterapii lub śledzić postępy w chorobie Parkinsona. Może to radykalnie zwiększyć ilość badań i prób, a także prawdziwość danych.
Kolejny przykład: techniki big data są wykorzystywane do monitorowania wcześniaków. Wcześniaki muszą ukończyć proces dojrzewania poza łonem matki, podczas gdy ich układ odpornościowy nie jest w pełni sprawny, co zwiększa ryzyko infekcji. Szybka diagnoza bez inwazyjnego monitorowania ma w tym przypadku kluczowe znaczenie. Digi-NewB pracuje nad nieinwazyjnym systemem monitorowania, który pomoże lekarzom i pielęgniarkom podejmować lepsze decyzje w krótszym czasie, aby zapobiec infekcjom. System został opracowany na podstawie dużej bazy danych ponad 700 nagrań noworodków z danymi dotyczącymi parametrów życiowych, danymi z klinicznych kart zdrowia oraz danymi pochodzącymi z obrazu i dźwięku.
Pomiędzy postępem technologicznym a etyką
Big data otwiera drzwi do nieznanych dotąd możliwości i analiz, ale jaka jest druga strona medalu? Istnieją istotne obawy i pytania, którymi należy się zająć, aby zapewnić ochronę naszych praw podstawowych i systemu demokratycznego.
Prywatność danych. Ilość danych, które generujemy, zawiera ogromną ilość informacji o naszym życiu osobistym, które powinniśmy mieć prawo zachować w tajemnicy. Kiedy dane, które powinny pozostać prywatne, dostają się w niepowołane ręce, może to mieć przykre konsekwencje. Naruszenie danych w szkole może spowodować, że dane osobowe uczniów dostaną się w ręce przestępców, którzy dokonają kradzieży tożsamości. Naruszenie danych w szpitalu lub gabinecie lekarskim może spowodować, że informacje o pacjentach znajdą się w rękach osób, które będą chciały je wykorzystać w niewłaściwy sposób.
Bezpieczeństwo danych. Nawet jeśli zdecydujemy się udostępnić nasze dane, na przykład w celu monitorowania naszego zdrowia, czy możemy mieć pewność, że są one bezpieczne? Dane to niezwykle ważny zasób, a ich gromadzenie i udostępnianie może być wielkim biznesem w dzisiejszej gospodarce cyfrowej. Wraz z rosnącym uzależnieniem od komputerów pojawia się szereg potencjalnych zagrożeń dla przechowywanych danych. Dane mogą zostać utracone w wyniku awarii systemu, uszkodzone przez wirusa komputerowego, usunięte lub zmienione przez hakera.
Dyskryminacja danych. Jeśli wszystko będzie wiadomo, czy dopuszczalne stanie się dyskryminowanie ludzi na podstawie danych, które posiadamy o ich życiu? Na przykład oferowanie mniej korzystnego ubezpieczenia zdrowotnego osobom z nadwagą? Albo oferowanie wyżej oprocentowanego kredytu tym, których rodzice mieli problemy finansowe? Zarówno bankowość, jak i ubezpieczenia opierają się w dużym stopniu na danych, a ludzie mogą oczekiwać, że będą analizowani i oceniani coraz bardziej szczegółowo. Jak możemy zagwarantować, że nie będzie się to odbywało w sposób, który przyczyni się do utrudnienia życia tym, którzy już teraz mają mniejsze zasoby i mniejszy dostęp do informacji?
Na poziomie UE etyka big data opiera się na regulacjach i dokumentacji, które mają na celu znalezienie konkretnych rozwiązań, aby zmaksymalizować wartość big data bez naruszania podstawowych praw człowieka. Europejski Inspektor Ochrony Danych (EIOD) opowiada się za prawem do prywatności i prawem do ochrony danych osobowych w poszanowaniu godności ludzkiej.
Czym dokładnie są dane osobowe?
Ogólne Rozporządzenie o Ochronie Danych (RODO, ang. GDPR) brzmi następująco:
„dane osobowe oznaczają wszelkie informacje o zidentyfikowanej lub możliwej do zidentyfikowania osobie fizycznej („osobie, której dane dotyczą”); możliwa do zidentyfikowania osoba fizyczna to osoba, którą można bezpośrednio lub pośrednio zidentyfikować, w szczególności na podstawie identyfikatora takiego jak imię i nazwisko, numer identyfikacyjny, dane o lokalizacji, identyfikator internetowy lub jeden bądź kilka szczególnych czynników określających fizyczną, fizjologiczną, genetyczną, psychiczną, ekonomiczną, kulturową lub społeczną tożsamość osoby fizycznej;”
Więcej na temat danych osobowych i zasadach ochrony danych można przeczytać na stronie RODO.
Rozważenie i poznanie tych wyzwań jest ważną częścią korzystania z big data. Etyka i prawa jednostki muszą być koniecznością dla organizacji, które chcą korzystać z danych. Niedopełnienie tego obowiązku może sprawić, że nasze społeczeństwo znajdzie się w trudnej sytuacji, a przedsiębiorstwa poniosą straty w zakresie reputacji oraz na poziomie prawnym i finansowym.
Istnieje wiele innych problemów związanych z etyką i wykorzystaniem danych, takich jak prawo do niedyskryminacji w oparciu o cechy osobowe, profilowanie osobowe i predykcyjna analiza zachowań wykorzystywana do wpływania na procesy demokratyczne, uczciwość i poszanowanie autonomii człowieka itd. Dlatego bardziej niż kiedykolwiek wcześniej ważne jest, abyśmy wszyscy byli świadomi tego które, dlaczego i w jaki sposób dane są wykorzystywane w naszym społeczeństwie, abyśmy byli w stanie zrozumieć i rozpoznać, kiedy dane są niewłaściwie wykorzystywane.
Umiejętności związane z big data i przyszłość miejsc pracy
Jak mogliśmy zaobserwować, praca z danymi obejmuje wiele procesów, z których każdy wymaga unikalnych zestawów umiejętności. Praca z big data wymaga zarówno umiejętności technicznych, jak i nietechnicznych, takich jak umiejętność posługiwania się technologiami, które to umożliwiają, zrozumienie technik analizy danych oraz kreatywność i umiejętność opowiadania historii w celu tworzenia potężnych wizualizacji danych.
Wymaga to odpowiedniego zestawu umiejętności i sposobu myślenia. Należy ocenić, co jest najlepszym rozwiązaniem dla rodzaju posiadanych danych, jakie są nasze potrzeby (czyli co chcemy osiągnąć poprzez analizę danych) oraz wybrać odpowiednie narzędzia, aby stworzyć określoną wartość. Nie chodzi tylko o posiadanie danych, ale o dysponowanie ludźmi, którzy potrafią wyciągnąć z nich wnioski.
Specjaliści od big data muszą również rozumieć prawne i ekonomiczne aspekty danych, aby mogli przekształcać spostrzeżenia w wartości i często komunikować się z kadrą kierowniczą i menedżerami produktu na temat tego, czego się dowiedzieli i jak można to wykorzystać w nowych kierunkach biznesowych, takich jak nowe usługi i produkty, bardziej wydajne modele operacyjne lub nowe rynki.
To jest właśnie klucz do pracy w tej dziedzinie: bycie ciekawym, poszukiwanie nowych odkryć, tworzenie i testowanie teorii oraz znajdowanie schematów, które pozwalają na przewidywanie wyników.
Ostatecznie wszystkie zawody przyszłości będą wymagały połączenia umiejętności specyficznych dla danego sektora z kompetencjami w zakresie nauki o danych, ponieważ dane stają się ważnym czynnikiem napędzającym wszystkie sektory działalności:
Przedsiębiorcy będą wykorzystywać dane do analizy zachowań, optymalizacji różnorodności i cen, optymalizacji nakładów pracy, optymalizacji dystrybucji i logistyki oraz prognozowania popytu, ale do prawidłowego wdrożenia strategii opartej na danych potrzebna jest również solidna wiedza branżowa i biznesowa.
Lekarze analizujący duże zbiory danych o pacjentach mogą pomóc w identyfikacji pacjentów, którzy prawdopodobnie zachorują na określoną chorobę. Pracownicy służby zdrowia odgrywają również kluczową rolę, pomagając w szkoleniu sztucznej inteligencji do skanowania mózgu dzięki opiniom ekspertów na temat wyników.
Doradcy bankowi mogą zastosować analizę sentymentu i techniki analizy predykcyjnej, aby przewidzieć, kim są potencjalni klienci i dodatkowo zaoferować im ukierunkowane produkty.
I tak dalej.
Niezależnie od tego, jak bardzo zaawansowane będą nauka o danych i analityka, nie one wyeliminują potrzeby wykorzystania czynnika ludzkiego. Wręcz przeciwnie, istnieje ogromne zapotrzebowanie na wykwalifikowane osoby, które rozumieją dane, ale także potrafią uwzględnić punkt widzenia branży i wyciągnąć wnioski.
Inżynierowie danych są jednymi z najbardziej poszukiwanych specjalistów w zakresie danych
Inżynierowie danych są niezbędnymi członkami zespołu zajmującego się analizą danych w każdym przedsiębiorstwie, odpowiedzialnymi za zarządzanie, optymalizację, nadzorowanie i monitorowanie pobierania, przechowywania i dystrybucji danych w całej organizacji.
Inżynierowie danych są odpowiedzialni za wyszukiwanie trendów w zbiorach danych i opracowywanie algorytmów, które pomagają uczynić surowe dane bardziej użytecznymi dla przedsiębiorstwa. To stanowisko w branży IT wymaga znacznego zestawu umiejętności technicznych, w tym głębokiej wiedzy na temat projektowania baz danych SQL i wielu języków programowania. Inżynierowie danych potrzebują również umiejętności komunikacyjnych, aby pracować między działami i rozumieć, co liderzy biznesowi chcą pozyskać z dużych zbiorów danych firmy.
Umiejętności wymagane na tym stanowisku obejmują: Apache Spark, Scala, Hadoop, Python, Hive, Amazon Web Services, Apache Kafka, Big Data, Extract/Transform/Load (ETL), SQL oraz uczenie maszynowe. Sektory, które zatrudniają pracowników o takich profilach: technologie i usługi informatyczne, internet, przemysł motoryzacyjny, oprogramowanie komputerowe, doradztwo w zakresie zarządzania, inżynieria mechaniczna i przemysłowa, usługi finansowe, szpitale i opieka zdrowotna oraz telekomunikacja.
Inne możliwości zatrudnienia w dziedzinie big data to: analityk danych (data scientist), programista big data i konsultant ds. danych (data consultant).
