Η συνεχώς αυξανόμενη ροή πληροφοριών από αισθητήρες, φωτογραφιών, κειμένων, δεδομένων φωνής και βίντεο που δημιουργούνται και οι νέοι τρόποι με τους οποίους μπορούμε να επεξεργαστούμε τα δεδομένα, παίζουν σημαντικό ρόλο στη διαδικασία του ψηφιακού μετασχηματισμού σε όλες τις βιομηχανίες.
Οι εταιρείες έχουν τη δυνατότητα να κατανοούν και να αναμένουν ποιο τμήμα πελατών θα αγοράσει ποιο προϊόν και πότε. Τα μεγάλα δεδομένα δίνουν επίσης τη δυνατότητα στις εταιρείες να διαχειρίζονται τις εργασίες τους πιο αποτελεσματικά. Τα μεγάλα δεδομένα αλλάζουν τον κόσμο και με άλλους τρόπους, όχι μόνο στις επιχειρήσεις:
Βελτίωση της φροντίδας υγείας. Με την ανάλυση μεγάλου όγκου ιατρικών αρχείων και απεικονίσεων, τα μοτίβα που προκύπτουν μπορούν να βοηθήσουν στον έγκαιρο εντοπισμό ασθενειών και στην ανάπτυξη νέων φαρμάκων.
Πρόβλεψη και αντιμετώπιση φυσικών και ανθρωπογενών καταστροφών. Τα δεδομένα από τους αισθητήρες αναλύονται για την πρόβλεψη σεισμών και τσουνάμι. Για να βελτιωθεί η βοήθεια στους επιζώντες, οι οργανισμοί αναζητούν μοτίβα στην ανθρώπινη συμπεριφορά. Η τεχνολογία μεγάλων δεδομένων χρησιμοποιείται επίσης στην προσπάθεια κατανόησης της πολύπλοκης δυναμικής της μετανάστευσης, συγκεντρώνοντας και αναλύοντας στατιστικά στοιχεία μετανάστευσης.
Μεγάλα δεδομένα παρατήρησης της Γης. Οι εξελίξεις στην τηλεανίχνευση, στην κοινωνική δικτύωση, στα μοντέλα προσομοίωσης υψηλής απόδοσης και στην επί τόπου παρακολούθηση παρέχουν πρωτόγνωρα μεγάλα δεδομένα σχετικά με τον πλανήτη μας. Ο μεγάλος όγκος και η ποικιλία των δεδομένων προσφέρουν μια ευκαιρία για την καλύτερη κατανόηση της Γης, με την εξαγωγή γνώσεων από αυτά τα δεδομένα.
Οι παραδοσιακοί τομείς όπως οι μεταφορές, η υγεία ή η μεταποίηση θα ωφεληθούν σημαντικά από τη σωστή ανάλυση και επεξεργασία δεδομένων, ειδικά από τα μεγάλα δεδομένα. Τα δεδομένα έχουν την προοπτική:
να ανανεώσουν τον κλάδο παροχής υπηρεσιών της Ευρώπης βοηθώντας τον να παράγει καινοτόμα προϊόντα και υπηρεσίες πληροφόρησης με βάση τις προτιμήσεις και τις ανάγκες των πελατών τους
να αυξήσουν την παραγωγικότητα καθιστώντας διαθέσιμη τη βελτιωμένη επιχειρηματική ευφυΐα σε κάθε τομέα
να μας παρέχουν πιο ολοκληρωμένη γνώση και κατανόηση του τρόπου αντιμετώπισης πολλαπλών κοινωνικών προκλήσεων
να προωθήσουν την έρευνα και να επιταχύνουν την καινοτομία
να μειώσουν τα κόστη βοηθώντας τις εταιρείες να προσφέρουν πιο εξατομικευμένες υπηρεσίες ή προϊόντα
να αυξήσουν την αποτελεσματικότητα στον δημόσιο τομέα
Μερικά παραδείγματα χρήσης μεγάλων δεδομένων είναι:
εξατομικευμένο μάρκετινγκ
ανάλυση συναισθήματος (κριτική προϊόντων)
καταναλωτική ανάπτυξη που καθοδηγεί την ανάπτυξη προϊόντων (συμπεριφορά του καταναλωτή)
βιοϊατρικές εφαρμογές (εξατομικευμένα φάρμακα και θεραπείες)
πόλεις που λειτουργούν βάσει μεγάλων δεδομένων (έξυπνες πόλεις)
Ανάμεσα στην τεχνολογική πρόοδο και τη δεοντολογία
Τα μεγάλα δεδομένα παρέχουν τη δυνατότητα για πρωτοφανείς γνώσεις και ευκαιρίες, όμως ποια είναι η άλλη πλευρά του νομίσματος; Υπάρχουν σημαντικές ανησυχίες και ερωτήματα που πρέπει να απαντηθούν για τη διασφάλιση της προστασίας των θεμελιωδών δικαιωμάτων και του δημοκρατικού συστήματός μας.
Απόρρητο των δεδομένων. Οι όγκοι των δεδομένων που παράγουμε περιέχουν τεράστιες ποσότητες πληροφοριών σχετικά με τις προσωπικές μας ζωές, και θα πρέπει να έχουμε το δικαίωμα να μπορούμε να τις κρατήσουμε ιδιωτικές. Όταν δεδομένα που θα έπρεπε να διατηρηθούν ιδιωτικά βρεθούν στα λάθος χέρια, μπορεί να συμβούν δυσάρεστα γεγονότα. Από μια παραβίαση δεδομένων σε ένα σχολείο, εγκληματίες μπορεί να αποκτήσουν τις ταυτότητες των μαθητών και να διαπράξουν κλοπή ταυτότητας. Από μια παραβίαση σε ένα νοσοκομείο ή σε ένα γραφείο ιατρού, οι πληροφορίες των ασθενών μπορεί να χρησιμοποιηθούν από κάποιους με κακό σκοπό.
Ασφάλεια δεδομένων. Ακόμα και όταν αποφασίζουμε να μοιραστούμε τα δεδομένα μας για την παρακολούθηση της υγείας μας, για παράδειγμα, μπορούμε να είμαστε σίγουροι ότι διατηρούνται ασφαλή; Τα δεδομένα είναι ένα εξαιρετικά σημαντικό στοιχείο και η συλλογή και η κοινή χρήση δεδομένων μπορεί να είναι εξαιρετικά πολύτιμη στην ψηφιακή οικονομία του σήμερα. Με τη μεγαλύτερη εξάρτηση από τους υπολογιστές, υπάρχουν πολλές πιθανές απειλές στα δεδομένα που αποθηκεύονται. Τα δεδομένα μπορεί να χαθούν λόγω βλάβης του συστήματος, να καταστραφούν από έναν ιό υπολογιστή, να διαγραφούν ή να τροποποιηθούν από έναν χάκερ.
Διάκριση δεδομένων. Αν τα πάντα είναι γνωστά, θα είναι αποδεκτό να υπάρχουν διακρίσεις ενάντια στα άτομα με βάση τα δεδομένα που έχουμε για τις ζωές τους; Όπως το να προσφέρουμε λιγότερο ευνοϊκή ιατρική ασφάλιση στους υπέρβαρους ανθρώπους; Ή να προσφέρουμε πίστωση με μεγαλύτερο επιτόκιο σε όσους οι γονείς τους είχαν οικονομικές δυσκολίες; Τόσο οι τράπεζες όσο και οι ασφαλιστικές καθοδηγούνται πλήρως από τα δεδομένα και αναμένεται ότι τα άτομα θα αναλύονται και θα αξιολογούνται με μεγαλύτερη λεπτομέρεια. Πώς μπορούμε να διασφαλίσουμε ότι αυτό δεν θα συμβεί με τέτοιο τρόπο που θα συμβάλλει στο να δυσκολέψει τη ζωή όσων έχουν ήδη λιγότερους πόρους και μικρότερη πρόσβαση στην πληροφορία;
Σε επίπεδο ΕΕ, η δεοντολογία των μεγάλων δεδομένων υποστηρίζεται με κανονισμούς και έγγραφα που αναζητούν να βρουν συγκεκριμένες λύσεις για τη μεγιστοποίηση της αξίας των μεγάλων δεδομένων χωρίς να θυσιαστούν τα θεμελιώδη ανθρώπινα δικαιώματα. Ο Ευρωπαίος Επόπτης Προστασίας Δεδομένων (ΕΕΠΔ) υποστηρίζει το δικαίωμα για προστασία της ιδιωτικής ζωής και το δικαίωμα για προστασία των προσωπικών δεδομένων όσον αφορά την ανθρώπινη αξιοπρέπεια.
Η εξέταση των προκλήσεων και οι πιο λεπτομερείς γνώσεις σχετικά με αυτές είναι ένα σημαντικό μέρος της χρήσης των μεγάλων δεδομένων. Η δεοντολογία και τα ατομικά δικαιώματα πρέπει να είναι κρίσιμης σημασίας για τους οργανισμούς που επιθυμούν να εκμεταλλευτούν τα δεδομένα. Διαφορετικά, η κοινωνία μας μπορεί να βρεθεί σε ευάλωτη θέση και να προκληθεί ζημιά στις επιχειρήσεις τόσο σε επίπεδο φήμης όσο και σε νομικό και οικονομικό επίπεδο.
Υπάρχουν πολλές ακόμα ανησυχίες σχετικά με τη δεοντολογία και τη χρήση των δεδομένων, όπως είναι το δικαίωμα στη μη διάκριση με βάση τα προσωπικά χαρακτηριστικά, η δημιουργία προσωπικού προφίλ και η προγνωστική ανάλυση συμπεριφοράς που χρησιμοποιείται για τον επηρεασμό των δημοκρατικών διαδικασιών, το δίκαιο και ο σεβασμός στην ανθρώπινη αυτονομία κ.λπ. Συνεπώς, περισσότερο από ποτέ, είναι σημαντικό για όλους μας να γνωρίζουμε τι, γιατί και πώς χρησιμοποιούνται τα δεδομένα στην κοινωνία μας ώστε να είμαστε ικανοί να κατανοούμε και να αναγνωρίζουμε πότε γίνεται κακή χρήση των δεδομένων.
Δεξιότητες για τα μεγάλα δεδομένα και το μέλλον των θέσεων εργασίας
Όπως έχουμε δει, η εμβάθυνση στα δεδομένα περιλαμβάνει πολλές διαδικασίες, η καθεμία από τις οποίες απαιτεί μοναδικές δεξιότητες. Η εργασία με τα μεγάλα δεδομένα απαιτεί τεχνικές και μη τεχνικές δεξιότητες, όπως η ικανότητα λειτουργίας των τεχνολογιών που τα καθιστούν εφικτά, η κατανόηση των τεχνικών ανάλυσης δεδομένων και η δημιουργικότητα και η ικανότητα αφήγησης για τη δημιουργία ισχυρών οπτικοποιήσεων των δεδομένων.
Απαιτεί τις κατάλληλες δεξιότητες και τον κατάλληλο τρόπο σκέψης. Πρέπει να μπορείτε να εκτιμήσετε ποια είναι η καλύτερη λύση για τον τύπο δεδομένων που έχετε, ποιες είναι οι ανάγκες σας (δηλαδή τι θέλετε να επιτύχετε με την ανάλυση αυτών των δεδομένων) και ποια είναι τα κατάλληλα εργαλεία ώστε να δημιουργήσετε αξία. Δεν είναι σημαντική μόνο η κατοχή των δεδομένων, αλλά και να υπάρχουν τα άτομα που να μπορούν να εξάγουν γνώσεις από αυτά.
Οι επαγγελματίες των μεγάλων δεδομένων πρέπει επίσης να κατανοούν τις νομικές και οικονομικές πλευρές των δεδομένων, ώστε να μετατρέπουν τις γνώσεις σε αξία και να επικοινωνούν συχνά με ανώτερα στελέχη και διαχειριστές προϊόντων σχετικά με όσα έχουν μάθει και τον τρόπο που μπορούν να χρησιμοποιηθούν προς νέες επιχειρηματικές κατευθύνσεις, όπως νέες υπηρεσίες και νέα προϊόντα, πιο αποτελεσματικά μοντέλα λειτουργίας ή νέες αγορές.
Αυτό είναι το κλειδί για την εργασία σε αυτό το πεδίο: η περιέργεια, η αναζήτηση νέων πραγμάτων προς ανακάλυψη, η δημιουργία και η δοκιμή θεωριών και η εύρεση μοτίβων που να επιτρέπουν την πρόβλεψη αποτελεσμάτων.
Τελικά, όλες οι δουλειές του μέλλοντος θα απαιτούν έναν συνδυασμό συγκεκριμένων δεξιοτήτων του τομέα και ικανοτήτων στην επιστήμη δεδομένων, καθώς τα δεδομένα γίνονται σημαντική κινητήρια δύναμη για όλους τους τομείς δραστηριότητας:
Οι επιχειρηματίες θα χρησιμοποιούν δεδομένα για ανάλυση συμπεριφοράς, ποικιλομορφία και βελτιστοποίηση τιμών, βελτιστοποίηση της παροχής εργασίας, βελτιστοποίηση της διανομής και της εφοδιαστικής αλυσίδας, καθώς και για πρόβλεψη της ζήτησης. Ωστόσο, απαιτείται και μια καλή γνώση της βιομηχανίας και της επιχείρησης για τη σωστή εφαρμογή μιας στρατηγικής που βασίζεται στα δεδομένα.
Οι ιατροί, αναλύοντας μεγάλα σύνολα δεδομένων από πληροφορίες ασθενών, μπορούν να βοηθήσουν στον προσδιορισμό ασθενών που έχουν πιθανότητες να νοσήσουν από μια συγκεκριμένη ασθένεια. Οι επαγγελματίες της υγειονομικής περίθαλψης έχουν επίσης σημαντικό ρόλο, συμβάλλοντας στην εκπαίδευση της τεχνητής νοημοσύνης που χρησιμοποιείται στους τομογράφους εγκεφάλου με την παροχή σχολίων για τα αποτελέσματα ως ειδικοί.
Οι επαγγελματίες του τραπεζικού κλάδου μπορούν να εφαρμόσουν την ανάλυση συναισθήματος και τεχνικές προγνωστικής ανάλυσης για να προβλέψουν ποιοι είναι οι πιθανοί πελάτες και επιπλέον να προσφέρουν στοχευμένα προϊόντα στους πελάτες.
Και πολλά άλλα.
Οι μηχανικοί δεδομένων είναι μερικοί από τους πιο περιζήτητους επαγγελματίες δεδομένων
Οι μηχανικοί δεδομένων είναι σημαντικά μέλη της ομάδας ανάλυσης δεδομένων οποιασδήποτε επιχείρησης. Είναι υπεύθυνοι για τη διαχείριση, τη βελτιστοποίηση, την επίβλεψη και την παρακολούθηση της συλλογής, αποθήκευσης και διανομής δεδομένων σε ολόκληρο τον οργανισμό.
Οι μηχανικοί δεδομένων είναι υπεύθυνοι για την εύρεση τάσεων στα σύνολα δεδομένων και την ανάπτυξη αλγορίθμων για να γίνουν τα ανεπεξέργαστα δεδομένα πιο χρήσιμα στην επιχείρηση. Αυτό ο ρόλος IT απαιτεί ένα σημαντικό σύνολο τεχνικών δεξιοτήτων, όπως βαθιά γνώση του σχεδιασμού βάσεων δεδομένων SQL και πολλών γλωσσών προγραμματισμού. Όμως οι μηχανικοί δεδομένων χρειάζονται επίσης δεξιότητες επικοινωνίας για να εργαστούν με διάφορα τμήματα και να κατανοήσουν τι θέλουν να αποκομίσουν τα ηγετικά στελέχη από τα μεγάλα σύνολα δεδομένων της εταιρείας.
Οι δεξιότητες που απαιτούνται για αυτή τη θέση εργασίας περιλαμβάνουν: Apache Spark, Scala, Hadoop, Python, Hive, Amazon Web Services, Apache Kafka, Big Data, Εξαγωγή/Μετατροπή/Φόρτωση (ETL), SQL και μηχανική μάθηση. Οι τομείς που προσλαμβάνουν αυτά τα προφίλ είναι: τεχνολογία και υπηρεσίες πληροφοριών, διαδίκτυο, αυτοκινητοβιομηχανία, λογισμικό υπολογιστών, σύμβουλοι επιχειρήσεων, μηχανολογία, βιομηχανική μηχανική, οικονομικές υπηρεσίες, νοσοκομεία, υγειονομική περίθαλψη και τηλεπικοινωνίες.
Μερικές άλλες ευκαιρίες εργασίας στο πεδίο των μεγάλων δεδομένων είναι: επιστήμονας δεδομένων, προγραμματιστής μεγάλων δεδομένων και σύμβουλος δεδομένων.