Ο όρος Big Data χρησιμοποιείται όλο και περισσότερο σχεδόν παντού στον πλανήτη – διαδικτυακά και εκτός σύνδεσης. Και δεν σχετίζεται μόνο με υπολογιστές. Εμπίπτει κάτω από έναν γενικό όρο που ονομάζεται Τεχνολογία Πληροφορικής^{(Information Technology)} , που αποτελεί πλέον μέρος σχεδόν όλων των άλλων τεχνολογιών και τομέων σπουδών και επιχειρήσεων. Τα μεγάλα δεδομένα^{(Big Data)} δεν είναι μεγάλη υπόθεση. Η διαφημιστική εκστρατεία γύρω από αυτό είναι σίγουρα πολύ μεγάλη υπόθεση για να σας μπερδέψει. Αυτό το άρθρο ρίχνει μια ματιά στο τι είναι Big Data . Περιέχει επίσης ένα παράδειγμα του τρόπου με τον οποίο το NetFlix χρησιμοποίησε τα δεδομένα του, ή μάλλον, Big Data , για να εξυπηρετήσει καλύτερα τις ανάγκες των πελατών του.

Τι είναι τα Μεγάλα Δεδομένα

Τα δεδομένα που βρίσκονταν στους διακομιστές της εταιρείας σας ήταν απλώς δεδομένα μέχρι χθες – ταξινομημένα και αρχειοθετημένα. Ξαφνικά, η αργκό Big Data έγινε δημοφιλής και τώρα τα δεδομένα στην εταιρεία σας είναι Big Data . Ο όρος καλύπτει κάθε στοιχείο δεδομένων που έχει αποθηκεύσει ο οργανισμός σας μέχρι τώρα. Περιλαμβάνει δεδομένα που είναι αποθηκευμένα στα σύννεφα και ακόμη και τις διευθύνσεις URL^(URLs) που έχετε προσθέσει σελιδοδείκτη. Η εταιρεία σας μπορεί να μην έχει ψηφιοποιήσει όλα τα δεδομένα. Μπορεί να μην έχετε ήδη δομήσει όλα τα δεδομένα. Αλλά τότε, όλα τα ψηφιακά, έντυπα, δομημένα και μη δομημένα δεδομένα με την εταιρεία σας είναι πλέον Big Data .

Εν ολίγοις, όλα τα δεδομένα – είτε είναι κατηγοριοποιημένα είτε όχι – που υπάρχουν στους διακομιστές σας ονομάζονται συλλογικά ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ^{(BIG DATA)} . Όλα αυτά τα δεδομένα μπορούν να χρησιμοποιηθούν για τη λήψη διαφορετικών αποτελεσμάτων χρησιμοποιώντας διαφορετικούς τύπους ανάλυσης. Δεν είναι απαραίτητο όλες οι αναλύσεις να χρησιμοποιούν όλα τα δεδομένα. Η διαφορετική ανάλυση χρησιμοποιεί διαφορετικά μέρη των ΜΕΓΑΛΩΝ ΔΕΔΟΜΕΝΩΝ^{(BIG DATA)} για να παράγει τα αποτελέσματα και τις απαραίτητες προβλέψεις.

Τα Big Data^{(Big Data)} είναι ουσιαστικά τα δεδομένα που αναλύετε για αποτελέσματα που μπορείτε να χρησιμοποιήσετε για προβλέψεις και άλλες χρήσεις. Όταν χρησιμοποιείτε τον όρο Big Data , ξαφνικά η εταιρεία ή ο οργανισμός σας συνεργάζεται με τεχνολογία ^{(Big Data)}πληροφοριών^{(Information)} ανώτατου επιπέδου για να συναγάγει διαφορετικούς τύπους αποτελεσμάτων χρησιμοποιώντας τα ίδια δεδομένα που αποθηκεύσατε ηθελημένα ή ακούσια κατά τη διάρκεια των ετών.

Πόσο μεγάλα είναι τα Big Data

Ουσιαστικά, όλα τα δεδομένα που συνδυάζονται είναι Μεγάλα Δεδομένα^{(Big Data)} , αλλά πολλοί ερευνητές συμφωνούν ότι τα Μεγάλα Δεδομένα –^{(Big Data –)} ως τέτοια – δεν μπορούν να χειριστούν χρησιμοποιώντας κανονικά υπολογιστικά φύλλα και κανονικά εργαλεία διαχείρισης βάσεων δεδομένων. Χρειάζονται ειδικά εργαλεία ανάλυσης όπως το Hadoop (θα το μελετήσουμε σε ξεχωριστή ανάρτηση) έτσι ώστε όλα τα δεδομένα να μπορούν να αναλυθούν ταυτόχρονα (μπορεί να περιλαμβάνουν επαναλήψεις ανάλυσης).

Σε αντίθεση με τα παραπάνω, αν και δεν είμαι ειδικός στο θέμα, θα έλεγα ότι τα δεδομένα με οποιονδήποτε οργανισμό –μεγάλο ή μικρό, οργανωμένο ή μη– αποτελούν Μεγάλα Δεδομένα για αυτόν τον οργανισμό και ότι ο οργανισμός μπορεί να επιλέξει τα δικά του εργαλεία για την ανάλυση των δεδομένα.^{(Contrary to the above, though I am not an expert on the subject, I would say that data with any organization – big or small, organized or unorganized – is Big Data for that organization and that the organization may choose its own tools to analyze the data.)}

Κανονικά, για την ανάλυση δεδομένων, οι άνθρωποι δημιουργούσαν διαφορετικά σύνολα δεδομένων με βάση ένα ή περισσότερα κοινά πεδία, έτσι ώστε η ανάλυση να γίνεται εύκολη. Στην περίπτωση των Μεγάλων Δεδομένων^{(Big Data)} , δεν χρειάζεται να δημιουργηθούν υποσύνολα για την ανάλυσή τους. Τώρα έχουμε εργαλεία που μπορούν να αναλύσουν δεδομένα ανεξάρτητα από το πόσο τεράστια είναι. Πιθανώς, αυτά τα εργαλεία κατηγοριοποιούν τα δεδομένα ακόμη και όταν τα αναλύουν.

Θεωρώ σημαντικό να αναφέρω δύο φράσεις από το βιβλίο «Big Data» του Jimmy Guterman :

“Big Data: when the size and performance requirements for data management become significant design and decision factors for implementing a data management and analysis system.”

-Και-

“For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration.”

Βλέπετε λοιπόν ότι τόσο ο όγκος όσο και η ανάλυση αποτελούν σημαντικό μέρος των Big Data .

Διαβάστε^(Read) : Τι είναι η εξόρυξη δεδομένων;^{(What is Data Mining?)}

Έννοιες μεγάλων δεδομένων

Αυτό είναι ένα άλλο σημείο όπου οι περισσότεροι άνθρωποι δεν συμφωνούν. Μερικοί ειδικοί λένε ότι οι Έννοιες Μεγάλων Δεδομένων^{(Big Data Concepts)} είναι τρία V:

1. Ενταση ΗΧΟΥ
2. Ταχύτητα
3. Ποικιλία

Κάποιοι άλλοι προσθέτουν μερικά περισσότερα V στην ιδέα:

1. Οραματισμός
2. Ειλικρίνεια (Αξιοπιστία)
3. Μεταβλητότητα και
4. αξία

Θα καλύψω τις έννοιες των Μεγάλων Δεδομένων^{(Big Data)} σε ξεχωριστό άρθρο καθώς αυτή η ανάρτηση έχει ήδη γίνει μεγάλη. Κατά τη γνώμη μου, τα τρία πρώτα V είναι αρκετά για να εξηγήσουν την έννοια των Big Data .

Παράδειγμα Big Data – Πώς το χρησιμοποίησε το NetFlix^{(Big Data Example – How NetFlix)} για να διορθώσει τα προβλήματά του

Προς το 2008, υπήρξε μια διακοπή λειτουργίας στο NetFlix λόγω της οποίας πολλοί πελάτες έμειναν στο σκοτάδι. Ενώ ορισμένοι εξακολουθούσαν να έχουν πρόσβαση στις υπηρεσίες ροής, οι περισσότεροι από αυτούς δεν μπορούσαν. Μερικοί πελάτες κατάφεραν να πάρουν τα νοικιασμένα DVD^(DVDs) τους, ενώ άλλοι απέτυχαν. Μια ανάρτηση ιστολογίου στη Wall Street Journal αναφέρει ότι το Netflix μόλις ξεκίνησε τη ροή κατ' απαίτηση.

Η διακοπή έκανε τη διοίκηση να σκεφτεί τα πιθανά μελλοντικά προβλήματα και ως εκ τούτου? στράφηκε στα Μεγάλα Δεδομένα^{(Big Data)} . Ανέλυσε περιοχές υψηλής επισκεψιμότητας, ευαίσθητα σημεία και απόδοση δικτύου κ.λπ. χρησιμοποιώντας αυτά τα δεδομένα και εργάστηκε πάνω σε αυτά για να μειώσει το χρόνο διακοπής λειτουργίας εάν προκύψει μελλοντικό πρόβλημα καθώς έγινε παγκόσμια. Εδώ είναι ο σύνδεσμος^{(the link)} προς το Ιστολόγιο της Wall Street Journal^{(Wall Street Journal Blog)} , εάν θέλετε να δείτε τα παραδείγματα των Μεγάλων Δεδομένων^{(Big Data)} .

Τα παραπάνω συνοψίζουν τι είναι τα Big Data σε μια απλή γλώσσα. Μπορείτε να το ονομάσετε μια πολύ βασική εισαγωγή. Σκοπεύω να γράψω μερικά ακόμη άρθρα σχετικά με συναφείς παράγοντες όπως – Έννοιες^(Concepts) , Ανάλυση^(Analysis) , Εργαλεία^(Tools) και χρήσεις Big Data^{(uses of Big Data)} , Big Data 3 V κ.λπ. Εν τω μεταξύ, εάν θέλετε να προσθέσετε κάτι στα παραπάνω, σχολιάστε και μοιραστείτε μαζί μας.

Διαβάστε στη συνέχεια^{(Read next)} : Τι είναι το Web Scraping ;

What is Big Data - A Simple Explanation with Example

The term Big Data is being increasingly used almost everywhere on the planet – online and offline. And it is not related to computers only. It comes under a blanket term called Information Technology, which is now part of almost all other technologies and fields of studies and businesses. Big Data is not a big deal. The hype surrounding it is a sure pretty big deal to confuse you. This article takes a look at what is Big Data. It also contains an example of how NetFlix used its data, or rather, Big Data, to better serve its clients’ needs.

What is Big Data

The data lying in the servers of your company was just data until yesterday – sorted and filed. Suddenly, the slang Big Data got popular, and now the data in your company is Big Data. The term covers each and every piece of data your organization has stored until now. It includes data stored in clouds and even the URLs that you bookmarked. Your company might not have digitized all the data. You may not have structured all the data already. But then, all the digital, papers, structured and non-structured data with your company is now Big Data.

In short, all the data – whether or not categorized – present in your servers are collectively called BIG DATA. All this data can be used to get different results using different types of analysis. It is not necessary that all analyses use all the data. The different analysis uses different parts of the BIG DATA to produce the results and predictions necessary.

Big Data is essentially the data that you analyze for results that you can use for predictions and other uses. When using the term Big Data, suddenly your company or organization is working with top-level Information technology to deduce different types of results using the same data that you stored intentionally or unintentionally over the years.

How big is Big Data

Essentially, all the data combined is Big Data, but many researchers agree that Big Data – as such – cannot be manipulated using normal spreadsheets and regular tools of database management. They need special analysis tools like Hadoop (we’ll study this in a separate post) so that all the data can be analyzed at one go (may include iterations of analysis).

Contrary to the above, though I am not an expert on the subject, I would say that data with any organization – big or small, organized or unorganized – is Big Data for that organization and that the organization may choose its own tools to analyze the data.

Normally, for analyzing data, people used to create different data sets based on one or more common fields so that analysis becomes easy. In the case of Big Data, there is no need to create subsets for analyzing it. We now have tools that can analyze data irrespective of how huge it is. Probably, these tools themselves categorize the data even as they are analyzing it.

I find it important to mention two sentences from the book “Big Data” by Jimmy Guterman:

“Big Data: when the size and performance requirements for data management become significant design and decision factors for implementing a data management and analysis system.”

-And-

“For some organizations, facing hundreds of gigabytes of data for the first time may trigger a need to reconsider data management options. For others, it may take tens or hundreds of terabytes before data size becomes a significant consideration.”

So you see that both volume and analysis are an important part of Big Data.

Read: What is Data Mining?

Big Data Concepts

This is another point where most people don’t agree. Some experts say that the Big Data Concepts are three V’s:

1. Volume
2. Velocity
3. Variety

Some others add few more V’s to the concept:

1. Visualization
2. Veracity (Reliability)
3. Variability and
4. Value

I will cover concepts of Big Data in a separate article as this post is already getting big. In my opinion, the first three V’s are enough to explain the concept of Big Data.

Big Data Example – How NetFlix used it to fix its problems

Towards 2008, there was an outage at NetFlix due to which many customers were left in the dark. While some could still access the streaming services, most of them could not. Some customers managed to get their rented DVDs whereas others failed. A blog post on the Wall Street Journal says Netflix had just started on-demand streaming.

The outage made the management think about the possible future problems and hence; it turned to Big Data. It analyzed high traffic areas, susceptible points, and network throughput, etc. using that data and worked on it to lower the downtime if a future problem arises as it went global. Here is the link to the Wall Street Journal Blog, if you wish to check out the examples of Big Data.

The above summarizes what is Big Data in a layman’s language. You can call it a very basic introduction. I plan to write a few more articles on associated factors such as – Concepts, Analysis, Tools, and uses of Big Data, Big Data 3 V’s, etc. Meanwhile, if you would like to add anything to the above, please comment and share with us.

Read next: What is Web Scraping?

Related posts

• Κατανάλωση μεγάλων δεδομένων. Ποιες είναι οι χρήσεις των μεγάλων δεδομένων.

• Τι είναι το Data Analytics και σε τι χρησιμεύει

• Ποια είναι η διαφορά μεταξύ Δεδομένων και Πληροφοριών

• Πώς να εγκαταστήσετε το Drupal χρησιμοποιώντας WAMP στα Windows

• Καλύτερο λογισμικό και υλικό Bitcoin Wallets για Windows, iOS, Android

• Παρουσιάστηκε σφάλμα κατά τον έλεγχο για ενημερώσεις στο VLC

• Οι εφαρμογές OpenGL δεν εκτελούνται σε ασύρματη οθόνη Miracast στα Windows 11/10

• Το NASA's Eyes σας βοηθά να εξερευνήσετε το Σύμπαν σαν αστροναύτες

• Εθιμοτυπία τηλεδιάσκεψης, συμβουλές και κανόνες που πρέπει να ακολουθείτε

• Τι είναι το Blue Whale Challenge Dare Game

• Οι καλύτερες δυνατότητες στο LibreOffice Calc

• Τα καλύτερα σακίδια πλάτης φορητών υπολογιστών για άνδρες και γυναίκες

• Τα καλύτερα εργαλεία για να στείλετε SMS δωρεάν από τον υπολογιστή σας

• Microsoft Identity Manager: Δυνατότητες, Λήψη

• Πώς να κλείσετε τον λογαριασμό σας Payoneer;

• Ρύθμιση ραδιοφωνικού σταθμού Internet δωρεάν σε υπολογιστή με Windows

• Συμβουλές αγορών Cyber ​​Monday & Black Friday για εκπτώσεις που θέλετε να ακολουθήσετε

• Διαφορά μεταξύ αναλογικών, ψηφιακών και υβριδικών υπολογιστών

• Οι 10 καλύτερες λάμπες LED USB για φορητούς υπολογιστές

• Το Automate.io είναι ένα δωρεάν εργαλείο αυτοματισμού και εναλλακτική λύση IFTTT