Big Data - wielkie nadzieje

Przeczytaj także: Niedoceniana elastyczność cloud computing

Fulcrum Research twierdzi, że 80% zawartości danych przedsiębiorstw jest niestrukturalnych (na przykład dane przechowywane w dokumentach Word docs i PDF, w przeciwieństwie do zorganizowanych baz danych, typu CRM, itp.). Z kolei według Forrester Research, ilość danych w obiegu przedsiębiorstw rośnie w tempie 200% rocznie. To już prosta droga do ‘przegrzania informacyjnego’, które skutkować będzie obniżeniem wydajności. ‘Przeciążenie informacyjne’ jest faktem dla wielu przedsiębiorstw, organizacji i indywidualnych użytkowników.

Dużym wyzwaniem dla pracowników jest wyszukiwanie informacji z różnych źródeł i formatów: intranety, emaile, współdzielone pliki, wiki, oraz z systemów typu gromadzących wiedzę przedsiębiorstwa, jak Customer Relationship Management (CRM), Enterprise Resource Planning (ERP), czy innych aplikacji. Według badań firmy Gartner, 66% przedsiębiorstw wykorzystuje sześć lub więcej takich repozytoriów. Znalezienie właściwej informacji z tak wielu różnorodnych źródeł w większej strukturze firmowej, bez wiedzy, gdzie należy ich szukać, staje się prawie niemożliwe. Usprawnienie systemu leży w narzędziach do analizy i zarządzania danymi oraz w szkoleniach pracowników.

Jednym ze sposobów skuteczniejszego zarządzania danymi jest zaprezentowana w tabeli powyżej koncepcja Diane Berry. Wprawdzie wszystko wydaje się jak najbardziej logiczne i przemyślane, to jednak jest to jeszcze jeden z wielu celów, bez podania sposobu jego realizacji.

BIG DATA: W POSZUKIWANIU ROZWIĄZAŃ

Tradycyjne narzędzia, takie jak konwencjonalne relacyjne bazy danych, nie nadają się do obsługi Big Data. Dopiero firmy internetowe rozpoczęły pionierską pracę w tej dziedzinie. Unikały modeli relacyjnych bazy danych i tworzyły własne ramy współpracy z Big Data, składające się z baz danych NoSQL, rozproszonych systemów przetwarzania, wyspecjalizowanych struktur danych i innych elementów. Z czasem ramy te były konsolidowane, a wiele z nich jest dostępnych do dzisiaj w opcji przetwarzania równoległego.

Google był chyba pierwszą firmą stosującą efektywne wykorzystanie Big Data. Poprzez gromadzenie i analizowanie ogromnych zbiorów stron internetowych i relacji między nimi (linki), udało się stworzyć pierwsze prawdziwie uniwersalne wyszukiwarki, zdolne do zapytań i indeksowania miliardów stron bez ingerencji człowieka. Zamiast polegać na tradycyjnej technologii - relacyjnej bazie danych - inżynierowie Google stworzyli swój własny unikalny system do obsługi Wielkich Danych.

Obsługa Big Data stworzyła możliwość, dzięki której firmy każdej wielkości mają dostęp do mocy obliczeniowej niezbędnej do przetwarzania coraz większej ilości danych. To z kolei generuje pozytywne sprzężenie zwrotne: jeśli użytkownicy końcowi wierzą, że mogą przetwarzać więcej danych, będą jednocześnie gromadzić więcej danych, co z kolei prowadzi do większego zapotrzebowania na przetwarzanie danych, i tak dalej.