March 27,2024

Tabele i wykresy przestawne od A do Z dynamiczna analiza dużych zbiorów danych

By Weronika Skotnicka

Wielki biznes, dużo danych - ICAN Institute w Warszawie

Termin big data pojawia się obecnie nie tylko w specjalistycznych opracowaniach, ale także w mediach głównego nurtu. Nie za bardzo wiadomo jednak, co się za nim kryje. Spróbujmy dzisiaj spojrzeć nie tylko na samą technologię, ale także na biznesowe konsekwencje jej zastosowania.

Big data to dosłownie dużo danych. Jak dużo to dużo? Typowa ustrukturalizowana baza danych w przedsiębiorstwie zawiera od megabajtów do gigabajtów danych – czyli około 10‑100 miliardów bitów (zer lub jedynek). W dużych przedsiębiorstwach podstawowe zbiory liczone są w terabajtach, coraz częściej w petabajtach (czyli bilionach i biliardach bitów). Sytuacja zmienia się, kiedy w grę nie wchodzą proste dane (np. nazwy czy adresy kontrahentów) a multimedia – nagrania rozmów telefonicznych, zdjęcia, filmy z monitoringu. Danych może być wtedy nawet wiele razy więcej.

Dużo – czyli właściwie: ile?

Jeśli wyjdziemy poza granice jednego przedsiębiorstwa i zaczniemy łączyć dane z różnych źródeł, zmierzymy się z objętościami rzędu eksabajtów, czyli miliardów miliardów bitów. Tutaj ludzka wyobraźnia przestaje powoli się sprawdzać, bo jak sobie wyobrazić miliard miliardów?

W big data nie chodzi jednak o rozmiary danych, a raczej o mnogość ich różnorodności (np. danym o transakcji w sklepie internetowym towarzyszą dane o wszystkich kliknięciach, które wykonał klient, zanim podjął decyzję o zakupie), skojarzoną z innymi danymi na temat danego klienta: jego profilem reklamowym, preferencjami dotyczącymi dostawy, szczegółami zamówienia (włącznie z kodem kreskowym paczki) oraz nagraniami rozmów, które ten klient przeprowadził z infolinią, zanim potwierdził zamówienie.

Wielkie dane, wielkie obliczenia

Big data to zatem nie tylko zbiory danych, ale i sposób ich analizy. Zwykła analiza danych potrafi odpowiedzieć na pytania natury demograficznej w oparciu o informacje zawarte w rekordzie, np.: jaką mamy średnią marżę na produkcie – (w sytuacji, gdy dysponujemy danymi o koszcie zakupu i rekordami sprzedaży); który kanał reklamowy sprawia, że klienci trafiają do naszego serwisu internetowego (jeśli mamy tę informację podaną bezpośrednio). Big data łączy różne źródła danych i jest w stanie wnioskować na ich podstawie, nawet jeśli są one niepełne.

Pytanie, na które potrafi odpowiedzieć analiza tej klasy, to np. w którym z internetowych serwisów społecznościowych opinie na temat naszej firmy są najlepsze, w jakim stopniu przeczytanie relacji z wakacji w serwisie podróżniczym sprawia, że klienci chętniej podejmują decyzje o zakupie wycieczki, czy która grupa wiekowa najchętniej korzysta z naszych produktów – w sytuacji, gdy sami nie zbieramy danych o dacie urodzenia, tylko musimy je wywnioskować z wcześniej odwiedzanych stron albo grupy znajomych klienta.

Symulacje na podstawie dużych zbiorów danych

Zaawansowane metody big data odpowiadają także na pytania spekulatywne: co byłoby, gdybyśmy cenę naszego towaru podwyższyli o 5% i jednocześnie zainwestowali w dany kanał reklamowy albo czy warto byłoby zadbać o grupę klientów podróżujących pociągami, bo średnia marża uzyskana na niej uzasadniłaby koszty dotarcia do tej grupy. Big data to więc łączenie danych analitycznych z transakcyjną zdolnością do podejmowania decyzji tu i teraz.

Złożoność obliczeniowa tej klasy zadań jest o rząd – albo nawet kilka rzędów wielkości – większa niż tradycyjnych zadań analitycznych. Wyobraźmy sobie pięciu przyjaciół, którzy razem chodzą pograć w piłkę nożną. Wracając do domu, wstępują do baru na piwo. Socjologia mówi, że w takiej grupie jest zawsze nieformalny lider – to on wybiera bar oraz markę piwa. Analizując dane o transakcjach kartowych tej grupy oraz stacje bazowe, z którymi łączą się ich telefony, jesteśmy w stanie wyznaczyć ich ulubiony bar. Ale analizując kolejność transakcji, możemy także wskazać lidera – to on dokonuje zakupu pierwszy, a reszta uczestników idzie jego śladem. Wykrycie lidera za pomocą metod analitycznych to jak wygrana na loterii. Możemy do niego kierować reklamy, możemy zaproponować mu kartę lojalnościową albo kupon rabatowy. Z punktu widzenia marketingowego efekt będzie dokładnie taki sam, jakby dotrzeć do wszystkich pięciu. Koszty będą zaś o 80% niższe. Jest więc z czego sfinansować zakup technologii big data.

Big data a chmura

A dokładniej mówiąc − jej wynajęcie. Cechą charakterystyczną big data jest bowiem dostępność tej technologii z chmury obliczeniowej. Nie trzeba posiadać wielkiej serwerowni, w niej potężnych komputerów oraz ogromnych macierzy, aby z big data korzystać. Duża część narzędzi dostępna jest w internecie – wysyłamy swoje zbiory danych do dostawcy technologii, przeprowadzamy odpowiednie obliczenia i pobieramy jedynie wnioski. Taki dostawca często udostępni nam także analityków, którzy pokierują naszymi działaniami: doradzą, jaki potencjał posiadają nasze zbiory, jak je wstępnie obrobić i ustrukturalizować, aby analizy były łatwiejsze, a także pomogą postawić hipotezy i przeprowadzić obliczenia, które je zweryfikują.

Oczywiście trzeba pamiętać, że w przypadku korzystania z chmury obliczeniowej dostęp do danych mamy nie tylko my, ale także dostawca chmury. Może prowadzić takie same – albo doskonalsze – obliczenia na naszych zbiorach danych. Łączyć je z tymi zbiorami, do których my nie posiadamy dostępu (ale które on sam także przetwarza). Godząc się na taki model, musimy pamiętać, że dane i wnioski z nich udostępniamy jednocześnie innym podmiotom.

Zagrożenia

Big data to nie tylko szanse, ale także zagrożenia biznesowe. Analiza wielkich zbiorów danych, zwłaszcza dotyczących konsumentów i ich zachowań, ociera się o inwigilację. Łączenie danych bankowych i telekomunikacyjnych daje nieomal pełnię wiedzy o fizycznych ruchach człowieka. Dołączenie do tego informacji, jakie strony odwiedza, jakie towary kupuje, jakie media czyta, to niemal stuprocentowo pewne informacje o jego wieku, hobby, sytuacji materialnej, rodzinnej.

Analityk big data może nawet dojść do wniosków, z których sam człowiek nie zdaje sobie sprawy, a które dotyczą tzw. wrażliwej strony jego życia. Może np. stwierdzić, że jego małżeństwo nie jest w najlepszej kondycji, on sam posiada kwalifikacje coraz mniej pożądane na rynku, zaś jego tryb życia nie pozwala sądzić, że będzie długo cieszył się zdrowiem. Przetwarzanie tego rodzaju danych objęte jest w większości krajów szczególną ochroną i kontrolą. I jednocześnie bardzo wartościowe – pomyślmy, ile ubezpieczyciel zapłaciłby za informacje o trybie życia i diecie posiadacza polisy na życie.

Szanse

Powróćmy jednak do szans. Bez big data pewne rzeczy nie byłyby w ogóle możliwe. Świetnym przykładem zastosowań jest medycyna. Tomograf komputerowy podczas jednego badania generuje od kilku do kilku tysięcy megabajtów danych. Lekarz może nie spostrzec pierwszych objawów choroby nowotworowej, bo będzie miał gorszy dzień albo za słabe okulary. Algorytm analizujący obrazy z tomografu może natomiast dostrzec anomalie i zasygnalizować to lekarzowi – tym samym prowadząc do szybszego wykrycia i większych szans wyleczenia guza.

Big data to już dzisiaj działające systemy zarządzania ruchem w miastach. Informacje o strumieniach pojazdów napływających z różnych kierunków pozwalają władzom miasta dobrać ustawienie zielonych świateł na kluczowych skrzyżowaniach i zminimalizować poranne oraz popołudniowe korki. Big data pozwala monitorować zagrożenia związane z terroryzmem – wykrywać anormalne zachowania lub zakupy. Przeciwdziała praniu brudnych pieniędzy i finansowaniu terroryzmu. Dzięki narzędziom tej klasy można także analizować dane dotyczące klimatu i odpowiednio wcześnie ostrzegać przed zjawiskami o charakterze katastrofalnym – takimi jak tornada albo powodzie – prowadząc do minimalizacji strat ludzkich i materialnych.

Czy jesteście gotowi?

Big data to nie tylko technologia, ale – może nawet przede wszystkim – stan świadomości organizacji i jej zdolność do podejmowania decyzji. Nie wystarczy gromadzenie danych. Trzeba jeszcze nadać im odpowiedni format i odpowiednio go opisać. Kompetentni analitycy muszą wiedzieć, jaki potencjał w nich tkwi i umieć go wyciągnąć. Technologia –jak to technologia – sama z siebie może niewiele, swoją siłę ujawnia dopiero w rękach specjalisty, który potrafi zastosować ją dla potrzeb biznesu.

Big data to także zmiana kulturowa. Zwłaszcza, powiedzmy to otwarcie, w Polsce, w której w organizacjach nadal często obecny jest model feudalny i dogmat o nieomylności szefa. Sytuacja, w której jakaś maszyna w rękach analityka, działająca na podstawie strumienia zer i jedynek, postawi hipotezy inne niż dyrektor sprzedaży, dla wielu z nich może być trudna do zaakceptowania. Warto upewnić się, że nasza firma będzie zdolna do takiej konfrontacji, zanim zainwestujemy w usługi big data – może się bowiem okazać, że i tak rekomendacje modeli predykcyjnych nie będą brane pod uwagę.

Tak więc na big data trzeba patrzeć kompleksowo – zarówno od strony technologii, jak i struktury oraz kultury organizacji biznesowej, a także prawa i etyki. I tylko takie kompleksowe ujęcie big data ma dzisiaj sens.

9 przykładów zastosowań.

Big Data rozwija się stopniowo od lat 90, kiedy to powstały pierwsze próby i koncepcje analizy dużych zbiorów danych. Dopiero po 2010 roku technologia doścignęła pomysły naukowców i zaczęła być wykorzystywana w wielu dziedzinach naszego życia, w tym w handlu online. Ostatnie 8 lat to stały napływ technologii, narzędzi, platform i pomysłów, jak wykorzystać Big Data w handlu. Najwięcej zyskali innowatorzy, jak np. Amazon, który wprowadził system rekomendacji produktów odpowiedzialny obecnie za 30% wszystkich zakupów w platformie. Pierwszym najlepszym momentem był więc początek dekady, drugi jest teraz. Przeczytaj, jak można wykorzystać Big Data w e-Commerce.

Czym jest Big Data?

Big Data ciężko jednoznacznie zdefiniować. Są to zadania wykonywane na dużych zbiorach danych. Nie ma jednak jednej technologii, którą się wykorzystuje. Nie ma też definicji ile danych to “dużo danych”.

Dosyć obrazowym sposobem przedstawiającym czym zajmuje się Big Data, jest obserwowanie grupy ludzi. Załóżmy, że patrzymy na kilkudziesięcioosobową grupę, Możemy rozpoznać ich twarze, zobaczyć ich interakcje, możemy też policzyć ile z nich to kobiety, a ile mężczyźni. Big Data przypomina z kolei obserwowanie tłumu na festiwalu muzycznym z odległości. Nie rozpoznamy swoich znajomych, nie wiemy również o czym rozmawiają poszczególne jednostki. Możemy jednak obserwować ogólne zachowania grupy, np, że część osób ustawia się w kolejce po coś do picia. Możemy też zobaczyć, że potworzyły się podgrupy, a nawet jesteśmy w stanie zdefiniować kierunek poruszania się tych grup. To właśnie przypomina analizę Big Data.

W 2001 roku pojęcie to zostało zdefiniowane jako operowanie na zbiorach danych, które mają duże:

1. Volume, czyli ilość danych,

2. Velocity, czyli zmienność danych,

3. Variety, czyli różnorodność danych;

Później zostało dodane jeszcze jedno pojęcie, tym samym tworząc model 4V:

1. Value, dotyczące tego, czy dane są wartościowe;

Podsumowując, Big Data to wszystkie operacje na dużych, zmieniających się, wartościowych danych, pochodzących z różnych źródeł i przetwarzanych jako jeden zbiór. Celem tych operacji jest zaś odkrycie nowych korelacji, obserwacji i wspieranie decyzji biznesowych.

Aktualnie są to działania zarezerwowane głównie, aczkolwiek nie wyłącznie, dla największych firm w e-commerce. W dalszej części artykułu, zamieściliśmy linki do kilku narzędzi dla mniejszych biznesów ). Jeżeli chodzi o badanie firm z tzw. Fortune 100 (czyli 100 największych firm na świecie), to w 2017 roku, aż 26,8% z nich deklarowało, że inwestują min. 50 milionów dolarów w rozwój tej technologii.

Big Data w e-commerce– badanie korelacji

Warto wspomnieć o tym, że Big Data w e-commerce opiera się z reguły na badaniu korelacji, a nie przyczynowości. Jest to dosyć ważna różnica, bo pierwsze mówi nam o tym, że wśród osób, które palą papierosy, występuje częściej rak płuca, a dopiero drugie pozwala potwierdzić, że przyczyną raka płuca jest palenie.

Korelacja może, ale nie musi wskazywać nam na wartościową relację. Na stronie zostały zebrane różne korelacje, które ewidentnie nie mają cech przyczynowości. Przykładem może być np. liczba osób, która się utopiła w basenie vs liczba filmów, w których wystąpił Nicolas Cage. To doskonale pokazuje, że samo badanie korelacji to za mało. Zakładając jednak pewne ograniczenia, można uzyskać wartościowe wyniki.

Big Data a płatności

Pierwszym przykładem są płatności. Big Data jest wykorzystywane m.in. przez Asseco. Nasuwa się pytanie – po co? Dzięki dostępowi do:

1. Ogromnych baz danych wszystkich transakcji (Volume),

2. Dziejących się setki tysięcy razy każdego dnia (Velocity),

3. Dzięki zebraniu danych z różnorodnych źródeł – m.in.: informacjach o podmiotach i relacjach między nimi, transakcjach, produktach, wnioskach kredytowych oraz czarnych / białych listach (Variety);

Otrzymujemy niesamowitą szansę wygenerowania pewnych wniosków, które nie byłyby dostępne bez Big Data. Tym samym firmy zajmujące się płatnościami online, takie jak Visa czy PayPal, mogą w czasie rzeczywistym blokować transakcje, które “system” uważa za niebezpieczne. Big Data w e-commerce jest w tym wypadku strażnikiem. Analizując zachowania i powiązania, może zatrzymać przestępstwa finansowe.

Big Data a logistyka

Innym przykładem, który pokazuje niesamowity potencjał Big Data, jest logistyka. Od 2003 roku UPS wprowadzało system ORION (On-Road Integration Optimization and Navigation), który wskazuje kierowcom najlepszą drogę do dostarczenia ich przesyłek ( a jest ich ok. 100 dziennie). Moglibyśmy pomyśleć, że przecież wystarczyłoby wyposażyć kierowców w GPS. Zadanie jest jednak znacznie bardziej skomplikowane. System bierze pod uwagę nie tylko najbliższą paczkę, ale wszystkie, które są zaplanowane w ramach trasy. Ponadto projektuje też trasę w ten sposób, żeby było jak najmniej skrętów w lewo (ze względu na konieczność przepuszczenia innych jest to znacznie mniej efektywne). Wyniki? W 2016 roku pozwoliło to zaoszczędzić ok. 38 milionów litrów paliwa, czyli ok. 300–400 milionów dolarów . Działania te okazały się zatem niezwykle skuteczne. (Pełny artykuł na ten temat do przeczytania tutaj).

Zarządzanie zasobami

Posiadając własny magazyn, na pewno spotkaliśmy się z sytuacją , że jakiś produkt nieprzewidzianie skończył się i musieliśmy go wyłączyć z oferty. Prawdopodobnie potrafimy również wskazać produkty zalegające na półkach od miesięcy, których sprzedaż nie spełnia naszych oczekiwań. W przypadku Amazona musimy je przemnożyć przez 1000, albo przez 398 milionów produktów (!) Wszyscy przyznamy, że ciężko jest zapanować nad takim magazynem ręcznie.

Amazon analizuje więc poprzez Big Data historyczne dane zakupowe, święta, festiwale, itd. Wylicza, ile danego produktu powinno być na stanie w każdym możliwym momencie. Pozwala to zapewnić wysoką dostępność produktów (czyli polepszyć Customer Experience). Dodatkowo znacząco ogranicza koszty związane z magazynowaniem produktów, nie mówiąc już o zmniejszeniu liczby przypadkowo uszkodzonych sztuk.

Analiza trendów

Decyzja, by wyprodukować kilkaset tysięcy nowych produktów zawsze jest ryzykowna. Produkt może się nie sprzedać, a my zostaniemy z ogromnym deficytem w budżecie. Z tego powodu właściciele biznesów zwrócili się w stronę Big Data. Dzięki analizowaniu internetu, social-media, profili użytkowników, hashtagów, popularnych słów kluczowych itd. są w stanie wykryć nadchodzące trendy. Dzięki temu znacząco zmniejszone jest ryzyko biznesowe. Co ciekawe, niektóre algorytmy są na tyle inteligentne, że potrafią np. rozpoznać, iż dana aktorka założyła na czerwonym dywanie dany model ubioru. To z kolei spowoduje wzrost zainteresowania tym typem produktu. Tutaj płynnie przechodzimy do kolejnego punktu, bo na bazie tych informacji, jesteśmy w stanie wyeksponować w naszym sklepie podobne produkty, tym samym zwiększając sprzedaż.

Personalizacja

Ponownie dzięki zbieraniu gigantycznych zasobów danych np. z naszej przeglądarki, profilu na Facebooku, zapisanych ciasteczek, kodów remarketingowych, wcześniej przeglądanych stron, etc. – właściciele sklepów internetowych są w stanie dostosować ofertę do swoich Klientów. Pokazać im inne bannery czy wskazać wybrane produkty.

Personalizacja idzie tutaj o krok dalej – np. firma Nordstrom zbiera dane z wielu źródeł, m.in. strony internetowej, social media, zamówień Klienta, kart lojalnościowych, etc. Na bazie tych danych definiuje, jaki jest ulubiony kanał komunikacji Klienta. Następnie cała komunikacja jest do niego kierowana tym właśnie kanałem. Jeśli Klient lubi rozmawiać na messengerze, to właśnie tam otrzyma najnowszą ofertę. Woli kontakt mailowy? Oferta pojawi się na mailu.

Ocena zadowolenia Klienta oraz opuszczone koszyki

Wykorzystanie tych samych zbiorów danych, połączonych czasami z dodatkowymi źródłami, takimi jak monitoring sklepu czy komentarze w internecie, pozwala też na ocenę satysfakcji Klienta (sentiment analysis) oraz ocenę prawdopodobieństwa zakupów przez danego Klienta.

Inteligentne systemy potrafią też znacząco pomóc w kwestii opuszczonych koszyków. Może to być m.in. poprzez dobór odpowiednich zniżek, dobór produktów rekomendowanych, ale też dobór kanału komunikacji. Przykładowo: Klient X był już bliski zakupu, więc wystarczy mu przypomnieć, a Klientowi Y zaproponować zniżkę, ponieważ nie był jeszcze na tyle zaangażowany. Jeżeli dany Klient nie ma stałego kontaktu z e-mailem, to system może wysłać mu wiadomość za pomocą smsa, albo poprzez chat.

Wyliczanie cen

Powoli docieramy do elementów , których nigdy nie byłby w stanie zrobić człowiek. Mechanizmy Big Data potrafią bowiem dostosować cenę/zniżkę w produkcie w czasie rzeczywistym. Może się ona zmieniać w zależności od:

1. chwilowej popularności produktu,

2. ceny podobnych produktów u konkurencji,

3. narzutu,

4. ogólnego poziomu zadowolenia użytkownika,

5. jego historii zakupowej,

6. jego podatności na zniżki,

7. jego komentarzy na social-media,

8. jego przywiązania do marki, etc.

Wyobraźmy sobie system, który „żonglując” cenami, potrafi zapewnić wzrost sprzedaży na poziomie kilkunastu-kilkudziesięciu procent. Prawda, że jest to niezwykle kuszące? Co więcej, inteligentne systemy potrafią nawet stwierdzić, że dany produkt sam z siebie się nie sprzeda, ale w opakowaniu zbiorczym już tak. Tworzenie takich zestawów i manipulowanie ceną może mieć znaczący wpływ na sprzedaż. Jak bardzo znaczący? W przypadku Walmartu – 10–15% wzrost sprzedaży, zapewniający ok. miliard dolarów dodatkowego zysku.

Rekomendacje produktowe

Najbardziej tradycyjnym zastosowaniem Big Data w e-commerce jest generowanie rekomendacji produktowych. Biorąc pod uwagę historię zakupów użytkownika, system jest w stanie zaproponować mu produkty, które:

z największą dozą prawdopodobieństwa doda do koszyka,

przynoszą sklepowi największy zysk.

Jednym z systemów, które w Polsce zajmują się takimi rzeczami na podstawie sztucznej inteligencji i Big Data jest Quarticon.

Inne zastosowania Big Data w e – commerce

W aktualnej sytuacji technologia Big Data stała się na tyle budżetowa (oczywiście dalej mówimy o dosyć dużych nakładach finansowych), że z reguły tylko wybrane firmy mogą sobie pozwolić na jej zastosowanie. Obecnie jest to jednak wyścig kreatywny, na zasadzie – “może zastosowalibyśmy Big Data do wyliczania X, nie robi tego jeszcze nikt inny, więc pozwoli nam to osiągnąć przewagę konkurencyjną”.

Przedstawiamy więc kilka dodatkowych zastosowań Big Data w e-commerce:

1. Przewidywanie zasobów serwera – na bazie danych historycznych, wydarzeń, świąt i trendów systemy są w stanie wyliczyć zapotrzebowanie na infrastrukturę serwerową i ją odpowiednio skalować w czasie prawie rzeczywistym.

2. Przewidywanie zwrotów – istnieją systemy (np. które w momencie dodania produktu do koszyka są w stanie oszacować, jakie jest ryzyko jego zwrotu. Np. na bazie zamówień historycznych, są w stanie określić, że dany produkt często był wymieniany ze względu na rozmiar. W tym momencie, w czasie rzeczywistym informuje o tym zespół obsługi Klienta, który może zareagować, np. kontaktując się z daną osobą i rekomendując jej zmianę rozmiaru. Co więcej, system wykrywa też osoby, które mają wysokie prawdopodobieństwo zakupienia produktu i oddania go po 2 tygodniach. Wg. firmy system pozwala obniżyć liczbę zwrotów o 15–25% (warto wspomnieć, że jeszcze 3 lata temu firma podawała inne wartości: 35–40%).

3. Systemy Big Data pozwalają też na prowadzenie działań marketing automation. Wyobraźmy sobie system, który badając zachowania wszystkich Klientów, określa, że dla produktów kupowanych cyklicznie, następuje to średnio po miesiącu i na dwa dni przed tym terminem. Następnie automatycznie wysyła informację do Klienta – tym samym upewniając się, że zakup zostanie zrobiony w danej firmie , a nie u konkurencji.

Dziękujemy za przeczytanie artykułu – prosimy o podzielenie się swoimi przemyśleniami lub przytoczenie innych przykładów wykorzystania Big Data w e-commerce, które nie zostały wymienione. W przypadku sklepów z dużym ruchem i dużą liczbą zamówień warto zastanowić się nad wykorzystaniem Big Data. Pamiętajmy, że pierwszym najlepszym momentem na to był początek dekady, drugi najlepszy moment jest teraz.