August 30,2023

Oprogramowanie do analizy predykcyjnej

By Weronika Skotnicka

Czym jest analiza Big Data oraz jak wykorzystać ją w zarządzaniu

Analiza Big Data to termin bardzo często pojawiający się w dyskusjach o nowoczesnym biznesie. Zarządzać możemy jedynie zasobami, które są policzone i zmierzone. W tym celu niezwykle istotne jest gromadzenie danych w przedsiębiorstwie, a następnie ich przetwarzanie i analizowanie. Choć samo zbieranie danych jest coraz mniejszym problemem – odpowiedzialne są za ten obszar systemy informatyczne, jak CRM, MRP, ERP itd. – to nadal ogromnym wyzwaniem jest umiejętność ich praktycznego wykorzystania w celu optymalizacji procesów i zwiększania wydajności. Aby lepiej poznać to zagadnienie, dowiedz się, czym jest Big Data i w jaki sposób innowacyjne przedsiębiorstwa wykorzystują dane na swoją korzyść.

Co to jest analiza Big Data?

Według licznych definicji termin Big Data określa różnorodne, duże, zmienne zbiory danych, które wymagają zaawansowanych procesów przetwarzania i analityki. Jednocześnie są niezwykle cennym zasobem przedsiębiorstwa.

Duże zbiory danych to takie, które aż trudno sobie wyobrazić. Mierzone są w terabajtach lub petabajtach. Nie jest możliwe ich obrobienie ani przez człowieka, ani przez zwykły komputer.

Model Big Data V4:

Volume – duża liczba danych. Im więcej danych znajduje się w zbiorze, tym większa jest istotność uzyskanych informacji.

Velocity – duża zmienność danych. Dane muszą być przetwarzane w szybkim czasie, aby dostarczać istotnych informacji w jak najkrótszym okresie.

Variety – duża różnorodność danych. Dane powinny być pozyskiwane z różnych źródeł.

Koncepcja Big Data 4W:

Wykorzystanie

Wnioskowanie

Wzbogacenie

Weryfikacja

Źródła danych dla dużych zbiorów:

Pracownicy wprowadzający dane do wewnętrznych firmowych systemów informatycznych,

Maszyny i urządzenia połączone dzięki Internetowi Rzeczy (IoT)

Internet, np. media społecznościowe

Bazy danych statystycznych, np. GUS, Eurostat

Jak dane mogą być wykorzystywane w zarządzaniu przedsiębiorstwem?

Duże zbiory danych są wykorzystywane w globalnej gospodarce, w każdej branży – od służby zdrowia, rynków finansowych, ubezpieczeniowych, systemów bankowych, po przemysł czy transport. Znajdują swoje zastosowanie w przedsiębiorstwach o różnej wielkości, zasięgu czy branży.

Dzięki zastosowaniu nowoczesnych narzędzi analitycznych i technologii, jak sztuczna inteligencja, uczenie maszynowe czy Business Intelligence, możemy pozyskiwać informacje na temat faktycznej, aktualnej sytuacji firmy. Systemy przetwarzania danych automatycznie przeliczają zamówienia na zapotrzebowanie materiałowe, produkcyjne. Sygnalizują o możliwych brakach i opóźnieniach. Informują, w jakim czasie dane procesy zostaną zrealizowane. Dane i zaawansowane systemu raportowanie pozwalają na identyfikację marnowanych zasobów, niepotrzebnych jednostek. Umożliwiają mierzalność pracy zespołów i zwiększanie ich efektywności.

Co więcej, analityka predykcyjna umożliwia nam przewidywanie możliwych przyszłych scenariuszy wydarzeń. Możemy prognozować sprzedaż, zapotrzebowanie na materiały, opóźnienia w produkcji, przestoje w łańcuchu dostaw i procesach logistycznych, poziomy rotacji towarów w magazynach, wolne zasoby kadrowe itd.

Big Data w firmach globalnych

Zagadnienia związane z gromadzeniem danych najczęściej słyszymy w kontekście dyskusji o przepisach Unii Europejskiej na temat ochrony danych osobowych RODO. Każdy z nas ma też świadomość, jak dużo informacji o nas zbierają takie firmy jak Google czy Facebook. Giganci wykorzystują dane o nas do sprzedaży. Znając nasze preferencje zakupowe, zainteresowania, zachowania w procesie zakupowym, aktualne potrzeby – pokazują nam najlepiej dopasowane reklamy, oferty, firmy, które są w pobliżu. Im więcej danych o konsumentach system otrzymuje, tym skuteczniejsze i bardziej zaawansowane mechanizmy są stosowane. Przykładowo, kiedy długo wahamy się z zakupem i któryś raz wychodzimy z danego sklepy internetowego, często pojawiają nam się oferty zakupowe z rabatem.

Big Data dla małych firm

W ten sposób mogą działać nie tylko korporacje i technologiczne firmy międzynarodowe. Małe i średnie przedsiębiorstwa również mają dostęp do danych, które mogą w łatwy sposób wykorzystać. Podstawowym ich miejscem przetwarzania jest CRM. Na podstawie samej historii zakupów swoich klientów możesz zrealizować kampanie ze spersonalizowanymi rekomendacjami, strategią cross-sellingu i up-sellingu. A to dopiero tylko początek.

Zweryfikuj systemy informatyczne w swojej firmie – w jaki sposób zbierają dane, jakiej są jakości, w jaki sposób obecnie są wykorzystywane, jakich informacji mogą Ci dostarczyć i jak zwiększyć wykorzystanie tego potencjału.

Analiza predykcyjna na usługach controllera

Analiza predykcyjna to naukowy sposób określania przyszłości na podstawie danych z przeszłości. Brzmi ciekawie? I takie też jest w rzeczywistości. Przyjrzyjmy się bliżej temu, jak tego typu modelowanie danych może być z pożytkiem wykorzystane w przedsiębiorstwie.

Ryzyko odnosi się zawsze do prawdopodobieństwa wystąpienia niepożądanego zdarzenia z przyszłości. Oczywiście najlepszym lekarstwem na tego typu zjawisko byłaby kryształowa kula, w której każdy analityk mógłby poznać nadchodzące czasy, a następie oprzeć swoje rekomendacje na solidnych podstawach. Niestety – albo na szczęście, zależy od punktu widzenia – czytanie przyszłości pozostaje zabawą szarlatanów, niedostępną dla przedsiębiorców. W codzienności biznesowej, zwłaszcza w tak trudnym okresie jak odradzanie gospodarki po globalnej pandemii, nie jesteśmy, na szczęście, skazani na życie w niepewności. Pomocnym narzędziem w pracy analityków czy controllerów jest analiza predykcyjna.

Terminem, który pojawia się w każdym aspekcie działalności chyba każdej branży, jest ryzyko. Można śmiało stwierdzić, że jest ono nierozerwalnie związane z prowadzeniem przedsiębiorstwa. Firmy podejmują ryzyko, wchodząc na nowe rynki, nawiązując relacje z klientami czy też wydając środki własne lub obce na inwestycje, w oczekiwaniu na odpowiedni zwrot. Oczywiście celem prowadzenia firmy nie jest tylko podejmowanie ryzyka, gdyż wtedy nie różniłoby się to zbytnio od hazardu. Jednym z podstawowych elementów zarządzania ryzykiem w przedsiębiorstwie jest jego ograniczanie.

O ile drugi człon tego wyrażenia może jeszcze przywoływać pewne skojarzenia z wróżką przewidującą przyszłość albo filmem „Raport mniejszości”, o tyle pierwsza część mówi wyraźnie, że do zarządzania ryzykiem związanym z przyszłością zaprzęgniemy metody naukowe opierające się na danych. Analiza predykcyjna to działanie z niezwykle popularnego ostatnio zakresu data mining lub data science. Terminem tym określa się proces analizowania i wnioskowania z istniejących danych celem wyznaczenia wzorców działania, a w następstwie możliwych zdarzeń i trendów w przyszłości. W praktyce biznesowej analityka predykcyjna może być stosowana na przykład do określania zachowań klientów, a tym samym przewidywania podejmowania odpowiednich działań zapobiegawczych lub wzmacniających. W ten sposób możliwe jest do pewnego stopnia sterowanie zachowaniem klienta.

Zaczyna się to od momentu przedstawiania oferty, a więc jeszcze przed nawiązaniem właściwej współpracy. Odpowiednio przeanalizowane dane pozwalają na skierowanie przekazu marketingowego do starannie wybranej grupy odbiorców charakteryzującej się dużym prawdopodobieństwem nawiązania kontaktu. Gdy klient jest już z nami związany, analiza jego zachowania pozwala na polecanie produktów powiązanych lub nawet z wyższej półki. Jest to tak zwana analiza koszykowa, gdzie informacje o często współwystępujących transakcjach pozwalają na stworzenie oferty atrakcyjnej dla klienta. Z kolei częstotliwość zakupów lub ich skala mogą być dobrymi symptomami myślenia o odejściu klienta. Umożliwia to analiza rezygnacji. W ten sposób przedsiębiorstwo może wpływać na przedłużanie współpracy. Może też podjąć decyzję o zakończeniu jej w najlepszym z możliwych momentów, gdy klient ma o przedsiębiorstwie jak najlepsze zdanie. Zresztą nie trzeba wcale czekać do odpowiedniego momentu. Tak zwana analiza przeżycia pozwala na określenie czasu korzystania z danej usługi przez klienta na każdym etapie współpracy i prowadzenie właściwej polityki lojalnościowej.

Oczywiście analityka predykcyjna ma zastosowanie nie tylko w sprzedaży. Firmy energetyczne na jej podstawie szacują zapotrzebowanie na energię. Banki oceniają zdolność kredytową klientów. Jeśli korzystamy z jakiegokolwiek serwisu z filmami na żądanie lub streamingowego muzyki, wszystkie nasze zachowania są zapisywane i analizowane przez algorytmy uczenia maszynowego. Kiedy pauzujemy lub kontynuujemy, lub kiedy wracamy do danych utworów – jest to poddawane analizie. W ten sposób firmy wiedzą nie tylko, co nam polecać, ale nawet w jakiej kolejności lub jakim kadrem z filmu zachęcać do jego obejrzenia. Netflix szacuje, że rocznie oszczędza miliard dolarów dzięki zatrzymywaniu klientów za pomocą algorytmów. System poleceń odpowiada za 80% treści w tym serwisie, a wielki hit, serial „House of Cards” powstał właśnie na podstawie analizy preferencji użytkowników.

Powyższe przykłady pokazują, że do przeprowadzenia dobrej analizy potrzebne są odpowiednie dane. Im większą liczbą atrybutów opiszemy nasze dane, tym ciekawsze wnioski mogą się pojawić. W przypadku big data atrybuty mogą być zarówno numeryczne, jak i kategoryczne, czyli opisowe. Ważne jest też, aby podzielić atrybuty według ich funkcji w zbiorze: niezależne, czyli objaśniające, i zależne, czyli objaśniane. Tak samo jak przy każdej pracy z danymi, tak i tutaj ważne jest, aby znać dane, na których się pracuje – ich strukturę, źródła oraz wiarygodność.

W jaki sposób dział controllingu w firmie może wykorzystać analizę predykcyjną?

Przede wszystkim do tworzenia bardziej złożonych prognoz. Przyjrzyjmy się wspomnianemu powyżej przykładowi analizy kontrahenta. Jakie dane, mogące wspomóc naszą analizę, dostajemy na początku współpracy? W zależności od tego, czy mamy do czynienia z osobą fizyczną, czy też przedsiębiorstwem, będzie to z pewnością miejsce zamieszkania lub lokalizacja siedziby. Pogłębione pozyskanie danych pozwoli nam określić wiek lub czas trwania klienta bądź dostawcy, albo jego sytuację finansową. Oczywiście od początku mamy informację, jakim produktem lub usługą z naszej oferty dany klient jest zainteresowany lub też co dany dostawca będzie nam dostarczać.

Porównując dane naszego nowego kontrahenta z tymi dotyczącymi naszych historycznych partnerów biznesowych, możemy oczywiście pokusić się o określenie czasu trwania tej współpracy. Możemy oszacować jej rentowność i wpływ na nasze przedsiębiorstwo. Ale możemy też określić, na ile dany klient będzie wypłacalny i czy będzie terminowo spłacał własne zadłużenie. Z kolei w przypadku dostawcy można pokusić się o prognozowanie rzetelności jego dostaw. Chciałbym na chwilę zatrzymać się nad kwestią oceny klienta. Wiedząc, ile może potrwać dana współpraca i jak będzie się układać, możemy zaprząc te dane do prognoz przychodów. Z kolei analizowanie płatności za faktury pozwala oszacować prawdopodobieństwo spływu należności w terminie, a tym samym planowanie płynności finansowej co do dnia. Wiedząc, że dla znacznej grupy dochodowych klientów zbliża się obecnie okres słabszej zdolności do regulowania zobowiązań, możemy z odpowiednim wyprzedzeniem wystąpić o finansowanie zewnętrzne, które pozwoli na utrzymanie naszej płynności. Oczywiście koszty tego finansowania możemy zawczasu uwzględnić przy planowaniu oferty cenowej dla danych klientów.

Innym przykładem wykorzystania analizy predykcyjnej w pracy controllingu jest prognozowanie cykli rocznych i ich wahań w wynikach przedsiębiorstwa. Jeśli nasza działalność jest mocno uzależniona od sezonowości, a jednocześnie mamy dynamiczny rozwój, może być trudno zaprognozować w wiarygodny sposób przychody i koszty w nadchodzących miesiącach. Poddając jednak analizie takie dane jak liczba klientów, wielkość ich zakupów, wzrost naszego zatrudnienia, a nawet dane pogodowe – w końcu z czegoś ta sezonowość wynika – jesteśmy w stanie uzyskać prawdopodobne informacje o tym, jak kształtować się będą wyniki finansowe w dynamicznie zmieniającej się rzeczywistości.

Liczą się dane

Powyższy przykład pokazuje, jak bardzo różnorodne dane mogą być konieczne dla dobrze przeprowadzonej analizy. Choć wydaje się to przesadą, wcale nią nie jest. Im więcej różnorodnych danych zbierzemy, tym większa szansa, że algorytmy predykcyjne znajdą między nimi jakieś zależności. Oczywiście nie mogą to być dane przypadkowe, a jedynie takie, które mogą być określone jako wyjaśniające interesujące nas wielkości. Warto tu wspomnieć o kolejnym polu, na którym konieczne może być sięganie do szerokiego zestawu danych, choć już niezwiązanym z predykcją, jakim jest wykrywanie oszustw. O ile nieetyczne byłoby wskazywanie kontrahentów, którzy mogą w przyszłości zadziałać na naszą szkodę, o tyle wskazanie konkretnych firm lub punktów sprzedaży, w których może dochodzić do nieprawidłowości, jest przydatną wiedzą. Posłużę się tu historią, którą usłyszałem od pracownika firmy działającej w obszarze big data. Wykonywali oni zlecenie dla jednej z firm paliwowych. Dzięki dokładnej analizie danych sprzedażowych, dostaw, ale także pogodowych i informacji o właściwościach fizycznych sprzedawanych paliw, byli w stanie wskazać nie tylko konkretną stację, ale nawet obsługę, która prawdopodobnie dopuszczała się niezaewidencjonowanej sprzedaży paliwa. W zależności od tego, które obszary naszej działalności są najbardziej narażone na ryzyko wystąpienia oszustw, możemy je analizować i wyszukiwać nieprawidłowości. Już samo porównywanie stworzonych w opisany powyżej sposób prognoz z wykonaniem może wskazać pewne niepokojące sygnały zwracające uwagę na konieczność dokonania pogłębionej analizy.

Pomyłki na etapie analizy

Podczas przeprowadzania tego typu analiz mogą zdarzyć się pomyłki. Big data jest obecnie tak modnym i pojemnym słowem, że nietrudno skojarzyć wdrożenie takich metod z magiczną różdżką, którą wystarczy tylko machnąć w powietrzu, aby poznać wszelkie odpowiedzi. Dlatego zanim zaczniemy stosować narzędzia analizy predykcyjnej, warto upewnić się, że mamy pod kontrolą potencjalne błędy. Przede wszystkim upewnijmy się, że opieramy się na rzetelnych danych. Nie muszą być one kompletne, dobrzy analitycy mają narzędzia do poradzenia sobie i z tym problemem, ale musimy mieć pewność co do jakości naszych danych. Dane te muszą być też odpowiednią podstawą do wnioskowania na interesujący nas temat, a zatem powinny być właściwie zróżnicowane. Jeśli mamy niewielką liczbę klientów, którzy zawsze regularnie opłacają swoje faktury, trudno będzie z analizy nawet najpełniejszych danych wyciągnąć prawdopodobieństwo opóźnień w płatnościach nowego klienta.

Innym błędem, często spotykanym przy analizie big data, jest spoglądanie na dane i wynikające z nich wskaźniki w sposób bezpośredni, bez zaglądania w głąb lub przyjrzenia się im z szerszej perspektywy. Jeśli model predykcyjny pokazuje nam rzeczy oczywiste, nie musi to oznaczać, że jest zły. Celem analizy big data nie musi być odkrycie nowych, zaskakujących związków. Wtedy trzeba zajrzeć głębiej i wykorzystać go do znalezienia najdrobniejszych odchyleń od tej oczywistości, którą potwierdził. Tak można zejść na poziom pojedynczego klienta i wyciągnąć ciekawe wnioski. Innym niedopatrzeniem jest ślepe podążanie za wynikami modelu bez zrozumienia kontekstu. Oczywiście dążymy do tego, aby analiza opierała się na możliwie najpełniejszych danych, ale warto zastanowić się, czy poza nimi nie ma czegoś, co tłumaczy konkretną sytuację. W ten sposób możemy uniknąć wyciągania błędnych wniosków na przyszłość. Kontekst należy też uwzględniać w prognozach – przecież obecna sytuacja pandemiczna musi być brana pod uwagę przy wszelkich analizach.

Narzędzia służące analizie predykcyjnej

Pozostaje pytanie – jakie narzędzia mogą służyć analizie predykcyjnej? Jeśli mamy do czynienia z rozbudowanymi danymi i koniecznością stworzenia wielowymiarowej analizy, sugeruję zwrócenie się do fachowców. Firmy z obszaru big data lub ośrodki naukowe mają odpowiednie narzędzia i doświadczenie, aby przygotować poprawną analizę. Do nas należeć będzie współpraca z nimi, aby wytłumaczyć działania naszego przedsiębiorstwa.

Jeśli jednak pracujemy, opierając się na kompletnych, niezbyt rozległych danych, wtedy możemy pokusić się o skorzystanie z doskonałego i darmowego narzędzia analitycznego, którym jest KNIME. Ta aplikacja pozwala tworzyć wizualny przepływ informacji przez połączone ze sobą węzły, z których każdy ma specyficzne przeznaczenie. W KNIME znajdziemy sporą kolekcję węzłów, wspierających big data, przydatnych w analizie predykcyjnej.

Tworzenie modelu analitycznego w KNIME wygląda dość podobnie, bez względu na to, jaką metodę przeprowadzania analizy wybierzemy. Dane, a przynajmniej odpowiedni ich fragment, musimy wprowadzić do węzła uczącego się, który stworzy nasz model jako kombinację różnorakich wskaźników. Następnie model ten jest przekazany do kolejnego węzła, który na komplecie danych dokonuje prognozy. Całość zaś może być przekazana do węzła oceniającego skuteczność danego modelu.

Aby stworzyć tego typu model w KNIME, w repozytorium węzłów należy przejść do grupy Analytics, a następnie Mining. Tutaj znajdziemy grupy węzłów dotyczące różnych modeli analizy danych. Warto przeczytać ich opisy w oknie Node Description, ponieważ ich zastosowanie może być różne, mogą też operować na specyficznym typie danych. Na przykład model drzewa decyzyjnego może być użyty tylko wtedy, gdy zmienna objaśniana jest kategoryczna, a nie numeryczna. Kiedy wybierzemy właściwą metodę, przeciągamy do obszaru roboczego węzeł oznaczony jako Learner. Podłączamy do niego nasze dane, które posłużą do stworzenia właściwego modelu. Wynik działania węzła typu Learner, czyli model matematyczny, przekazujemy do węzła typu Predictor, do którego podłączamy też kompletne źródło danych. I to wszystko. Węzeł Predictor doda odpowiednią kolumnę w naszym zbiorze danych, prognozującą szukany interesujący nas parametr. Jeśli chcemy zobaczyć, jak poradził sobie nasz model, możemy w węźle Predictor użyć danych z naszego źródła początkowego, a wynik przekazać do węzła Scorer. Stworzy on macierz pomyłek, oceniającą nasz model pod kątem tego, jak dobrze przewidział daną cechę.

Podsumowanie

Analiza predykcyjna, podobnie jak inne zagadnienia związane z obszarem big data, to rozbudowany temat, który w tak krótkim artykule może być jedynie powierzchownie poruszony. Mam nadzieję, że ten tekst pokazał możliwości drzemiące w analizie predykcyjnej stosowanej w controllingu. Jednocześnie chciałbym, aby ten krótki opis zadziałał jako inspiracja dla tych, którzy poszukują nowych metod analizowania danych i tworzenia prognoz. W końcu nie na darmo mówi się, że dane to nowa ropa. Potrzebujemy kolejnych wykwalifikowanych nafciarzy.