Big data-analyse for dummies

Big Data er stadig i høj grad en eliteting:Kun de mest it-kyndige og velhavende virksomheder har en chance for at ridse overfladen af ​​deres potentiale. Alt dette kunne være ved at ændre sig takket være en Big Data-analyseplatform udviklet under TOREADOR-projektet, som automatisk vil håndtere alle større problemer relateret til on-demand dataforberedelse.

"Forventningerne til Big Data er meget høje, men kløften mellem ambition og udførelse er stadig stor, især for SMV'er, " Dr. Ernesto Damiani sukker. Og han burde vide:siden begyndelsen af ​​2016, Dr. Damiani har ledet et 10 mand stort konsortium, der har set på årsagerne til disse blandede formuer og de mulige løsninger.

Hvis relativt få SMV'er har inkorporeret Big Data-analyse i deres tilbud eller interne processer, det er hovedsageligt af to årsager. Den første er mangel på kompetence inden for Big Data-analyse, som Dr. Damiani forklarer. En virksomhed, der er villig, for eksempel, at skræddersy sit tilbud til kundeadfærd ved hjælp af en gratis app ville skulle ty til meget dyr rådgivning. Det er i øjeblikket den eneste måde at kortlægge forretningsmål til en klasse af datavidenskabelige og teknologiske løsninger.

"Konkret, projektoplægget kunne være noget i retning af "saml hændelser genereret af kernekunders apps og brug dem til at træne en skalerbar tilfældig skov-multikategoriklassifikator af deres adfærd til at blive implementeret på en offentlig skytjeneste", " han siger.

Den anden grund er den lange udrulningstid og igen, de uoverkommelige omkostninger ved Big Data-kampagner, selv når den datavidenskabelige tilgang allerede er identificeret. Sammen, disse problemer har holdt SMV'er og ikke-IKT-kyndige virksomheder væk fra Big Data-analyse, selv om de tegner sig for en betydelig del af rygraden i EU's fremstillingsvirksomhed.

TOREADOR (TrustwOrthy model-aware Analytics Data PlatfORm) metodologien og værktøjssættet tilbyder en løsning på begge problemer:de automatiserer og commoditiser Big Data analytics, samtidig med at det gør det meget nemmere at skræddersy til domænespecifikke kundekrav end før.

TOREADOR-rammen understøtter to automatiserede transformationer. Den første starter fra en maskinlæsbar deklarativ model, der samler dataejerens mål, og ender i en teknologiuafhængig semantikbevidst proceduremodel, der beskriver den beregning, der skal udføres. Derefter, den anden transformation bygger på den proceduremæssige model til at beregne en teknologiafhængig implementeringsmodel. Sidstnævnte kan udføres på en Apache-platform, hos kunden, på kommercielle cloud-tjenester som AWS, som Python-kode eksekverbar på Azure-platformen eller som en Docker-container.

"Vores deklarative modeller kan interaktivt indsamle forretningsmålene for Big Data-kampagner og give TOREADOR-værktøjskassen mulighed for at give automatisk rådgivning om gennemførligheden af ​​løsninger. Vores proceduremodeller giver derefter en innovativ beskrivelse af Big Data-analyseberegningen i OWL/S-semantikken- bevidste standarder, og vores compilere oversætter disse proceduremodeller til fuldt eksekverbare arbejdsgange eller endda til indbygget paralleliseret Python-kode. Vi ser på en iterativ udviklingsproces, hvor ikke-it-kyndige brugere hurtigt kan opsætte en kampagne ved at generere en workflow, der kan udføres på en offentlig cloud-tjeneste, og derefter – om nødvendigt – tilkald udviklere for at generere selvstændig Python-kode, " forklarer Dr. Damiani.

Projektpartnere har allerede identificeret fire industrielle piloter inden for prædiktiv vedligeholdelse af flymotorer, forudsigelig styring af solenergianlæg, analyse af forretningsapplikationslogfiler, og klikstrømsanalyse til e-handelsapplikationer.

"TOREADOR-platformen er tilgængelig og er blevet implementeret på de fire pilot-sites. Den er også blevet gjort tilgængelig som en gratis pre-release for udvalgte medlemmer af TOREADOR-fællesskabet, som er sammensat af europæiske virksomheder (flere af dem SMV'er) rekrutteret med hjælp fra TAIGER (Spanien), en innovativ SMV i TOREADOR-konsortiet. Detaljer om disse tidlige brugere er tilgængelige på vores hjemmeside. Udover, TOREADOR-metoden er blevet frigivet til andre europæiske projekter ved hjælp af Big Data-kampagner som EVOTION, " siger Dr. Damiani.

Projektet er planlagt til at være afsluttet i slutningen af ​​2018. Indtil da konsortiet har til hensigt at fortsætte med at udvide kataloget over tjenester, der er tilgængelige på platformen, og give eksempler på TOREADOR-aktiverede Big Data-kampagner, herunder uddannelse og implementering af avancerede maskinlæringsmodeller.