Big Data, Small Data sau Analiza datelor si-au facut o nisa in multe sectoare profesionale pana la punctul de a deveni un instrument fundamental in viata noastra de zi cu zi. Dar stim cu adevarat sa facem fata tuturor provocarilor pe care le implica Big Data si analiza datelor?
Anul 2021 a fost anul consolidarii profilurilor de data scientist si data analyst, doua profiluri care urmaresc obtinerea performantei maxime din date pentru a genera un impact pozitiv in orice tip de organizatie. Ambele profiluri impartasesc obiective, dar din abordari diferite, cercetatorul de date pentru a curata si filtra datele, iar analiza datelor pentru a extrage informatii din datele legate de afacere. Munca ambilor si sprijinul managementului sunt esentiale pentru a deveni o adevarata companie Data Driven. Pentru toate acestea, in acest articol punctam tendintele Big Data pentru 2022 pentru a nu pierde niciun detaliu. Nu rata!
Tendinte Big Data si Analytics 2022
Inainte de a incepe, as dori sa evidentiez o fraza a directorului IoT si transformare digitala la Cisco Spania, Antonio Conde, pentru a intelege amploarea valorii pe care o poseda Big Data: „ Data este „noul ulei”, devine o cheie. parte din societate si economie”.
Acest lucru se datoreaza faptului ca datele reprezinta noua valoare care trebuie gestionata de organizatii de toate felurile. Companiile cauta capacitati in ceea ce priveste captarea, stocarea si procesarea datelor, iar cei care le obtin vor fi obtinut un avantaj fata de concurenta lor, este ceea ce se numeste Avantaj Analitic. Acele companii care realizeaza avantajele analitice dorite vor putea spune, atunci, ca sunt adevarate companii Data Driven, companii axate pe valoarea datelor.
Data Strategy: strategia de date integrata in strategia de crestere a companiilor
Daca pana acum strategia de date a fost formulata independent de echipele IT sau Data din cadrul organizatiilor si creata pentru a se adauga la strategia globala a companiilor, cursul pare sa se fi schimbat, iar companiile introduc deja date in strategiile sale primare ca parte din activitatea de baza.
Prin urmare, in 2022 si dupa aceea vom vedea cum planurile strategice ale multor organizatii vor include elemente clare ale Strategiei de date. De fapt, trebuie sa adaugam ca marea majoritate a strategiilor de transformare digitala ale companiilor se bazeaza pe o strategie de date. Inca un semn ca este una dintre tendintele cheie ale Big Data.
Evolutia analizei augmentate
Multi experti sunt de acord ca 2022 va fi anul in care Big Data va realiza o evolutie tehnologica considerabila, dar mai avem un drum lung de parcurs pentru a vedea tot ce poate face Big Data pentru noi. Fara indoiala, va fi o schimbare in contextul economic si social.
Cu analitica augmentata vom vedea aparitia unor cunostinte sau schimbari mai importante care vor ajuta companiile sa optimizeze procesul decizional.
Pentru toate acestea, o alta tendinta de Big Data este analitica augmentata. Analiza imbunatatita foloseste invatarea automata si inteligenta artificiala pentru a imbunatati analiza datelor prin gasirea unei noi metode de creare, dezvoltare si partajare a analizei datelor. Multi clienti de intreprindere prefera analitica augmentata in locul analizei traditionale pentru a reduce eroarea umana si partinirea.
Pana in 2022, analiza augmentata va fi un motor dominant al noilor instrumente tehnologice care fac ca procesul de analiza a datelor sa fie simplu si accesibil pentru majoritatea profilurilor dintr-o organizatie. Aceste instrumente vor incerca sa democratizeze stiinta datelor si invatarea automata pentru o intreaga organizatie.
Inteligenta artificiala, cheia luarii deciziilor
Un alt cuvant cheie atunci cand vorbim despre progresele tehnologice este AI, care face posibil sa fim mai rapid si mai precis atunci cand luam decizii strategice in multe sectoare de afaceri. Ceea ce vom vedea cu siguranta este modul in care cresterea tehnologiilor digitale, stocarea de date la costuri mai mici, hardware-ul de inalta performanta si software-ul incorporat vor conduce la schimbare atat in intreprinderile mari, cat si in cele mici.
Companiile care adopta AI ca parte a proceselor lor de afaceri vor fi din ce in ce mai multe. Este logic, deoarece avantajele oferite de aceasta tehnologie sunt multe la niveluri diferite, cum ar fi, de exemplu, la nivelul proceselor, crearea de noi modele de afaceri, interactiunea cu clientul si chiar interactiunea dintre oamenii unei companii.
Date ca serviciu
Data ca serviciu utilizeaza tehnologia cloud pentru a oferi utilizatorilor si aplicatiilor acces la informatii la cerere, fara a depinde de unde se pot afla utilizatorii sau aplicatiile. Este una dintre tendintele actuale ale Big Data.
Calculul in memorie este datele care sunt stocate intr-un nou nivel de memorie care este situat intre memoria flash NAND si memoria dinamica cu acces aleatoriu. Acest lucru ofera o memorie mult mai rapida, care poate suporta sarcini de lucru de inalta performanta pentru analiza avansata a datelor in intreprinderi.
Data Lakehouse: Dincolo de Data Lake
Continuam cu mai multe Big Data Trends! In prezent, multe dintre marile companii au unul sau mai multe Data Lakes si unul sau mai multe Datawarehouses. Probabil ca majoritatea separa si cazurile de utilizare in cazurile de AI (Inteligenta Artificiala) sau Data Science de cazurile de BI. Cel mai obisnuit este ca lacurile de date sunt folosite pentru prima, iar pentru cea de-a doua se folosesc Datawarehouse-urile.
Pana acum cativa ani, acest lucru era normal. Gradul de maturitate al tehnologiilor nu a permis ca gradul de sinergii dintre cele doua lumi sa fie mare, ne spune Jose Luis Sanchez, expert in domeniu.
Din pacate, lumea BI si Big Data sunt inca separate. In principal, pentru ca modalitatea de a raspunde la intrebarile de afaceri este diferita:
- BI: Intrebarile sunt cunoscute de cei dintre noi care modelam datele pentru a obtine raspunsuri la acele intrebari
- Big Data: Nu stim intrebarile, asa ca analizam datele in cautarea acelei pepite de aur
Din fericire, industria trece la modele mai holistice. Mai exact, arhitecturile de date se reunesc in platforme care pot extrage tot ce este mai bun din ambele lumi, favorizand sinergiile intre BI si Big Data.
Caracteristicile fundamentale ale unui Data Lakehouse
„Aceasta schimbare trebuie sa continue sa satisfaca nevoile de viteza, performanta, calitate si acuratete pe care marile companii continua sa le solicite”, adauga Sanchez. El ne spune ca Ideea unui Data Lakehouse este urmatoarea:
- Ar putea fi creat un Datawarehouse pe deasupra unui sistem de stocare distribuit ieftin, fara a pierde performanta sistemului si acoperind in continuare cele mai multe cazuri de utilizare a intreprinderilor?
Raspunsul este: Da. Si, in esenta, un Data Lakehouse este un Datawarehouse care are un Data Lake ca stocare de date. Ideea este simpla, dar ascunde o mare complexitate tehnica pe care multe companii au reusit sa o traduca in realitate: Databricks, Snowflake, Microsoft.
Caracteristicile fundamentale ale unui Data Lakehouse conform lui Sanchez sunt:
- Suport acid
- Gestionarea schemelor si metadatelor
- Conectivitate cu instrumente BI
- Stocare decuplata de procesare
- Formate de stocare Open Source (parchet)
- Suport pentru date structurate si nestructurate
- Suport pentru diferite cazuri de utilizare: Invatare automata, raportare/tableare de bord, ETL
- Abilitatea de a gestiona datele in timp real/streaming
In cele din urma, Sanchez asigura ca Lakehouse este o noua paradigma care simplifica radical infrastructura de date a intreprinderii . De asemenea, explica el, accelereaza inovatia intr-o era in care Machine Learning este gata sa revolutioneze toate industriile.
Big Data si schimbarile climatice
Schimbarea climatica poate sa nu fie un subiect nou pentru oamenii de stiinta, dar valorificarea Big Data pentru combaterea acesteia poate fi curenta in 2022. De fapt, se crede ca valorificarea Big Data ne poate ajuta sa intelegem starea actuala a emisiilor de dioxid de carbon. Nu numai asta, dar chiar si date din cercetarea meteorologica , stiintele pamantului, cercetarea oceanelor si chiar din facilitatile de cercetare nucleara sunt prevazute pentru a ne ajuta sa intelegem schimbarile climatice si alte conditii de mediu legate de planeta.
Procesarea limbajului natural (NLP) si analiza conversationala.
Asa cum interfetele de cautare precum Google au facut internetul accesibil pentru consumatorii obisnuiti, NLP ofera o modalitate mai usoara de a pune intrebari despre date si de a obtine informatii mai precise. Analiza conversatiilor duce conceptul de NLP un pas mai departe, permitand astfel de intrebari sa fie adresate si sa se raspunda verbal, mai degraba decat prin text.
O alta tendinta de date mari pentru 2022 este raportata a fi NLP si analiza conversationala care va conduce la adoptarea analizei si a inteligentei de afaceri de la 35% dintre angajati la peste 50%, inclusiv noi clase de utilizatori.
Vocea pare ca se va putea impune ca principal canal de interactiune intre masini si oameni si, intr-un anumit fel, are perfect sens. Tehnologia trebuie sa fie transparenta pentru oameni in utilizarea sa si, prin urmare, trebuie sa fie naturala. Ce este mai natural decat folosirea vocii pentru a comunica? Aceasta tehnologie este in faze foarte imature, dar este doar o chestiune de timp.
Platforme de date conectate
Pascual Parada, Director de Inovare si Date la IEBS si profesor si director al mai multor diplome de master, cum ar fi Online MBA in Digital Business, se asigura ca platformele de date ale companiei nu pot ramane izolate de alte organizatii din cadrul lantului valoric propriu al sectorului sau din industrie.
„Tendinta este catre interconectarea platformelor de date in cadrul unui ecosistem care permite adaugarea unei valori mai mari experientei clientilor in ansamblu, si nu in mod izolat”, adauga el. Aceasta tendinta, care a existat deja in anii precedenti, este de asteptat sa fie consolidata pana in 2022 datorita utilizarii Cloud Computing. Acest lucru va permite dezvoltarea actiunilor de analiza avansate cu costuri mai mici. Companiile mari de tehnologie precum Amazon, Google si Microsoft investesc masiv in platformele lor cloud pentru a permite acest tip de calcul avansat pe date.
Inteligenta activa
O alta tendinta in Big Data este Inteligenta activa. Procesele actuale pe care le au companiile pentru a migra datele din diferitele sale surse in catalog continua sa fie o mare provocare pentru organizatii, ne spune Parada.
„Companiile care isi propun sa fie Data Driven si care au trecut prin primele faze de colectare si transformare a datelor, trebuie sa isi continue evolutia catre procese de Inteligenta Active. Cu alte cuvinte, tendinta este catre automatizarea caii de date, de la sursa pana la Data Like”, asigura el.
Big Data, cel mai solicitat profil
In prezent, profesionistul expert in Big Data a devenit unul dintre cele mai solicitate profiluri profesionale, unul dintre tendintele Big Data la care trebuie sa fim atenti, dar si unul dintre cele mai greu de acoperit. Asta pentru ca reprezinta 10,11% din total, conform raportului EPYCE 2017: Posturi si competente cele mai solicitate.
Pe de alta parte, gasim si dificultati din partea companiilor de a ocupa posturile de ingineri informatici. Acestea reprezinta 5,85% si depasesc profilul Big Data la cerere.
Studiul a mai relevat ca, alaturi de cererea de profiluri Big Data, exista si muncitori din fabrici cu anumite competente digitale. Acestea sunt urmate de profiluri de afaceri. Cu toate acestea, companiile au probleme in a gasi profiluri comerciale digitale si vor fi din ce in ce mai solicitate.
Dar raportul nu include doar profilurile cele mai solicitate in Big Data, ci si competentele cele mai solicitate de companii. Acestea sunt: initiativa, capacitatea de a lucra in echipa si flexibilitatea. In ceea ce priveste profilurile mai seniori, cei care se ocupa de recrutarea si selectarea talentelor cauta oameni cu abilitati de conducere. O alta abilitate fundamentala pe care nu o putem uita sunt limbile, in special engleza.
Inca o data vedem cum piata cauta un echilibru in abilitatile celor mai cautate profiluri. Avand abilitati soft precum comunicarea si creativitatea, impreuna cu abilitati specifice fiecarei tehnologii, asigura o cariera profesionala stralucitoare.
Legislatie si protectie
Pe parcursul anului 2021, diferitele administratii guvernamentale au luat fraiele pentru a ordona si a crea legislatia corespunzatoare in ceea ce priveste analiza datelor in special, si inteligenta artificiala in general. Astfel, Europa a elaborat un nou regulament privind IA. Acest lucru garanteaza siguranta oamenilor si intareste investitia intr-o IA umanista. Obiectivul este de a gasi un echilibru intre drepturile fundamentale ale oamenilor si inovatie.
La nivel geostrategic, Europa isi cauta independenta fata de hegemonia pe care China si SUA o mentin asupra acestei tehnologii. Nu poate fi uitat ca Europa are atuuri mari, cum ar fi reteaua sa de conexiune prin fibra si 5G, algoritmii sau industria 4.0, printre altele.
In acest sens, pana in 2022 se asteapta o mai mare profunzime si detaliu in diferitele reglementari europene care pot fi transpuse de diferitele tari membre ale Uniunii Europene, care servesc drept protectie impotriva marilor platforme si companii de tehnologie din China si SUA.
Metaverse si analiza datelor
Metaversul nu putea lipsi din lista tendintelor Big Data. Pariul lui Meta, fost Facebook, pentru crearea unui metavers ca spatiu digital pentru interactiunea umana creeaza o noua lume de oportunitati pentru analiza datelor. Daca pana acum geolocalizarea unei persoane poate fi efectuata doar cu autorizarea unui judecator, in metavers nu ar exista o astfel de restrictie. Aceasta deschide o noua linie de analiza a datelor geolocate in metaverse.
Partea negativa a acestei noi oportunitati de analiza comportamentala va fi din nou cine va putea efectua acest tip de actiune. Apar intrebari si despre obiective si daca utilizatorul ar putea refuza sa-si foloseasca datele de navigare in metavers.
Din ce in ce mai multe surse de date externe
Se observa modul in care companiile folosesc mai frecvent datele externe organizatiilor lor pentru a-si imbunatati modelele de date si capacitatea lor analitica. Ca o alta tendinta in Big Data, este de asteptat ca in 2022 organizatiile sa creasca utilizarea datelor externe datorita unei oferte mai mari de date deschise existente. De asemenea, prin platforme de date private si anonime.
Aceste date externe sunt adesea imprastiate in mare masura. De obicei, multi-sursa si probabilistica. Cu toate acestea, atunci cand sunt folosite bine, acestea vor fi de nepretuit pentru companiile care stiu sa le foloseasca eficient.
