Silozuri de date mari: ce sunt ele și cum să le faci față

Autor: Laura McKinney
Data Creației: 3 Aprilie 2021
Data Actualizării: 16 Mai 2024
Anonim
The Motans feat. Irina Rimes - POEM | Official Video
Video: The Motans feat. Irina Rimes - POEM | Official Video

Conţinut


Sursa: Aleutie / Dreamstime.com

La pachet:

Silozurile de date mari pot fi greu de realizat - dar noile procese permit fluxul liber de date.

Vechimea datelor mari ne-a adus un număr prodigios de noi modalități de a prezenta informații și de a rezolva problemele. În ultimele decenii, am văzut înflorirea calculatoarelor mainframe tradiționale într-un scenariu în care sistemele noastre IT pot aglomera munți enormi de date și le pot folosi pentru a oferi informații cheie pentru obiectivele de afaceri sau guvernamentale, precum și în alte scopuri.

Cu toate acestea, pe parcurs au existat provocări și obstacole, iar una dintre cele mai mari este silozul de date.

Dacă vă confundați despre ce este un siloz de date mari, gândiți-vă la un siloz fizic: un turn metalic plin de resurse care este blocat în siguranță împotriva alterării sau accesului neautorizat.

Acesta este un fel de siloz în lumea tehnologiei, deși este puțin diferit.


Ce este un Big Data Silo?

În lumea digitală, fluxul liber de date este extrem de important. Datele sunt „elementul de viață” al sistemului - motivul pentru orice arhitectură. Datele sunt „servite” utilizatorilor în moduri infinite noi și convingătoare, dar toate se bazează pe interconectare.

Când acest flux liber de date este împiedicat din orice motiv, profesioniștii vorbesc despre asta ca un „siloz de date”.

Din nou, datele sunt blocate departe de uz general sau acces generalizat. Există undeva, dar nu poate ajunge unde poate fi util.

Revenind la analogia fizică anterioară a silozului, majoritatea silozurilor din fermă dețin porumb sau alte produse pentru hrana animalelor sau umane. Dar nimeni nu mănâncă acele lucruri decât dacă îl poți muta din siloz în lume - și același principiu este inerent problemei silozului de date mari. Soluția este să poți muta datele în afara unei zone izolate a infrastructurii software, astfel încât să poată fi utilizate în scopul propus. (Pentru mai multe despre silozurile de date, consultați Ruperea silozurilor: Cum să consolidați, să curățați și să folosiți datele dvs. în mod bun.)


Fără bug-uri, fără stres - Ghidul dvs. pas cu pas pentru crearea de software care poate schimba viața fără a vă distruge viața

Nu îți poți îmbunătăți abilitățile de programare atunci când nimeni nu îi pasă de calitatea software-ului.

Silozul structural

Cu doar câțiva ani în urmă, mulți dintre noi ne-am gândit la majoritatea silozurilor de date ca fiind de natură structurală.

Ideea era că programarea și designul nu erau suficiente pentru a permite fluxul liber de date. Sistemele Enterprise aveau bucăți de date „blocate” în colțurile unei arhitecturi mai mari și aveau nevoie de middleware și de soluții specifice pentru a-l scoate și a-l duce acolo unde trebuie.

Lumea IT a înregistrat progrese deosebite cu silozurile de date structurale recent, dar am văzut, de asemenea, că silozurile structurale nu sunt singura problemă.

Aruncați o privire la acest articol de la Harvard Business Review din decembrie 2016, intitulat „Breaking Down Data Silos”. Writer Edd Wilder-James separă principalele tipuri de silozuri de date în patru categorii: structurale, politice, de creștere și de blocare a vânzătorilor. Acesta este un mod minunat de a începe să vorbim despre cum se întâmplă silozurile și ce se poate face despre ele.

Silozuri de date politice

Cum pot fi silozurile de date politice și ce înseamnă asta pentru industria tehnologică?

L-am întrebat pe Hogne Titlestad, co-fondator și arhitect în tehnologie șef la Friend, care este un sistem de operare internet de origine norvegiană care se facturează ca fiind „o alternativă foarte necesară la silozele Big Tech”.

„Una dintre principalele provocări cu care se confruntă calculul în prezent este numărul tot mai mare de silozuri create de corporațiile„ Big Tech ”, spune Titlestad. „De la acești jucători mari, am văzut că politica intră în proiecte software, ceea ce înseamnă că o mare parte din haosul văzut în alte părți ale lumii au început să influențeze spațiul tehnologic.”

Titlestad sugerează că proiectele vor vedea mai multe din această activitate în 2019, inclusiv ceea ce el numește „taxa din tehnologii software emergente și platforme colaborative care vor contesta oligopolii de mare tehnologie, oferind funcționalități și experiențe ale utilizatorilor egale cu cele mai bune dintre ele.”

Sursa deschisă, spune el, joacă un rol major într-o preluare mai comună a resurselor IT și soluția pentru silozurile de date politice - deschiderea de interfețe de date.

„Pe măsură ce generațiile de internet se maturizează, indivizii trebuie să înceapă să profite de oportunitățile de a opera la scară globală, aducând oameni pricepuți”, spune Titlestad. „Cu un catalog atât de mare de proiecte fantastice open source disponibile pe Github, Gitlab, Sourceforge și altele, noi aplicații perturbatoare sunt sigure care vor apărea în locații din întreaga lume - construirea pe baza temeliei de zeci de ani trecute ... Una dintre cele mai Lucrurile importante pe care le pot face indivizii sunt să continue să-și exprime disprețul față de marea tehnologie și exploatarea datelor sale personale în căutarea profitului. "

Silozuri de blocare a datelor furnizorului

În unele moduri, blocarea vânzătorilor poate merge și cu categoria silozurilor de date „politice”.

„Vânzătorii de software sunt printre primii care știu că accesul la date este puternic, iar strategiile lor pot frustra dorința utilizatorilor de a exporta datele în aplicații”, scrie Wilders-James. „Acest lucru este deosebit de periculos în cazul aplicațiilor software-as-a-service, în care vânzătorul dorește să vă păstreze în platforma cloud. De asemenea, vânzătorii au muncit din greu pentru a crea întregi funcții de muncă și căi de carieră centrate în jurul software-ului lor. Orice indiciu de mutare din această lume ar putea pune în pericol viața unui profesionist în domeniul software-ului instruit și certificat. ”(Unii evită blocarea furnizorului prin utilizarea mai multor puteri. Aflați mai multe în 10 Mituri despre gestionarea datelor de mai multe cloud.)

Silozuri de date de creștere

Pe lângă aceste tipuri de obstacole, aveți și ceea ce Wilders-James și alții numesc silozul „de creștere”.

"Alinierea executivă este cheia consolidării silozurilor de date", a declarat pentru Techopedia 12 ianuarie Anjul Bhambhri, VP al Platform Engineering la Adobe, expunând câteva aspecte legate de planificarea afacerilor. „Cea mai bună metodă de abordare a consolidării silozului de date este de a realiza mai întâi alinierea executivă a rezultatelor afacerilor. Abordarea pașilor de consolidare a datelor înainte de a fi de acord cu rezultatele afacerii înseamnă punerea căruței înaintea calului. Dacă nu există aliniere la obiectivele și rezultatele afacerii, există șanse mari să lipsească amprenta de a crea acea viziune holistică a clientului și de a nu obține un ROI pentru investiții în tehnologie. "

Se ocupă de silozurile de date

Analizând aceste categorii de silozuri de mai sus, puteți vedea cum să abordați fiecare. Companiile pot planifica mai bine creșterea și scalabilitatea, să se asigure că vânzătorii nu își țin ostaticii de date, deschid interfețe din punct de vedere al tehnologiei oligarhice și, nu în ultimul rând, nu în ultimul rând, își proiectează sistemele astfel încât datele să nu se blocheze într-un colț, sau mansardă sau subsol. Acestea sunt comenzile de marș pe care le au mulți ingineri și echipe de proiectare atunci când încearcă să lucreze spre viitor și împiedică silozurile de date să împiedice funcționalitatea afacerii.