Skip to main content

Socrat Integrator Podataka

SDI automatski upravlja sajber-bezbednošću, praćenjem, tokovima događaja i distributivnim generativnim AI cevovodima podataka u svakoj industriji.

SDI je napravljen za protok podataka. Podržava visoko konfigurisane usmerene grafove za usmeravanje podataka, transformaciju i medijaciju sistema.

Neke od njegovih ključnih karakteristika uključuju:

Poreklo Podataka
  • Praćenje toka podataka od početka do kraja
Web-bazirani korisnički interfejs
  • Besprekorno iskustvo za dizajn, kontrolu i praćenje
  • Višekorisničko iskustvo
Dizajniran za proširenje
  • Izgradnja sopstvenih procesora i više
  • Omogućava brzi razvoj i efikasno testiranje
Sigurnost
  • SSL, SSH, HTTPS, enkriptovani sadržaj, itd.
  • Uklonjiva fino-granularna autentifikacija/autorizacija zasnovana na ulogama
  • Više timova može upravljati i deliti specifične delove toka
Visoko prilagodljiv
  • Tolerantnost na gubitke naspram garantovane isporuke
  • Niska latencija naspram visokog protoka
  • Dinamičko prioritetizovanje
  • Tokovi se mogu menjati u toku rada
  • Kontrola opterećenja
  • Skaliranje da bi se iskoristila puna moć mašine
  • Skaliranje sa modelom klasterisanja bez vođe

SDI je sistem za protok podataka zasnovan na konceptima programiranja zasnovanog na tokovima. Podržava moćne i skalabilne usmerene grafove za usmeravanje podataka, transformaciju i logiku medijacije sistema. SDI ima web-bazirani korisnički interfejs za dizajn, kontrolu, povratne informacije i praćenje tokova podataka. Visoko je konfigurisano u nekoliko dimenzija kvaliteta usluge, kao što su tolerancija na gubitke naspram garantovane isporuke, niska latencija naspram visokog protoka i prioritetizovano redosledstvo. SDI obezbeđuje fino-granularno poreklo podataka za sve primljene, razdvojene, spojene, klonirane, modifikovane, poslate i na kraju odbačene podatke kada dostignu svoju konfigurisanu krajnju tačku.

Korisnički interfejs SDI-a pruža mehanizme za kreiranje automatizovanih tokova podataka, kao i za vizualizaciju, uređivanje, praćenje i upravljanje tim tokovima. Interfejs se može podeliti na nekoliko segmenata, od kojih je svaki odgovoran za različite funkcionalnosti aplikacije. Ovaj deo pruža snimke ekrana aplikacije i ističe različite segmente korisničkog interfejsa. Svaki segment se detaljnije razmatra kasnije u dokumentu.

Jednostavno rečeno, SDI je izgrađen da automatski upravlja protokom podataka između sistema. Iako se termin „protok podataka“ koristi u različitim kontekstima, ovde ga koristimo da označimo automatizovani i upravljani protok informacija između sistema. Ovaj problem postoji otkad preduzeća imaju više od jednog sistema, gde neki sistemi stvaraju podatke, a neki ih konzumiraju. Problemi i obrasci rešenja koji su se pojavili su opširno diskutovani i artikulisani. Sveobuhvatan i lako dostupni oblik nalazi se u Enterprise Integration Patterns [eip].

Neki od visoko-nivouskih izazova protoka podataka uključuju:

Sistemi otkazuju

  • Mreže otkazuju, diskovi otkazuju, softver se ruši, ljudi greše.

Pristup podacima premašuje kapacitet za konzumaciju

  • Ponekad određeni izvor podataka može nadmašiti neki deo lanca obrade ili isporuke – dovoljan je samo jedan slaba karika da se pojavi problem.

Granični uslovi su samo sugestije

  • Neizbežno ćete dobiti podatke koji su preveliki, premali, prebrzi, prespori, oštećeni, pogrešni ili u pogrešnom formatu.

Ono što je danas šum, sutra postaje signal

  • Prioriteti organizacije se brzo menjaju.
  • Omogućavanje novih tokova i menjanje postojećih mora biti brzo.

Sistemi se razvijaju različitim brzinama

  • Protokoli i formati koje koristi određeni sistem mogu se promeniti u bilo kom trenutku, često neovisno o sistemima oko njih.
  • Protok podataka postoji da poveže ono što je u suštini masivno distribuirani sistem komponenti koje su slabo ili uopšte nisu dizajnirane da rade zajedno.

Usaglašenost i bezbednost

  • Zakoni, regulative i politike se menjaju.
  • Poslovni dogovori između kompanija se menjaju.
  • Interakcije između sistema i korisnika moraju biti sigurne, poverljive i odgovorne.

Kontinuirano unapređenje se dešava u proizvodnji

  • Replikacija proizvodnih okruženja u laboratorijskim uslovima je izazovna, jer je teško replicirati složenost stvarnog sveta.
  • Protok podataka, koji je nekada bio smatran teškom neophodnošću, sada je ključan za uspeh preduzeća zahvaljujući napretku tehnologije.
  • Glavni pokretači uključuju servisno orijentisanu arhitekturu (SOA), porast API-ja, Internet stvari (IoT) i velike podatke, koji svi donose nove zahteve za upravljanje protokom podataka.
  • Zahtevi za usklađenost, privatnost i bezbednost rastu, što zahteva strože prakse obrade podataka.
  • Iako obrasci protoka podataka ostaju uglavnom isti, skala, složenost i potreba za brzim prilagođavanjem su porasli, što čini krajnje slučajeve češćim.
  • SDI (Software Defined Infrastructure) je izgrađena da reši ove moderne izazove u protoku podataka, podržavajući evoluirajuće zahteve preduzetničkih sistema.
SDI se izvršava unutar JVM-a na host operativnom sistemu.
Primarni delovi SDI-a na JVM-u su sledeći:

Web server

  • Svrha web servera je da hostuje HTTP-bazirani komandni i kontrolni API SDI-a.

Kontroler toka

  • Kontroler toka je mozak operacije.
  • Obezbeđuje niti za rad ekstenzija i upravlja rasporedom kada ekstenzije dobijaju resurse za izvršavanje.

Ekstenzije

  • Postoji nekoliko tipova SDI ekstenzija koje su opisane u drugim dokumentima.
  • Ključna tačka ovde je da ekstenzije rade i izvršavaju se unutar JVM-a.

Repozitorijum FlowFile-ova

  • Repozitorijum FlowFile-ova je mesto gde SDI prati stanje onoga što zna o određenom FlowFile-u koji je trenutno aktivan u toku.
  • Implementacija repozitorijuma je uklonjiva.
  • Podrazumevani pristup je upisni-dnevnik sa unapred, koji se nalazi na određenoj disk particiji.

Repozitorijum sadržaja

  • Repozitorijum sadržaja je mesto gde žive stvarni bajtovi sadržaja određenog FlowFile-a.
  • Implementacija repozitorijuma je uklonjiva.
  • Podrazumevani pristup je prilično jednostavan mehanizam koji skladišti blokove podataka u fajl sistemu.
  • Može se navesti više lokacija za skladištenje fajl sistema kako bi se angažovale različite fizičke particije da bi se smanjilo zagušenje na bilo kojem pojedinačnom volumenu.

Repozitorijum porekla

  • Repozitorijum porekla je mesto gde se skladište svi podaci o događajima porekla.
  • Konstrukcija repozitorijuma je uklonjiva sa podrazumevanom implementacijom koja koristi jedan ili više fizičkih disk volumena.
  • Unutar svake lokacije, podaci o događajima su indeksirani i pretraživi.