Socrat Integrator Podataka
SDI je napravljen za protok podataka. Podržava visoko konfigurisane usmerene grafove za usmeravanje podataka, transformaciju i medijaciju sistema.
Neke od njegovih ključnih karakteristika uključuju:
Poreklo Podataka
- Praćenje toka podataka od početka do kraja
Web-bazirani korisnički interfejs
- Besprekorno iskustvo za dizajn, kontrolu i praćenje
- Višekorisničko iskustvo
Dizajniran za proširenje
- Izgradnja sopstvenih procesora i više
- Omogućava brzi razvoj i efikasno testiranje
Sigurnost
- SSL, SSH, HTTPS, enkriptovani sadržaj, itd.
- Uklonjiva fino-granularna autentifikacija/autorizacija zasnovana na ulogama
- Više timova može upravljati i deliti specifične delove toka
Visoko prilagodljiv
- Tolerantnost na gubitke naspram garantovane isporuke
- Niska latencija naspram visokog protoka
- Dinamičko prioritetizovanje
- Tokovi se mogu menjati u toku rada
- Kontrola opterećenja
- Skaliranje da bi se iskoristila puna moć mašine
- Skaliranje sa modelom klasterisanja bez vođe
SDI je sistem za protok podataka zasnovan na konceptima programiranja zasnovanog na tokovima. Podržava moćne i skalabilne usmerene grafove za usmeravanje podataka, transformaciju i logiku medijacije sistema. SDI ima web-bazirani korisnički interfejs za dizajn, kontrolu, povratne informacije i praćenje tokova podataka. Visoko je konfigurisano u nekoliko dimenzija kvaliteta usluge, kao što su tolerancija na gubitke naspram garantovane isporuke, niska latencija naspram visokog protoka i prioritetizovano redosledstvo. SDI obezbeđuje fino-granularno poreklo podataka za sve primljene, razdvojene, spojene, klonirane, modifikovane, poslate i na kraju odbačene podatke kada dostignu svoju konfigurisanu krajnju tačku.
Korisnički interfejs SDI-a pruža mehanizme za kreiranje automatizovanih tokova podataka, kao i za vizualizaciju, uređivanje, praćenje i upravljanje tim tokovima. Interfejs se može podeliti na nekoliko segmenata, od kojih je svaki odgovoran za različite funkcionalnosti aplikacije. Ovaj deo pruža snimke ekrana aplikacije i ističe različite segmente korisničkog interfejsa. Svaki segment se detaljnije razmatra kasnije u dokumentu.
Jednostavno rečeno, SDI je izgrađen da automatski upravlja protokom podataka između sistema. Iako se termin „protok podataka“ koristi u različitim kontekstima, ovde ga koristimo da označimo automatizovani i upravljani protok informacija između sistema. Ovaj problem postoji otkad preduzeća imaju više od jednog sistema, gde neki sistemi stvaraju podatke, a neki ih konzumiraju. Problemi i obrasci rešenja koji su se pojavili su opširno diskutovani i artikulisani. Sveobuhvatan i lako dostupni oblik nalazi se u Enterprise Integration Patterns [eip].
Neki od visoko-nivouskih izazova protoka podataka uključuju:
Sistemi otkazuju
- Mreže otkazuju, diskovi otkazuju, softver se ruši, ljudi greše.
Pristup podacima premašuje kapacitet za konzumaciju
- Ponekad određeni izvor podataka može nadmašiti neki deo lanca obrade ili isporuke – dovoljan je samo jedan slaba karika da se pojavi problem.
Granični uslovi su samo sugestije
- Neizbežno ćete dobiti podatke koji su preveliki, premali, prebrzi, prespori, oštećeni, pogrešni ili u pogrešnom formatu.
Ono što je danas šum, sutra postaje signal
- Prioriteti organizacije se brzo menjaju.
- Omogućavanje novih tokova i menjanje postojećih mora biti brzo.
Sistemi se razvijaju različitim brzinama
- Protokoli i formati koje koristi određeni sistem mogu se promeniti u bilo kom trenutku, često neovisno o sistemima oko njih.
- Protok podataka postoji da poveže ono što je u suštini masivno distribuirani sistem komponenti koje su slabo ili uopšte nisu dizajnirane da rade zajedno.
Usaglašenost i bezbednost
- Zakoni, regulative i politike se menjaju.
- Poslovni dogovori između kompanija se menjaju.
- Interakcije između sistema i korisnika moraju biti sigurne, poverljive i odgovorne.
Kontinuirano unapređenje se dešava u proizvodnji
- Replikacija proizvodnih okruženja u laboratorijskim uslovima je izazovna, jer je teško replicirati složenost stvarnog sveta.
- Protok podataka, koji je nekada bio smatran teškom neophodnošću, sada je ključan za uspeh preduzeća zahvaljujući napretku tehnologije.
- Glavni pokretači uključuju servisno orijentisanu arhitekturu (SOA), porast API-ja, Internet stvari (IoT) i velike podatke, koji svi donose nove zahteve za upravljanje protokom podataka.
- Zahtevi za usklađenost, privatnost i bezbednost rastu, što zahteva strože prakse obrade podataka.
- Iako obrasci protoka podataka ostaju uglavnom isti, skala, složenost i potreba za brzim prilagođavanjem su porasli, što čini krajnje slučajeve češćim.
- SDI (Software Defined Infrastructure) je izgrađena da reši ove moderne izazove u protoku podataka, podržavajući evoluirajuće zahteve preduzetničkih sistema.

SDI se izvršava unutar JVM-a na host operativnom sistemu.
Primarni delovi SDI-a na JVM-u su sledeći:
Web server
- Svrha web servera je da hostuje HTTP-bazirani komandni i kontrolni API SDI-a.
Kontroler toka
- Kontroler toka je mozak operacije.
- Obezbeđuje niti za rad ekstenzija i upravlja rasporedom kada ekstenzije dobijaju resurse za izvršavanje.
Ekstenzije
- Postoji nekoliko tipova SDI ekstenzija koje su opisane u drugim dokumentima.
- Ključna tačka ovde je da ekstenzije rade i izvršavaju se unutar JVM-a.
Repozitorijum FlowFile-ova
- Repozitorijum FlowFile-ova je mesto gde SDI prati stanje onoga što zna o određenom FlowFile-u koji je trenutno aktivan u toku.
- Implementacija repozitorijuma je uklonjiva.
- Podrazumevani pristup je upisni-dnevnik sa unapred, koji se nalazi na određenoj disk particiji.
Repozitorijum sadržaja
- Repozitorijum sadržaja je mesto gde žive stvarni bajtovi sadržaja određenog FlowFile-a.
- Implementacija repozitorijuma je uklonjiva.
- Podrazumevani pristup je prilično jednostavan mehanizam koji skladišti blokove podataka u fajl sistemu.
- Može se navesti više lokacija za skladištenje fajl sistema kako bi se angažovale različite fizičke particije da bi se smanjilo zagušenje na bilo kojem pojedinačnom volumenu.
Repozitorijum porekla
- Repozitorijum porekla je mesto gde se skladište svi podaci o događajima porekla.
- Konstrukcija repozitorijuma je uklonjiva sa podrazumevanom implementacijom koja koristi jedan ili više fizičkih disk volumena.
- Unutar svake lokacije, podaci o događajima su indeksirani i pretraživi.