Distribuirani sustav datoteka djeluje kao poseban sustav koji izvršava pristup datotekama na mreži, osigurava pristup i pohranu podataka na većini strojeva poslužitelja. Analogna mrežna platforma je tradicionalni lokalni datotečni sustav koji upravlja uređajima za masovnu pohranu na računalu.

Osnove mrežnih baza podataka

Ovi se elementi odnose na mrežne datotečne sustave i jamče im pristup na poslužiteljima. Uz njihovu podršku, korisnik ima mogućnost formiranja cjelovitog datotečnog sustava vatrozida. Uključuje razne alate za poslužitelje. Distribuirani sustavi datoteka (RFS) omogućuju zrcaljenje, replikaciju i sigurnosno kopiranje baze podataka na bilo kojem pogonu, omogućujući programeru da uredi svoje datoteke, ukloni ili spremi konfiguracije.


Postoji nekoliko RFU-ova koji se razlikuju u primjeni, sučelju i protokolima, kao i razne funkcije kao što su caching, logging, višekanalna uporaba u lokalnim mrežama. Budući da je propusnost distribuiranih datotečnih sustava za klastere ekstremno niska, ti programi imaju posebne sustave s brzinama prijenosa od preko 100 MB /s. To uključuje globalni sustav (GFS) i vlasnički opći sustav (GPFS). RFU je hijerarhijski strukturiran i ima jedinstven logički sporazum o imenima. To je mrežni protokol koji korisniku omogućuje pristup datotekama bez poznavanja lokacije poslužitelja. Središnja struktura stabla pojednostavljujePotražite datoteke u cijeloj tvrtki. Često su pohranjeni i potpuno dostupni čak iu slučaju kvara glavnog tvrdog diska. U širem smislu, RFU podrazumijeva mrežni protokol za pristup datotečnom sustavu.


Primjeri su:

Mrežni datotečni sustav (NFS).

Zajednički datotečni sustav Interneta (CIFS), proširenje jedinica poslužitelja poruka (SMB).

Appleov protokol podnošenja (AFP) Apple.

Osnovni NetWare (NCP) protokol tvrtke Novell.

Dobro poznate implementacije RFS-a su:

DFS u sustavu Microsoft od Microsofta. Distribuirani DFS datotečni sustav s Microsoftovim standardom u poslužiteljskim operacijskim sustavima. Prvi put se pojavio u sustavu Windows NT4 i isporučen sa sustavom Windows 2000 Server. U sustavu Windows Server 2003 poboljšanja su dodana poslužitelju, kao što je nekoliko DFS korijena.

AFS Andrew File System, za koji postoji nekoliko proizvođača u okviru projekta "Distributed Computing".

Konzorcij DCE Open Group, kao daljnji razvoj AFSCoda, razvijen je na Sveučilištu Carnegie Mellonalosk.

BeeGFS /FhGFS za HPCGlusterFS klastere i aplikacije, za sve POSIX-kompatibilne operacijske sustave.

Datotečni sustav Hadoop nudi objekte, repozitorij blokova i datoteka, dio Linux kernela, LGPL.XtreemFS, RFS tolerantan na pogreške s POSIX-kompatibilnim sučeljem.

Googleov sustav datoteka (GFS, GoogleFS) temeljen na Linuxu optimiziran je za podatke visoke propusnosti.

Usporedba distribuiranih datotečnih sustava.

Održavanje i vrste usluga sustava

Takav sustav pruža sljedeće usluge:

Održavanje repozitorija. Distribucija i upravljanje prostoromsekundarnog uređaja za pohranu, čime se osigurava logičan izgled sustava za pohranu.

Održavanje izvorne datoteke. Uključuje semantiku dijeljenja datoteka, mehanizam predmemoriranja, replikaciju, paralelnu kontrolu, protokol za kopiranje u više kopija.

Usluga imenovanja kataloga. Odgovoran za radnje vezane uz imenik: stvaranje i uklanjanje direktorija, dodavanje nove datoteke u imenik, uklanjanje iz imenika, promjena imena, premještanje iz jednog imenika u drugi.

Potrebne funkcije RFU-a:

Transparentnost. Klijenti distribuiranog DFS datotečnog sustava ne bi trebali znati broj ili lokaciju datotečnih poslužitelja i uređaja za pohranu. Mnogi poslužitelji datoteka pružaju performanse, skalabilnost, pouzdanost i transparentnost pristupa.

I lokalne i udaljene datoteke trebale bi biti dostupne na isti način. Sustav bi trebao automatski pronaći raspoloživo i prenijeti ga na stranicu klijenta. Naziv datoteke ne smije ukazivati ​​na lokaciju datoteke. Ne smije se mijenjati kada se prebacujete s jednog mjesta na drugo. Ako se datoteka replicira na više čvorova, tada prisutnost više kopija i njihova lokacija trebaju biti skrivene od klijenata.

Mobilnost automatski pokreće korisnikovu okolinu, na primjer, korisnički korisnički direktorij na web-mjesto na kojem je prijavljen.

Produktivnost se mjeri kao prosječno vrijeme potrebno za zadovoljavanje zahtjeva kupaca. Ovo vrijeme uključuje CPU vrijeme + vrijeme za pristup sekundarnoj pohrani + vrijeme pristupamreža. Poželjno je da izvedba distribuiranog Windows datotečnog sustava bude usporediva s performansama centraliziranog sustava.

Korisničko sučelje u sustavu je jednostavno, međutim, broj naredbi treba biti što manji.

Skalabilnost, rast čvorova i korisnika ne bi trebali ozbiljno ometati uslugu.

Visoka dostupnost RFU-a trebala bi i dalje djelovati u djelomičnim padovima, kao što je neuspjeh komunikacije, čvor ili pogon, te bi trebalo imati nekoliko neovisnih poslužitelja datoteka koji upravljaju višestrukim uređajima za pohranu.

Visoka pouzdanost. Vjerojatnost gubitka pohranjenih podataka mora biti minimizirana. Sustav bi trebao automatski izraditi sigurnosne kopije kritičnih datoteka.

Integritet podataka osiguran je usporednim zahtjevima korisnika s višestrukim pristupom koji se natječu za pristup i moraju biti ispravno sinkronizirani korištenjem kontrolnog mehanizma više obrazaca.

Korisnici moraju biti sigurni u povjerljivost svojih podataka.

heterogenost RFU trebala bi omogućiti jednostavan pristup zajedničkim podacima na različitim platformama, kao što su Unix radne stanice, Wintelova platforma i druge.

Model prijenosa na razini bloka

U datotečnim sustavima koji koriste model za predmemoriranje podataka, važan projektni problem je izbor podatkovne jedinice. To se odnosi na dio datoteke koji se prenosi i oblikuje od strane klijenata kao rezultat jedne operacije čitanja ili pisanja.
UModeli prijenosa datoteka na razini datoteke, kada se podaci trebaju prenijeti, cijela se datoteka premješta. Prednosti modela:

Datoteka bi trebala biti poslana samo jednom kao odgovor na zahtjev klijenta i stoga je učinkovitija od prijenosa stranica, što zahtijeva više mrežnih protokola.

Smanjuje opterećenje poslužitelja i mrežni promet, jer jednom pristupa poslužitelju.

​​

Ovo poboljšava skalabilnost. Kada se cijela datoteka predmemorira na web-lokaciji klijenta, ona ne reagira na pogreške poslužitelja i mreže.

Nedostaci modela:

Trebate dovoljno prostora za pohranu na klijentskom računalu. Ovaj pristup nije prikladan za vrlo velike datoteke, pogotovo kada klijent radi na radnoj stanici bez diska.

Samo mali dio datoteke, premještanje cijelog spisa, je rasipno.

Prijenos datoteka odvija se u blokovima. To je zasebni dio i ima fiksnu duljinu i može biti jednaka veličini stranice virtualne memorije.

Za model prijenosa, prijenosna jedinica je bajt. Model pruža maksimalnu fleksibilnost, budući da vam omogućuje spremanje i izdvajanje proizvoljne veličine datoteke, postavljene unutarnjim pomakom i duljinom. Nedostatak je što je upravljanje cacheom teže zbog podataka varijabilne duljine za različite upite za pristup.

Model prijenosa na razini zapisa koristi se sa strukturiranim datotekama, a prijenosna jedinica je zapis. Nekoliko korisnika može istovremeno pristupiti zajedničkoj datoteci. Važan problemDizajniranje za bilo koji datotečni sustav je odrediti kada se promjene u podacima koje je korisnik napravio promatraju od strane drugih korisnika.

Obrasci i mjesto predmemorije

Svaki distribuirani sustav datoteka sustava Windows koristi svoj spremljeni oblik. Razlozi za stvaranje predmemorije:

Najbolje performanse, budući da se ponovljeni pozivi na iste informacije obrađuju dodatnim mrežnim pristupom i pogonom diska.

To je zbog mjesta u predložcima za pristup datotekama.

Doprinosi skalabilnosti i pouzdanosti RFU-a, budući da se podaci mogu udaljeno predmemorirati na lokaciji klijenta.

Glavne odluke koje se donose u shemi za spremanje datoteka za RFS:

Lokacija predmemorije.

Izmjena raspodjele.

Provjera predmemorije.

Mjesto predmemorije odnosi se na spremljenu lokaciju pohrane podataka. Pod pretpostavkom da je izvorna lokacija datoteke na disku njegovog poslužitelja. U RFS-u postoji nekoliko mogućih mjesta za predmemoriju:

Glavna memorija poslužitelja. U ovom slučaju, predmemorija pada u jedan mrežni pristup. To ne pomaže skalabilnosti i pouzdanosti sustava, budući da svaki predmemorijski klik zahtijeva pristup poslužitelju. Prednosti metode - jednostavnost implementacije, transparentnost za klijente, jednostavnost spremanja izvorne datoteke u cacheu.

Pri korištenju klijentskog diska, predmemorija dobiva jedan pristup disku. To je malo sporije nego imati predmemoriju u glavnoj memoriji poslužitelja. Prednosti distribuiranih datotečnih sustava pri korištenju diska klijentapouzdanost od kvarova, jer se promjena u spremljenim podacima gubi u slučaju kvara. Ova verzija velikog kapaciteta, olakšava skalabilnost i pouzdanost, budući da se zahtjev za daljinskim pristupom može pohraniti lokalno bez potrebe za kontaktiranjem poslužitelja.

Modifikacija distribucije

Kada se cache nalazi na čvorovima klijenta, podaci datoteke mogu biti istovremeno spremljeni u više čvorova. Moguće je da predmemorije postanu nekoordinirane kada se podaci o datoteci promijene od strane jednog od klijenata, a odgovarajući podaci spremljeni u drugim čvorovima se ne mijenjaju ili odbacuju. Postoje dva problema u dizajnu:

Pri distribuciji promjena na tim podacima na odgovarajućem datotečnom poslužitelju.

Prilikom provjere autentičnosti spremljenih podataka.

Korišteni sustav distribucije modifikacija ima kritičan utjecaj na performanse i pouzdanost sustava. Metoda "Shema snimanja" koristi se kada se promijeni ulaz u predmemoriju, nova vrijednost se odmah šalje poslužitelju radi ažuriranja glavne kopije datoteke. Prednost metode je visok stupanj pouzdanosti i prikladnosti za UNIX-sličnu semantiku. To je zbog činjenice da je rizik od obnavljanja podataka izgubljen u slučaju kvara klijenta vrlo nizak, jer se svaka izmjena odmah odnosi na poslužitelj koji ima glavnu kopiju. Nedostatak - ova je shema prikladna samo ako je omjer pogodaka za čitanje zapisa dovoljno velik. To ne umanjuje mrežni promet za pisanje. To je zbog činjenice da svaki pristup pisanju treba čekati dok se podaci ne snime na glavnu kopiju poslužitelja.

Shema skašnjenje snimanja

Kako bi se smanjio mrežni promet za pisanje, koristi se shema kašnjenja snimanja. U ovom slučaju, nova vrijednost podataka se zapisuje samo u predmemoriju, a svi ažurirani zapisi predmemorije šalju se kasnije poslužitelju. Postoje tri često korištena pristupa kašnjenja snimanja:

Snimanje kada se izbaci iz predmemorije. Izmijenjeni podaci u predmemoriji šalju se poslužitelju samo kada je politika za zamjenu predmemorije odlučila izvući podatke iz predmemorije. To može dovesti do dobrih performansi, ali može postojati problem pouzdanosti, budući da neki poslužiteljski podaci dugo stari.

Periodično snimanje. Povremeno se provjerava predmemorija i svi predmemorirani podaci koji su izmijenjeni od posljednjeg skeniranja na poslužitelj.

Zatvaranje. Izmjena spremljenih podataka šalje se poslužitelju kada klijent zatvori datoteku. To malo pomaže u smanjenju mrežnog prometa za datoteke koje su otvorene u vrlo kratkom razdoblju ili se rijetko mijenjaju.

Prednosti sheme odgođenog pisanja:

Zapis pristupa se izvršava brže jer je nova vrijednost zapisana samo u klijentovoj predmemoriji. To dovodi do povećane produktivnosti.

Izmijenjeni podaci mogu se izbrisati prije nego što ih je potrebno poslati na poslužitelj, primjerice privremene podatke. Budući da modifikacije ne moraju biti primijenjene na poslužitelj, to dovodi do značajnog povećanja performansi.

Skupljanje svih ažuriranja datoteka i njihovo slanje na poslužitelj učinkovitije je od slanja svakog ažuriranja pojedinačno.

Nedostatak programa koji kasni s rekordom - pouzdanost i dalje može biti problematična, budući da će se promjene poslane poslužitelju iz predmemorije klijenta izgubiti.

Replikacija kao mehanizam dostupnosti

Visoka dostupnost je dobra funkcija distribuiranog datotečnog sustava, a replikacija datoteka glavni je mehanizam za poboljšanje dostupnosti datoteka. Replicirana datoteka je datoteka koja ima više kopija, svaka s odvojenim poslužiteljem. Razlika između replikacije i predmemoriranja

Replika datoteke je pridružena poslužitelju, dok je spremljena kopija obično povezana s klijentom.

Postojanje spremljene kopije prvenstveno ovisi o lokaciji u predlošcima za pristup datotekama, dok prisutnost replike obično ovisi o zahtjevima dostupnosti i performansi.

U usporedbi s kopijom spremljene replike, ona je trajnija, nadaleko poznata, sigurna, dostupna, potpuna i točna.

Spremljena kopija ovisi o replici. Samo je spremljena kopija korisna ako povremeno provjeravate repliku.

Prednosti replikacije:

Povećana dostupnost. Alternativne kopije repliciranih podataka mogu se koristiti kada glavna kopija nije dostupna.

Povećana pouzdanost. Zbog prisutnosti redundantnih podatkovnih datoteka, moguće je oporaviti se od katastrofalnih padova, na primjer, pad sustava na tvrdom disku.

Poboljšano vrijeme odziva. Omogućuje pristup podacima bilo lokalno ili iz čvora čije je vrijeme pristupa manje od vremena pristupa izvornoj kopiji.

Smanjite mrežni promet. Ako je replika datoteke dostupna s datotečnim poslužiteljem koji se nalazi na klijentovoj stranici, zahtjev za pristup klijentu može se servisirati lokalno, što smanjuje mrežni promet.

Poboljšana propusnost sustava. Višestruki zahtjevi klijenata za pristup datoteci mogu se servisirati paralelno na različitim poslužiteljima, što povećava propusnost sustava.

Poboljšana skalabilnost. Nekoliko poslužitelja je dostupno za posluživanje zahtjeva klijenata zbog replikacije datoteka. To poboljšava skalabilnost.

Konfiguriranje aktivnosti klijenta kada je veza prekinuta

Uobičajeni problem s DFS-om je pojavljivanje poruke "Odspojeni klijent s odrezanom datotekom DFS-a". Microsoft mora riješiti ovaj problem, da biste to učinili, morate omogućiti klijenta na poslužitelju, na primjer, Windows Server 2012 R2. Algoritam akcija:

Otvorite Upravitelj poslužitelja i odaberite "Upravljanje DFS-om" na kartici "Alati", ako ga korisnik ne može pronaći, trebate dodati funkciju DFS Namespace.

Kliknite mišem i pokrenite čarobnjak "New Namespace".

Navedite naziv hosta, imenovati vlastiti prostor imena distribuiranog DFS datotečnog sustava.

Kliknite "Kreiraj" i DFS područje.

Uključuje dijeljene mape u DFS-u.

Odaberite imenski prostor i kliknite mapu Nova mapa.

Spoji više mapa u jedinstvenu virtualnu mapu.

Možete vidjeti da je staza Domain_NameNamespace_NameVirtual_folder_name kreirana.

Nakon ove poruke, "usluga distribuiranog datotečnog sustava nije."instaliran ", više neće biti.

Sustav za dijeljenje mrežnih resursa u Linuxu

NFS je najčešći datotečni sustav za dijeljenje mrežnih resursa. Najčešća verzija je NFS v2. Ovaj distribuirani Linux datotečni sustav ponaša se kao najviša razina lokalnog datotečnog sustava. Pristup udaljenim datotekama je putem RPC postupaka. On ne mari za status poslužitelja koji je dostupan ili nedostupan i koristi vrlo malo tehnologija za spremanje. Osim toga, sigurnost ovog sustava temelji se na povjerenju korisnika. Doista, to je ID klijenta koji se prosljeđuje kako bi se upoznali s pravima pristupa resursima. NFS v3 je evolucija NFS-a i trenutno se koristi u današnjem patentiranom Unixu, koji popunjava neke praznine u potonjem. Ova definicija distribuiranog datotečnog sustava, strukturno vam omogućuje da podržite velike datoteke veličine 264-bitne snage, kao i provjerite prava pristupa na poslužitelju. Mogu se temeljiti na tradicionalnoj Unix provjeri autentičnosti ili koristiti dodatnu provjeru autentičnosti, kao što je Kerberos. Verzija pruža mogućnost pisanja podataka asinkrono, što mu daje bolje performanse. Međutim, većina ostalih operacija ostaje sinkronizirana. NFS v3 podrška je trenutno u eksperimentalnoj fazi Linux kernela i vrlo je učinkovita.

Skalabilno skladištenje blokova

Ceph je softver dizajniran za pružanje skalabilnog objekta, repozitorija blokova i datoteka u sustavu. Skladištenje klasteraCEPH distribuirani datotečni sustav dizajniran za rad na roba hardvera pomoću slomili algoritam, kako bi se osigurala ravnomjerna raspodjela podataka o klasteru svi čvorovi u klasteru mogu brzo pristupiti podacima bez centralizirane uskih grla. CEPH je dostupan putem Amazon Simple (S3) i OpenStack Swift (OSTALO) na temelju sučelja za programiranje aplikacija, te rodni API za integraciju sa softverske aplikacije. U CEPH se koristi blok za pohranu blok, koji je virtualni disk i mogu se spojiti na poslužitelja temeljenih na Linux virtualnih strojeva ili open source. Secure offline skladištenje distribuira CEPH (Radoš) pruža mogućnosti za pohranu jedinica, kao što su fotografija i replikacije. CEPH Radoš blok uređaj integriran raditi kao stražnjem dijelu bloka pohranu s OpenStack. CEPH pohranu datoteka koristi POSIX kompatibilan CephFS datotečni sustav (CephFS) za pohranu podataka u klasteru pohranu CEPH. CephFS klaster koristi isti sustav kao jedinica za pohranu podataka i skladišta CEPH CEPH.

U prednosti raspoređena datotečnog sustava

tehnički omogućuje pristup zajedničkoj katalog koji sadrži datoteke, ali prijelazi i izborne poddirektorije s brojnim prijelazima. Transitions slične mekane veze, kao što znamo iz datotečnim sustavima Unix, ali su općenito katalog i mogu ukazivati ​​na opće direktorije na drugim poslužiteljima. Prvo, kupci su zamoljeni DFS poslužitelj veza, a zatim se pretvara u datotečni poslužitelj ukazao na vezi.Primarna svrha korištenja distribuiranog DFS datotečnog sustava je stvaranje alternativnog prostora naziva (prikaz stabla direktorija) koji skriva pojedinosti osnovne infrastrukture od korisnika. Staze koje korisnici vide i pozivaju DFS imena ne mijenjaju se prilikom preimenovanja poslužitelja ili prilikom premještanja nekih direktorija na drugi poslužitelj. Administratori mogu jednostavno zamijeniti zastarjelo ime novim, što ukazuje na novu svrhu. Ime može odrediti više od jednog cilja, tj. Pružiti nekoliko alternativnih veza klijentu za različite zajedničke mape. U ovom slučaju, klijenti distribuiranog DFS datotečnog sustava mogu pristupiti bilo kojoj od svrha. To osigurava uravnoteženje opterećenja i automatsko prebacivanje na drugi poslužitelj ako jedan od poslužitelja ne uspije. Zahvaljujući DFS-u više nema stroge veze s poslužiteljem. Memorija je predstavljena kao bazen velikog kapaciteta, iza kojeg su skriveni datotečni sustavi za korisnika. Zapravo, ovo je nevjerojatno koristan alat za rješavanje rastućih zahtjeva da datotečni sustav distribuira prostor na disku novih poslužitelja na temelju zahtjeva dostupnosti. Tehnologija, kao što je Windows DFS, koristi svakoj tvrtki, velikom i malom. Za velika poduzeća isplati se aspekt fleksibilnijeg korištenja resursa za pohranu. Budući da su svi diskovi dio virtualne memorije, nema više neiskorištenih ili preljevnih diskova i polja. Manje tvrtke, međutim, cijene standardizaciju uprave. Zahvaljujući njojOgraničeni resursi teško su pratiti pune poslužitelje, pravovremeno ih ažurirati na velike diskove i distribuirati prostor između aplikacija. DFS ne predstavlja prostor za pohranu na takav način da ga korisnici i aplikacije žele vidjeti jer uistinu postoje. Budući da su poslužiteljska i klijentska komponenta sastavni dio operativnog sustava Windows, proces instalacije i konfiguracije zahtijeva malo truda administratora i praktički ne utječe na rad korisnika. Programeri su integrirali potpuno upravljanje distribuiranim DFS sustavom Windows, konzola je jedinstvena točka kontrole za nekoliko korijenskih sustava DFS. Grafički alati olakšavaju pregledavanje i praćenje. Upravljanje je moguće čak i na web stranicama.