Hrvatski
English
    CRO NGI Vertical
   
   
  Klasterske tehnologije
   
 
 

 

 
 

 

Na ovim stranicama nalaze se osnovne informacije o klasterima te klasterskim tehnologijama analiziranim u okviru prvog dijela projekta CRO-GRID Infrastruktura.

Općeniti podaci o klasterima opisani su u nastavku dok su pojedine klasterske tehnologije opisane na zasebnim stranicama.

Opisane klasterske tehnologije su:

  1. sustavi za upravljanje poslovima
  2. sustavi za nadzor klastera
  3. standardne paralelne knjižnice
  4. sustavi za automatsku instalaciju
  5. klasteri na razini OS-a
  6. alati za testiranje klastera
  7. klasterske distribucije.

Klasteri

Klaster ili grozd se definira kao skup samostalnih računalapovezanih računalnom mrežom koji djeluju kao jedinstveno računalo.Klasteri su nastali kao alternativa skupim višeprocesorskimsuperračunalima.

Svojstvo sustava sastavljenog od skupa komponenata da skriva složenost i predočava se kao jedinstven sustav naziva se Privid Jedinstvenog Sustava (engl. Single System Image SSI),u nastavku SSI. U tablici su navedena svojstva koja klaster treba imatida zadovolji SSI svojstvo. Klasteri koji ispunjavaju navedena svojstvanazivaju se SSI klasteri.

Svojstvo

Engleski naziv

Opis svojstva

Jedinstvena pristupna točka

Single entry point

Sustavu se pristupa kao da se radi o jednom računalu.

Jedinstveno korisničko sučelje

Single User Interface

Korisnici pri radu sa klasterom koriste jedinstveno sučelje.

Jedinstven sustav za upravljanje resursima

Single control point

Upravljanje i nadzor klastera se ostvaruje pomoću jednog sustava.

Jedinstven sustav za upravljanje poslovima

Single job management

Svim poslovima koji se izvršavaju na klasteru upravlja jedan sustav.

Jedinstveni datotečni sustav

Single file hierarchy

Čvorovi vide jednaku organizaciju direktoriju, tj. koriste isti datotečni sustav.

Jedinstvena računalna mreža

Single virtual networking

Čvorovi imaju privid da su povezani jednom mrežom, iako u stvarnosti mogu biti povezani sa više mreža.

Jedinstveni memorijski prostor

Single memory space

Programi vide jedinstven memorijski prostor.

Jedinstven I/O prostor *

Single I/O space

Programi vide jedinstven I/O prostor.

Jedinstven procesni prostor *

Single process space

Procesi na svim čvorovima se izvršavaju u jedinstvenom procesnom prostoru, tj. jedinstvenom prostoru procesnih identifikatora.

Spremanje stanja procesa i selidba procesa *

Checkpointing and process migration

Spremanje stanja procesa koji se izvršavaju omogućava pokretanje procesa od posljednje spremljene točke prilikom greške.
Selidba procesa omogućava transparentno premještanje procesa sa pokvarenog čvora na ispravni.

* Svojstvo nije nužno da bi se klaster klasificirao kao SSI klaster.

Klasteri mogu ostvarivati svojstvo SSI na tri razine: na razinisklopovlja, na razini operacijskog sustava i na aplikacijskoj razini.SSI na razini sklopovlja ostvaruje se pomoću posebnog sklopovlja kojiomogućava korisniku da vidi računala u klasteru kao jedinstvenoračunalo. SSI na razini OS-a sastoji se od posebnih operacijskihsustava ili OS-a sa dodacima koji stvaraju privid jedinstvenog stroja.SSI na razini aplikacija se ostvaruje se skupom računalnih programakoji se nazivaju klasterski middleware.

Klasterski middleware

Klasterski middleware je skup programa koji omogućavaju čvorovima klastera da djeluju kao jedno. Na slici je prikazana arhitektura klastera s pojedinim komponentama klasterskog middlewarea:

  1. sustav za upravljanje poslovima
  2. sustav za nadzor klastera
  3. paralelne knjižnice
  4. sustavi za automatsku instalaciju čvorova
  5. alati za upravljanje klasterom
  6. dijeljeni i paralelni datotečni sustavi
  7. globalni procesni prostor.

Sustav za upravljanje poslovima (engl. Job Management System JMS) je komponenta klasterskog middlewarea koja je zadužena za kontrolu, raspoređivanje, nadzor i izvođenje korisničkih aplikacija. Sustav za nadzor obavlja praćenje stanja čvorova te omogućava prikaz opterećenja pojedinih komponenata čvorova. Standardne paralelne knjižnice omogućavaju razvoj i izvođenje paralelnih aplikacija. Sustavi za automatsku instalaciju čvorova omogućavaju automatsku instalaciju i konfiguraciju OS-a i skupa programa na čvorove klastera. Ove četiri komponente su detaljnije opisane na navedenim stranicama.

Alate za upravljanje klasterom čini skup alata koji služi administratorima za direktno upravljanje čvorovima. Primjeri su alati za izvođenje naredbi na svim čvorovima ili za snimanje datoteka na sve čvorove.

Dijeljeni datotečni sustavi omogućavaju da korisnik na svim čvorovima isti datotečni sustav. Najčešće se koristi NFS (engl. Network File System).Paralelni datotečni sustavi omogućavaju da se datoteke obrađuju paralelno na više čvorova. Na taj način se ostvaruju veće performanse pri radu sa velikim datotekama.

Sustav za ostvarivanje globalnog procesnog prostora omogućava da svi procesi na čvorovima imaju jedinstvene identifikatore na razini OS-a.Pomoću tog sustava korisnik može kontrolirati svim procesima na svim čvorovima. Sustav za globalni procesni prostor nije nužan za rad klastera te nije ostvaren kod većine klastera.

Vrste klastera

Postoji više podjela klastera. Jedna od mogućih podjela je sljedeća: Beowulf klasteri i mreže radnih stanica (engl. Networks of Workstations NOW) ili klasteri radnih stanica (engl. Clusters Of Workstations COW).

Beowulf klaster se sastoji od skupa računala koja ne sadrže periferne jedinice (tipkovnicu, ekran). U Beowulf klasteru jedan čvorse razlikuje od svih ostalih i naziva se front-end. Front-end čini središte klastera i na njemu su smješteni poslužitelji pojedinih sustava klasterskog middlewarea. Konkretno, na front-endu su smješteni datotečni sustav te poslužitelji sustava za upravljanje poslovima, sustava za nadzor klastera i sustava za automatsku instalaciju čvorova. Front-end i čvorovi su povezani u privatnu mrežu koja je fizički izolirana od javne mreže. Na taj način se ostvaruje učinkovitija komunikacija između čvorova. Front-end ima dva mrežna sučelja: jedno prema javnoj mreži i drugo prema privatnoj mreži. Korisnici pri korištenju Beowulf klastera rade isključivo na front-endu koji tako čini jedinstvenu točku pristupa.

Mreža radnih stanica ili računala sastoji se od skupa računala koja korisnici svakodnevno koriste, a u razdobljima kada su neopterećena koriste se za izvršavanje klasterskih poslova. Klasterski middleware kod mreža radnih stanica mora omogućavati praćenje opterećenja računala. Nadalje, sustav za upravljanje poslovima mora omogućiti premještanje poslova sa čvor koji postane opterećen, tj.kada ga vlasnik krene koristiti, na neki neopterećeni čvor.

Beowulf klasteri ostvaruju bolje performanse od mreža radnih stanica. Neke od prednosti Beowulf klastera nad mrežom radnih stanica su sljedeće: privatna računalna mreža, dedicirana računala i računala čine jednu administracijsku domenu. Čvorovi Beowulf klastera povezani su računalnom mrežom koja je fizički izolirana od javne mreže pa nepostoji pozadinsko opterećenje mreže. Računala koja čine čvorove se koriste isključivo za potrebe klastera pa ne postoji potrebe za praćenjem pozadinskog opterećenja računala. Kako se čvorovi koriste isključivo za potrebe klastera moguće je provesti prilagodbe jezgre OS-a čvorova tako da se ostvare bolja svojstva cijelog sustava. Činjenica da se računala nalaze u privatnoj lokalnoj mreži olakšava administraciju i povećava sigurnost.

Još jedan oblik podjele klastera je prema vrsti računarstva kojoj su namijenjene: računarstvo visokih performansi (engl. High Performance Computing HPC), računarstvo s velikom propusnošću (engl. High Throughput Computing HTC) i klasteri s visokim stupnjem dostupnosti (engl. High Availability HA).

HPC se odnosi na skup aplikacija koje zahtijevaju iznimno veliku računalnu moć. Tipične HPC aplikacije su paralelne aplikacije čiji su potprocesi usko povezani i razmjenjuju veliku količinu informacija. HPC aplikacije su pogodne za Beowulf klasu klastera.

HTC se odnosi na skup aplikacija koje se sastoje od velikog broja međusobno neovisnih zadataka. HTC aplikacije su pogodne za mrežeradnih stanica.

Posljednja klasa se odnosi na klastere na kojim se izvršavaju aplikacije koje su vitalni dio nekog sustava i koje moraju biti neprestano aktivne. Primjer aplikacija koje zahtijevaju HA su web poslužitelji, mail poslužitelji i imenički poslužitelji. HA klasteri neće biti detaljno razmatrani jer nisu neophodni za potrebe CRO-GRIDprojekta.