Hoe je begrijpt wat een cluster is

Veel mensen gebruiken hun computer voornamelijk om e-mail te checken, te scrollen op sociale media en eenvoudige kantoorwerkzaamheden uit te voeren. Voor dat soort werk heb je niet echt een krachtige machine nodig. Een lichte, dunne en lichte laptop kan die taken meestal moeiteloos aan. Deze apparaten worden vaak geleverd met energiezuinige processors die niet eens een ventilator nodig hebben, omdat ze zelf voldoende koel blijven. Maar zodra je zwaardere taken gaat uitvoeren – bijvoorbeeld gamen, renderen of zware dataverwerking – heb je robuustere hardware nodig. Dan zijn geluid, koeling en verwerkingskracht veel belangrijker.

Gaming-pc’s zijn een goed voorbeeld. Ze hebben doorgaans een versterkt koelsysteem voor de CPU en GPU, omdat ze veel warmte produceren en die extra luchtstroom nodig hebben. Andere taken, zoals mediabewerking of wetenschappelijke simulaties, vereisen nog meer rekenkracht – soms meer dan comfortabel in een standaard pc-behuizing past. Om dit soort zware werk aan te kunnen, zijn er verschillende mogelijkheden: je kunt meerdere krachtige computers in een cluster aansluiten, grid computing gebruiken om taken over verschillende machines te verdelen, of helemaal voor een supercomputer gaan – maar die laatste optie is niet bepaald betaalbaar of eenvoudig te installeren.

Supercomputers zijn waanzinnig duur en vereisen gespecialiseerde configuraties. Het kost een hoop geld om er een vanaf nul te bouwen, en ze draaien vaak op aangepaste software om hun prestaties te optimaliseren. Bovendien zijn ze niet bepaald upgradevriendelijk: door de nauwe integratie van alles vereist het upgraden van hardware veel planning en moet je vaak delen ervan opnieuw bouwen. Grid computing is een goedkoper alternatief, maar werkt alleen goed als je werklast netjes over meerdere machines kan worden verdeeld. Zo is het koppelen van een aantal lichtgewicht laptops niet voldoende voor zware berekeningen; het is meer geschikt voor specifieke taken zoals het verwerken van wetenschappelijke data of gedistribueerde rendering. Ze zijn prima voor kleine taken, maar de prestaties worden beperkt door de langzaamste machine in het netwerk.

Clustering op het middengebied

Dit is waar clustercomputing interessant wordt. In principe bestaat een computercluster uit een aantal gewone computers die via snelle netwerkverbindingen met elkaar zijn verbonden en als één geheel worden beheerd. Het is een vrij flexibele configuratie: u kunt meer computers toevoegen naarmate uw verwerkingsbehoeften toenemen, of een aantal offline halen voor onderhoud zonder alles plat te leggen. Bovendien blijven de rest werken als één knooppunt crasht, dus er is enige fouttolerantie ingebouwd. Hoewel een beheersuite geen wondermiddel is, maakt het het toezicht op het hele cluster wel veel eenvoudiger. U kunt taken parallel uitvoeren, de werklastverdeling optimaliseren en zelfs afzonderlijke machines in de loop van de tijd upgraden – u hoeft niet alles in één keer te vervangen.

In een configuratie die ik zag, was een lokaal cluster opgebouwd uit standaard desktops, met een managementdashboard waarmee de prestaties en load balancing eenvoudig te monitoren waren. Natuurlijk lost dit niet elk probleem op – sommige taken kunnen gewoon niet perfect worden verdeeld. Maar over het algemeen biedt het een behoorlijk goede balans tussen kosten en vermogen. Het beste eraan? Je hebt geen dure, gespecialiseerde hardware nodig. Gewoon gewone computers, misschien een paar goedkope servers en een ethernetswitch. Je kunt klein beginnen en geleidelijk opschalen door indien nodig meer nodes toe te voegen, waardoor de initiële kosten beheersbaar zijn en upgrades flexibel. Als je extra ambitieus bent, kan het kopen van nieuwere hardware en het combineren daarvan een boost geven, maar op den duur zijn oudere modellen misschien niet meer de moeite waard om te behouden – minder energiezuinig en trager.

Waarvoor worden clusters gebruikt?

Clusters zijn niet alleen voor gekke wetenschappelijke doeleinden; ze zijn superhandig voor allerlei projecten. Je kunt bijvoorbeeld een klein Raspberry Pi-cluster opzetten om een eenvoudige web- of bestandsserver te draaien. Grotere opstellingen zijn gebruikelijk in datacenters voor big data-verwerking of wetenschappelijk onderzoek, zoals klimaatmodellering of natuurkundige simulaties. Soms bouwen mensen renderfarms met een handvol desktops die samenwerken voor 3D-renderingtaken. Sommige van ’s werelds snelste supercomputers, zoals de Japanse K-computer, zijn in feite enorme clusters. Ze zijn gebouwd om complexe berekeningen sneller uit te voeren dan een enkele machine ooit zou kunnen.

Afronding

Uiteindelijk is clustering een behoorlijk veelzijdige manier om de processorkracht te vergroten zonder het budget van een volwaardige supercomputer te verspillen. Het biedt goede schaalbaarheid, enige fouttolerantie en eenvoudigere upgrades – en je hebt geen hyperdure apparatuur nodig om te beginnen. Niet alles is echter perfect: het paralleliseren van taken kan lastig zijn en niet alle workloads zijn geschikt. Maar als je meer uit bestaande hardware wilt halen of een flexibele, kosteneffectieve oplossing zoekt, is clustering wellicht de oplossing.

Samenvatting

Clustering verbindt meerdere computers zodat ze als één geheel functioneren
Kosteneffectief in vergelijking met supercomputers, gemakkelijker te upgraden
Uitstekend geschikt voor schaalbare, fouttolerante verwerking
Werkt goed voor specifieke taken zoals gegevensverwerking, rendering of wetenschappelijke simulaties
Hardware kan bestaan uit standaard pc’s of servers, er is geen speciale apparatuur nodig

Hopelijk helpt dit iemand om beter te begrijpen wat cluster computing werkelijk is en hoe het in jouw workflow past. Het is geen wondermiddel, maar het is een goede manier om het potentieel van je hardware te vergroten zonder dat het je veel geld kost.