Innovatieblog -Innovation Blog - Cloud

Op 5 en 6 maart 2015 organiseerde UNESCO-IHE een workshop voor onderzoek naar waterbouw en waterbeheer met behulp HPC-systemen. Als de toonaangevende nationale aanbieder van e-infrastructuur verzorgde SURFsara een praktijksessie om te laten zien welke voordelen de HPC Cloud de watersector te bieden heeft.

Over HPC Cloud van SURFsara

SURFsara stelt de HPC Cloud sinds 2009 ter beschikking van Nederlandse wetenschappers. De HPC Cloud is een IaaS-computersysteem (Infrastructure as a Service) waarmee gebruikers zelf clusters van virtuele machines (VM) kunnen samenstellen.

Over UNESCO-IHE

Het in Delft gevestigde UNESCO-IHE is het grootste kennis- en opleidingsinstituut voor water; het verzorgt Master- en PhD-opleidingen voor waterdeskundigen uit de hele wereld. Studenten en medewerkers zoeken er samen naar oplossingen voor grote problemen waarvoor meer rekenkracht of opslagruimte nodig is dan die van een doorsnee desktop of laptop. Om die reden hebben diverse Master-studenten en PhD-kandidaten een beroep gedaan op SURFsara’s HPC Cloud voor het succesvol afronden van hun onderzoek.

UNESCO-IHE-sessies

Op de donderdagochtend ging de aandacht uit naar waterproblemen en -scenario’s. De aanwezigen kregen een indruk van de aard van de problemen en instrumenten waarmee hun collega’s bezig zijn, om ze vervolgens op hun eigen wetenschappelijk werk te betrekken. Na de officiële verwelkoming door professor Dimitri Solomatine (hoofd van de groep Hydroinformatics Chair) gaf conferentievoorzitter Gerald Corzo het woord aan professor Dano Roelvink. Professor Roelvink gaf uitleg over de mogelijkheden van XBeach, een softwareprogramma waar hij actief aan werkt. XBeach kan golfvoortplanting, stroming, sedimententransport en kustveranderingen modelleren. Hij gaf enkele praktijkvoorbeelden van dit soort kustverschijnselen en wees op de grote waarde van modelleringstools voor de evaluatie van gebeurtenissen uit het verleden met als doel rampen in de toekomst te voorkomen.

Ervaringen met HPC en voorbeelden van mogelijke toepassing

Na de eerste sessie over XBeach-software beschreven 3 studenten en huidige HPC Cloud-gebruikers van UNESCO-IHE hoe zij de HPC Cloud hebben ingezet voor hun studie: Micah Mucolwe, Isnaeni Hartanto en Shah Ab Razak. Micah heeft in zijn onderzoek naar de voortplanting van hoogwatergolven voordeel behaald met de HPC Cloud door via meerdere kernen LISFLOOD-FP-software te draaien op een grote VM met 16 CPU-kernen. Dit is een duidelijk voorbeeld van hoe een cloudsysteem kan dienen om berekeningen op te schalen (verticale opschaling).

Isnaeni liet zien hoe je verschillende gegevensbronnen en -modellen (zoals aardobservatie, weermodellen en bodemsamenstelling) kunt combineren om het hydrologisch gedrag van een bepaald gebied te bestuderen en dijken of sluizen te plannen om het water op het juiste peil te houden. Hij heeft in de HPC Cloud een werkstroom geïmplementeerd om het SIMGRO-softwaremodel te draaien volgens de Monte Carlo-benadering. Die werkstroom omvat stappen om automatisch direct VM’s te creëren naarmate de behoefte aan verwerkingscapactiteit toeneemt. Isnaeni vertelde hoezeer de tips van de SURFsara-adviseurs hem op weg hadden geholpen bij de ontwikkeling van een fraai staaltje horizontale opschaling en eenvoudige (maar doeltreffende) elasticiteit: meer middelen beschikbaar stellen wanneer je die nodig hebt.

Shah heeft de evolutie van zandbanken voor een bepaald kustgebied grondig bestudeerd door te onderzoeken hoe zij zich verplaatsen onder invloed van bepaalde stromingen en hoe met kunstmatige middelen de vorm ervan kan worden beïnvloed. Om deze wisselwerking te modelleren maakt hij creatief gebruik van XBeach, en met behulp van maximaal 32 CPU-kernen per keer per simulatie boekt hij binnen een redelijk tijdsbestek resultaat (opschalen).

Tot slot lieten 2 studenten, Miguel Á. Laverde en Vitali Díaz, ons kennis maken met de uitdaging die zij binnenkort aangaan, namelijk het vergelijken van 2 zeer complexe landscenario’s. Op dit moment zijn ze nog bezig met het afbakenen van hun onderzoek en ook zullen ze nog moeten nagaan wat ze zoal nodig hebben aan hulpmiddelen om hun vragen te beantwoorden. Maar ze overwegen serieus gebruik te maken van de flexibiliteit van de HPC Cloud.

Wat hebben we geleerd van onze gebruikers?

Vanuit het perspectief van SURFsara hebben we door het bijwonen van deze eerste sessies (als leken op het gebied van waterbeheer) inzicht gekregen hoe complex de onderzoeksthema’s kunnen zijn, zowel computationeel als wetenschappelijk. Ook al bewegen zij zich niet op het gebied van Computing Sciences, zij hebben veel gehad aan de door ons geboden hoogwaardige ondersteuning. We hebben tal van positieve reacties en complimenten ontvangen. Dit is de eerste generatie HPC Cloud-gebruikers binnen het instituut en in die zin zijn het pioniers. En omdat het voor hen een hele opgave bleek zich het systeem eigen te maken en zich erop in te stellen, zijn ze allemaal bereid hun kennis door te geven aan de tweede generatie. Samen met het instituut zullen we er zorg voor dragen dat die kennis niet verloren gaat maar als basis dient voor de toekomst. We zullen ondersteuning blijven verlenen en de toegankelijkheid verder vergroten.

SURFsara-sessies

Na een jaar lang projecten van UNESCO-IHE te hebben gefaciliteerd op de HPC Cloud, beseften we dat de HPC Cloud geschikt bleek omdat onderzoekers de flexibiliteit wordt geboden om hun eigen software en bibliotheken te installeren en te gebruiken. Dat kan echter ook een nadeel zijn als je zelf geen systeembeheerder bent. Daarom besloten we een praktijksessie op de HPC Cloud aan te bieden. Op de eerste dag zou de basiskennis worden bijgebracht (wat is een VM, hoe maak je een VM, enz.), op de tweede dag gevolgd door parallelle programmeerparadigma’s. Om een en ander aantrekkelijker te maken, kozen we voor Xbeach, een programma dat parallel kan draaien en waarvan in de betreffende discipline en sector veel gebruik wordt gemaakt.

Voorbereiding van de workshop bij SURFsara

Achter de schermen werkten we aan een mix van oefeningen die samen met presentaties de deelnemers van UNESCO-IHE een ervaring uit eerste hand met de HPC-systemen moesten geven. Het eerste deel van SURFsara’s praktijksessie was bedoeld om de deelnemers, overwegend MS Windows-gebruikers, wegwijs te maken in de gedistribueerde computingfaciliteiten van HPC. Volgens ons kon dat het beste worden bereikt door hen een reeks uitvoerige oefeningen te laten doen waarin zij met behulp van de HPC Cloud-beheerinterface diverse standalone of onderling verbonden Linux VM’s zouden maken en stoppen. De rest van de oefeningen in de basisaspecten ging over het aanpassen van sjablonen en netwerkinterfaces aan specifieke applicaties, het opzetten van virtuele clusters en het experimenteren met de verschillende Cloud-opslagvoorzieningen. Omdat we onze doelgroep al kenden, stelden we een speciale handleiding op voor het maken van een verbinding met de HPC Cloud vanuit Windows, hoewel onze traditionele Linux-versie ook werd aangepast aan de specifieke aard van deze cursus.

Een virtuele cluster opzetten: XBeach parallel draaien

In het tweede deel van onze HPC Cloud-oefensessie namen we meer gevorderde oefeningen op die waren toegespitst op applicaties op de onderzoeksgebieden van UNESCO-IHE. Daartoe creëerden we een nieuw beeld met XBeach op een Linux-distributie, samen met een serie gebruiksklare XBeach-voorbeeldgevallen, en boden we de studenten oefeningen waarin ze wat konden spelen met 2 parallelle (multi-)verwerkingstechnieken: Shared Memory-programmeren (met OpenMP) en Message-Passing (MPI). De studenten werd gevraagd met hun geleerde vaardigheden via de cloud-interface een van de XBeach-voorbeeldgevallen over te zetten naar de HPC Cloud. De opdracht was de prestaties van een model in een situatie met 1 multikern-VM te vergelijken met die van hetzelfde model gedistribueerd over diverse multikern-VM’s in een virtueel cluster.

Conclusie

Al met al was het een geweldige ervaring voor SURFsara’s team e-Science en Cloud-diensten om studenten te helpen bekend te raken met de HPC Cloud en hun te laten zien hoe hun modellen kunnen profiteren van de schaalbaarheid en on-demand beschikbaarheid van HPC-middelen. We zien nu al uit naar de volgende workshop van UNESCO-IHE en SURFsara. Dat wordt een mooie gelegenheid om nog veel meer onderzoekers te verwelkomen die hun wetenschappelijk werk een impuls willen geven met behulp van SURFsara’s HPC-faciliteiten en -diensten.

Auteurs: Ander Astudillo en Anatoli Danezi

Over de Auteur