“Echt cool om een wereld te simuleren voor robots met state-of-the-art machine learning.”

Mechatronic system engineer Judith Schoot Uiterkamp heeft meegewerkt aan een groot machine learning project voor een klant die werkt met meerdere robots die vrij in het veld bewegen. De klant kwam met interessante vragen bij Demcon, bijvoorbeeld “kun je een groep robots een bepaalde taak leren?”. Het doel was om meer inzicht te krijgen in het gebruik van robots en de toegevoegde waarde van reinforcement learning aan machines. Een enorm uitdagend project vond Judith.

Waarom is dit project zo’n grote uitdaging?

De klant heeft een paar tele-operated robots met de vraag in hoeverre je die autonoom kan maken met behulp van reinforcement learning. In een simulatie hebben we een wereld gebouwd om te onderzoeken hoe autonome systemen kunnen helpen de taak uit te voeren. Daar hebben we robots nagebouwd, inclusief alle sensoren, die we met een machine learning algoritme hebben getraind. Dit algoritme vormt uiteindelijk het gedrag van de robot. Hierdoor konden we bijvoorbeeld zien wat er gebeurt als je die robot in een bepaalde omgeving zet of bepaalde sensoren geeft. Dit gaf de klant meer inzicht in het gebruik van robots en zo konden we bepalen hoe ver we kunnen komen met deze technologie.

Voor Demcon was dit een zijstap in de standaard machine learning die we al deden. Ook het simuleren van de hele wereld was een uitdaging. We hebben nooit eerder op deze schaal een hele wereld met robots gebouwd. Daarbij wisten zowel de klant als de engineers niet waar het onderzoek op uit zou komen. Het was interessant om te werken binnen zo’n groot onbekend gebied waar alle extreme uitkomsten mogelijk waren. Werken met de laatste algoritmes was hartstikke cool en uitdagend, omdat niemand het ooit eerder heeft gedaan.

Hoe pak je zo’n complex project aan?

Je probeert zoveel mogelijk voorbeelden te vinden van mensen die het eerder gedaan hebben, maar die waren heel beperkt. We hebben een groot voorbeeld uit de game wereld gebruikt, maar hier zijn we uiteindelijk weer vanaf gestapt, omdat we tegen beperkingen aan liepen die in de echte wereld niet werken. Daarna is het een beetje zoeken. We hebben gebruik gemaakt van de agile approach waarbij we iedere week iets opleverden. Dit zorgde voor focus en weinig afdwalen, wat zeer belangrijk was bij dit project. Met kleine stapjes, herhalen en langzaam opbouwen kwamen we steeds verder. Het was een heel ander type project dan een standaard mechatronisch project waar bepaalde protocollen en best practices beschikbaar zijn. In dit project moesten we alles zelf uitzoeken.

Waarom is het project zo bijzonder?

Het project is uniek in Europa, maar ook vooruitstrevend. Voor de klant was dit project heel progressief en daardoor ontzettend gaaf. Het is een bijzonder project op technisch vlak, maar ook omdat het nooit eerder gedaan is. Doordat het een uniek project was met veel impact, was de teamspirit heel groot. We hadden een hecht team met veel enthousiasme en betrokkenheid. Je ziet het plezier en de gedrevenheid terug in de resultaten. We hebben ontzettend veel werk verzet en iets unieks neergezet.

Ik ben trots dat het project geslaagd is. Het was een ontzettend grote black box en niemand wist hoe het project zou gaan lopen of waar we naar moesten streven. Desondanks hebben we toch koers gevonden en iets concreet neergezet waar de klant echt iets mee kan. Daar ben ik heel trots op, want dat is heel moeilijk.

Wil je graag meer weten over werken bij Demcon? Kom dan eens langs voor een kop koffie (of thee). Stuur een mail naar coffee@demcon.com en we nemen graag contact met je op!