Alex Nederlof over AI driven automation in de tandheelkunde

En natuurlijk als een tandarts een klein beetje scheefboord naar voren naar achter of opzij, dan komt er te veel spelen in dat voorgeborene gat zeg maar, voor ze de plug erin staan. En dan gaat die pluggen op een gegeven moment los. Dat is natuurlijk nooit de schuld van de tandarts dan. Ik had deze aflevering echt vandaag niet meer te doen, want ik moet namelijk donderdag naar de tandarts. Oké, ik zal met een aantal tandartsweekjes proberen te beperken. Nee hoor, nee, grap ik maar. Maar het is wel serieus, ik moet donderdag. Het begint wel tot de gebeelding, ja ja. Zo, welkom allemaal bij een aflevering van CodeKlets. We zitten alweer op aflevering 8 van seizoen 2. Vandaag hebben we weer een online opname met host Saber en ik, Kishen. Hey Saber, dat is lang geleden zeg hè. Ja, echt enorm lang. Nee, het voelt... Ik weet niet eens meer, hoe lang is dat? Een paar weken? Nee. Wanneer is het voor? Twee weken? Volgens mij hebben we elkaar echt... Ik heb het gevoel dat ik jou al vorige week al ontmoet, of tenminste online ontmoet had, maar goed. Ik heb echt serieus, voor mij is alles één grote fog. Het is de big corona. Want het is echt, ja ik kan echt, ik heb zo'n slecht gevoel van de tijdslijn. Maar gevoelsmatig is het 2 weken geleden, maar ja, dat kan zomaar een week zijn geweest. Ja, nee, volgens mij klopt het wel. Het is echt 2 weken geleden, want we hebben natuurlijk de vorige aflevering, met test automation hebben we gehad en daarvoor hebben we nog een aflevering. Hey, maar alles goed verder? Ja, nee, gaat te gangetje. Lekker gewoon uit het werk. We hebben net een lang weekend gehad, dus het ging ook weer lekker. Eigenlijk geen rare dingen, ik heb eigenlijk niks heel bijzonders te melden. Ja, het enige wat ik... Gadget Freak hier. Ik heb al heel de tijd echt al lang ertegenaan om een camera te kopen, een fotocamera. Oh, jij had het toch alleen? Best wel een goeie, geloof ik. Nee, ik heb zo'n kleintje, zo'n Sony RX105A, dat is echt zo'n heel compact dingetje. Dat is het zelfske fijn, die gebruik ik nu als webcam. Ik heb een heel oude Nikon, die is bijna tien jaar oud. Die ding is twee, drie jaar geleden... Volgens mij ken je die misschien al van een tijd geleden. Jeetje man, tien jaar geleden. Ik voel me echt oud, weet je dat? Dat ik dat nog herinner. Tien jaar geleden dat je met die Nikon liep. Ja, en toen... Dat ding hield er mee op. Ik weet niet wat, of de batterij was er. Toen had ik gezegd, laat maar. Nu zoeken, zoeken, zoeken. Nu heb ik weer besloten om een nieuwe Nikon te kopen. Niet goedkoop, het zal allemaal wel. Maar dat ding komt als het goed is morgen. Daar ben ik wel blij mee. En ga je weer naar Spiegel Reflex? Nee, nee, hoe heet dat? Systeem. Ja, een systeemkamer. Wij zijn er ook over gestapt. Ik weet nog wel dat ik met jou tien jaar geleden daar een discussie over had. Nikon versus Canon. Ja, dat klopt. Ik was natuurlijk helemaal lyrisch van Canon toenentijd. Ja, nu nog steeds wel hoor. Maar wij zijn toch wel overgestapt mevrouw Nik. Om wat kleiner, wat compacter. Misschien heeft het met de leeftijd te maken man. Ik weet het niet. We kunnen de shit niet meer dragen. Maar wat heb je nu dan? We hebben uiteindelijk nu een Fujitsu. Oh echt? Welke dan? X-T3 geloof ik, of X-T30. Ik zoek hem even straks op. Maar dat is wel eentje die gewoon wat compacter is. En ja, weet je wel. Ook met de lensen makkelijker. En ik merk ook, ja, mevrouw die is nu ook best wel, weet je wel. Die heeft pas nog een fotografiecursus gedaan. Weer om het een beetje op te leven. En je merkt al dat het nu een stuk gemakkelijker gaat. Je neemt dat ding gewoon zo makkelijk mee. En een statiefje erbij. Maar ja, dat is de main reason. Ja, ik mis dat heel erg. Want natuurlijk, zeker de camera's van je telefoon wordt wel beter. Oh shit, ja inderdaad. De beste camera is de camera die je bij je hebt. Dat is tegenwoordig gewoon je telefoon. Dus dat werkt. En het belangrijkste. En de meeste foto's maak ik van mijn kinderen. Ja. Alleen ik merkte, en dat is een beetje het zuur. Dat besefte ik me laatst echt heel erg. Je iPhone laat dan één keer in de zoveel tijd een foto zien van bijvoorbeeld een jaar geleden. Of drie jaar geleden. Of een verjaardag, whatever. Toen zag ik een foto van mijn zoontje, zeg maar. Mijn tweede zoontje. En ik dacht, wow, dat is echt een supermooie foto. Dus ik keek en ik dacht, wacht even, die heb ik met die Speaker Flex gemaakt. Veel mooier een foto dan met mijn iPhone. En toen keek ik en ik dacht, wacht even. Dat is helemaal niet eerlijk voor mijn derde en mijn vierde. Want die hebben gewoon echt alleen maar gewoon. Toen ik die foto's aanleidde, ik dacht, crap je foto's. Ja, dit kan ik echt niet maken. Maar straks over zestien jaar denken ze, ja pap, wat heb je? Waarom? Dus ik combineerde dat met mijn Gadget Freakness. En dat als excuus om dan toch maar een camera te kopen. En dan, ja, ik moet gewoon weer mooie foto's maken van hen. Maar ook gewoon weer eropuit, zeg maar. De bos in, aan bewijzen spreken. En je lens ook nog steeds intact? Nou, ik heb er twee. Eerlijk gezegd weet ik niet eens hoe goed het daarmee gaat. Ik heb ze echt erg gedumpt. Maar goed, met die mount van Nikon heb je een voorloopstuk nodig. Dat kost ook weer geld. Dus ik heb nu in eerste instantie gewoon een kit lens erbij. En dan zie je wel hem gewoon gaandeweg. Stap voor stap gewoon lens erbij koop. Dan hou ik het daar ook weer tien jaar mee vol. Dan vind ik het goed. Maar goed, dat was mijn paar laatste dagen. Leuk man. Nou goed, ook vandaag hebben we weer wederom een leuke gast weet ze te strikken. Die zich bezighoudt met een heel spannend onderwerp. Genaamd AI Driven Automation. Maar dan in een tandheelkunde. Ja, dat vind ik heel interessant. Ik ben echt nieuwsgierig. Nu denken mensen echt dat we een tandarts hebben uitgenodigd. Of een robot. Of dat ja, wie weet misschien. We hebben het over Alex Nedelhoff. Welkom Alex. Hoi. Hoi. Ik geloof dat ik hier mocht zijn. Vinden wij ook. Ja wij ook. Ja we zijn wat dat betreft lekker bezig in het uitnodigen van bijzondere gasten. Alex is een CTO bij Promaton. Spreek ik nu goed uit. Ja. Promaton die loopt voorop in deze wereld. Want ze zetten beeldgegegevens om in klinische inzichten. En ja dat is natuurlijk best wel een flinke taak. En ja de techniek die schreeuwt natuurlijk dan om innovatie. Dus het leek ons wat tof om Alex even aan de tand te voelen van goh hoe heb je dat voor elkaar gekregen joh. Dus welkom Alex. Dank je wel. Leuk om weer te zijn. Ja en het is Promaton. Maar Promaton weet ik niet waarom dat goed zit. Haha. We hebben echt zitten oefenen hiervoor maar het lukt me gewoon niet. Promaton jeetje. Maar oké goed. Maar leuk Alex. Ja zoals met alle onze gasten doen. Kun je je misschien even kort een beetje iets vertellen over jezelf? Ja ik ben 34 en net verhuisd naar Noordwijk uit Amsterdam ontsnapt. Omdat ik heel erg van buitenzij hou. Wat raar is als je een nerd bent. Dat is een soort erg mismesje iets helemaal verkeerd te gaan daar. Dus ik studeer vaak ook met mijn computer buiten. En ik hou heel erg van de spuidsporten. Nu heel erg bezig met kitesurfen. Dus een huis heel dicht bij het strand geprobeerd te kopen. En nu kan ik echt op mijn fiets achter de tuin uit. En dan zo de strand op. Dus de afgelopen weekend was mooi. Als het echt voor de meeste mensen rond weer is. Dat is voor mij echt boffen. Dat is heel toevallig. Een collega van mij die doet dat ook. En dat was precies wat jij zegt. Want dan zaten we gewoon in het project. En dan hadden ze zoiets van ja jongens ik ben de middag vrij. Wat ga je doen? Dat white. Stronk white van de duiken. Ja precies. Cool. Ja dat is herkenbaar. Helemaal. En geen vrouwenkits en dat soort dingen? Een vriendin werkt bij Picnic. De supermarkt. En ook kitesurfen. Dus we hebben hier lekker samen geen kits. Dus ja we hebben het paleis gevolgd zelf. En dus ik geniet nog van alle tijd die ik heb voor allerlei nerd projecten. Ik hoor van jonge vaders dat het een vrij abrupt einde tegemoet gaat. En dan beginnen ze met podcast. Ja precies. Nou maar het is een beetje cliché maar geniet ervan jongen. Ja want je hebt wel zo'n belangrijke taak natuurlijk bij het bedrijf. Als CTO. Ja vertel daar eens over. Dat is volgens mij, ik ben echt nieuwsgierig. Want ik zit eigenlijk een beetje op het puntje van mijn stoel om te horen. Wat we nou eigenlijk doen. We maken bij Promaton eigenlijk drie producten. Alle drie zijn het AI producten. Er zitten dan weer meerdere AI models onder. Eén ervan is eigenlijk de meest voorlopend liggende case. En dat is als je op tweede rundige foto's kijkt. Naar of er iets mis is in je gebit. Vroeger, dat kennen de meesten in Nederland dus wel. Doen ze zo'n buis zetsel op je mond. Dat heet een baryapical van ByteWing. Krijgen ze een heel klein fotootje. De ouderen onder ons weten nog dat dat nog ontwikkeld werkt. Tegenwoordig gaan ze allemaal USB'en en gaan met hun naam. Je hebt tegenwoordig grotere, dat zijn panoramische. Die draaien eigenlijk om je hoofd heen. En dan krijg je een foto van je gebit. Wat soort opengeklapt is, waardoor het 2D wordt. In plaats van 3D. En het blijkt is dat tandartsen ongeveer 30% missen. Van wat er op zo'n foto te zien is. Want net als in de meeste andere medische, het is niet uniek aan tandartsen. Maar het zijn de meest andere medische rundige zakken. Blijken mensen gewoon niet zo geschikt te zijn. Het is niet echt hoe we geëvalueerd zijn. Maar gelukkig kunnen we een AI dat wel proberen zo goed mogelijk te leren. Een AI is natuurlijk nooit moe of dronken. Of nog niet leid door WhatsApp. Of weet ik zo wat. De hoop in alle patologie-analyse met AI is dat we het uiteindelijk betrouwbaarder kunnen maken dan artsen. Op dat specifieke stukje. Dus op echt het zien van wat er op een foto te zien is. Daar zijn we mee bezig. En dan hebben we twee andere producten. Een van is voor het maken van 3D-modellen van je mond. En dat doen we op twee manieren. Een is voor implantologie. Als je een implantaat laat zetten is eigenlijk niks meer. Dat is een gatbord in je kaak. Dus je hoeft erin draaien en dan een kroom erop zetten. Maar er loopt, als je je vinger langs je kaaklijn doet. Dan loopt door die kaaklijn een zenuw. En als je die raakt dan ben je vanaf je oog naar beneden verlamd. Het is beter om die niet te raken. Oh, oké. Ja, ja. Maar ja, daar boden ze wel. Ze boden in die kaak daar, zeg maar. En natuurlijk als het om het anders een klein beetje scheef boort naar voren, naar achter of opzij. Dan komt er te veel speling in die, in dat voorgeboorde gat, zeg maar. Voor ze de plug erin staan. En dan gaat die pluggen op een gegeven moment los. Dat is natuurlijk nooit het schuld van het anders dan, et cetera. Je kan het wel lachen, plug. Maar... Ik had deze aflevering echt vandaag niet meer te doen. Want ik moet namelijk donderdag naar de tandarts. Oké, ik zal met een aantal tandarts weetjes proberen te beperken. Nee hoor, geen grapje. Maar het is wel serieus. Ik moet donderdag... Spreekt wel tot een beeldig, ja. Maar goed, de meeste tandartsen nu zo'n boarden noemen ze free-handed surgery. Ik noem dat meestal Yolo surgery. Want ze eyeballen het gewoon. Ze kijken gewoon en dan zet ze gewoon die board erin. En wat je wil is dat ze een drill-guide gebruiken. Dus een boormal. En een boormal is eigenlijk niet voorstel, het is gewoon zo'n hockey-bitje. Maar dan met een gat erin. En daardoor kunnen ze niet te diep boorden. En ook niet opzij boorden. De reden dat er niet veel gebruikt wordt is omdat... Maken van zo'n mal meer als de 3D-model van maken van die gebit. En dat kost hartstikke veel tijd. Dus sommige praktijken doen het wel. Of wordt ge-outsourced naar een outsourced land. Et cetera. Maar het heeft nog geen brede adoptie mogelijk gekregen. Helaas. Maar als je dat met AI kan doen. Dus met AI in een klap dat 3D-model kan genereren. En dan kunnen we eigenlijk gewoon dat ineens heel erg binnen handbereik maken. En als 3D-printers een klein beetje opschieten. Wat ze aan het doen zijn. Dan kun je zelfs naar een model waarbij het anders gewoon in zijn praktijk... Een 3D-runt gescanneerd maakt. Van je hoofd. En dat die AI aan de andere kant dan gewoon een 3D-model eruit doet. Want waarom zou je een grootsnaam naar een 3D-runt gescankeerd. Als je ook in een klap naar het 3D-model kan kijken. Dan zegt de tandarts van... De AI kan ook zelfs zeggen in de toekomst van... Hey, volgens mij wil je... Ja, deze tand ziet er niet oké uit. Verschijnlijk wil je hier iets. Dan doet hij een suggestie van hoe die voor het implantaat geplaatst kan worden. En dan zegt de tandarts bueno. En dan moet je nog een andere scanner hebben. Dat is het andere product van wat wij doen. Dus het ene product is van zo'n 3D-runt gescannen model maken. Maar runt gescansen zijn een iets lagere resolutie. Eigenlijk te laag voor nauwkeurig printen. Dus wat we ook nodig hebben is wat we noemen een intra-auralescan. Dat was vroeger dat je zo'n stukje klein moest bijten, weet je dat nog? Ja. Heb je waarschijnlijk weleens gedaan. En dat deden ze dan... Heel vroeger tekenen ze dan die mal over. Tegenwoordig gaat dat gewoon in een 3D-laserscanner. Maar de opvolger daarvan, en die kun je tegenwoordig wel in praktijken zien, is eigenlijk een soort tandenborstel met acht camera's erop. En die bewegen ze zo door je mond, als een soort leider eigenlijk. En dan heb je een 3D-model van de binnenkant van je mond in hoge resolutie. En de AI legt dan die lagere resolutie, maar wat we noemen volumetric data, dat die van alles er doorheen heeft gekeken, legt die op dat Surface-model, dus een intronaal scan die alleen van de buitenkant is, dan heb je een hoge resolutie. En dan kun je dat in een keer zo naar je printer stieveren. En dan kan je printer zo'n bormal dat je voor je maakt. En die Surface-scans worden bijvoorbeeld ook weer gebruikt voor orthorontie. Want een orthorontist plant natuurlijk, die wil individueel je tandjes kunnen bewegen. Wat tegenwoordig super hip is zijn die Invisaligners. Van Invisalign die zie je niet. Die dragen mensen 22 uur per dag. Dus je gaat er ook niet van slissen. Het zijn ook een soort hokkie witjes. En die zetten je tanden recht. Dat is mega populair nu. En omdat het niet meer esthetisch iets verandert, je loopt niet meer met zo'n stalen beugel rond. Dus heel veel mensen laten nu op 25-plussers die vroeger nooit een beugel wilden, omdat het niet mooi was. Die laten we nu alsnog even een klein beetje corrigeren. Gewoon esthetisch. Maar ik heb dus elke week een nieuw beugeltje 3D print thuis gestuurd. En elke week vervormd dat je dit ietsje verder, zeg maar. Dat zijn natuurlijk allemaal 3D-modellen die erachter zitten. En dan is er nog een laatste categorie dat is voor kaak-surgie. Maar dat is ook in het belang van Kishen. Niet verder uitleggen wat we denken. Ik doe m'n oren wel dicht hoor. Ik kan het lulligeren. Het is een podcast, je kunt het toch niet zien. Dat heb ik wel eens gezegd. Ik ben nieuw patiënt. Dus ik heb op een gegeven moment heel veel ziekenhuizen gezien. Dat was een beetje beu of beu niet. Dat is essentieel. Je moet gewoon gaan. Dat is gewoon verder geen discussie. Dus daar ga je gewoon. Alleen daardoor heb ik wel, zeg maar, mijn gebid een beetje... ...verwaarloosd. Dus ik kwam bij de tandhuis. Dus een van de eerste keren nadat ik al die transportatie... ...ik had al heel de gedoe achter de rug gehad. Die tannisfinalo gaat eerst maar naar de montigenisten. Dus er waren dus eerst twee sessies van een uur... ...om eerst alle tansvlees even flink goed te hebben krijgen. Want het was echt heel onrustig. En dan moet het rustig worden. En toen, maar goed, er zijn een aantal kiezen getrokken. Veel. En ik moet dus echt naar een implantator uiteindelijk. Dus ik moet hier echt aan geloven. Dus ik hoor dit verhaal. Ik denk, hey, cool. Ja, ik hoor gadgets. En ik denk dat het pijn gaat doen. En het gaat niet leuk zijn. Maar het klinkt hoopvol, zeg maar. Dus dat, nee. Ik wist dit allemaal niet, zeg maar. Het is ook niet dat ik iedere week bij de tanda zit. Maar dat is wel interessant om te horen. Ja, grappig. Ja, het valt tot dat Promaton dan een... Ja, wat is het? Een van de eerste bedrijven zijn die dan ook echt in die markt stappen. Kun je daar iets meer over vertellen? Want hoe ben je daar gebeland? En ja, hoe is dat gegaan? Promaton is begonnen door een studiefriend van mij, Bas Fry. Die ken ik dan meer omdat we samen ooit de jazzclub van... de studenten jazzclub van Delft gestuurd hebben. Ja, klopt. En dus is hij gewoon een heel goede vriend gebleven. En die deed de... die werkte bij de data, toen was Big Data nog heel hip, afdeling van Accenture. En die keek heel erg naar wat kan AI nu en wat kan het in de toekomst. En het zorgde ervoor dat er trainingsprogramma's daarvoor waren binnen Accenture. En zij en haar schoolvriend David, die was op dat moment zijn Ph.D. in Digital Dentistry aan het doen. Op een heel vet onderwerp waarbij ze kijken naar autotransplantatie van... hoe heet het ook weer? Je kies die je niet gebruikt, je verstandskies. Verstandskies, ja. Sorry, ik gebruik hem alleen, ik zit helemaal in de Engels. Want als je een implantaat zet, dat is gewoon een schroef in je kakel. Zoals ik al zei, dat is iets wat je lichaam eigenlijk altijd probeert af te stoten. En bij een implantaat doen ze dat doordat je bot, dat noemen ze resolveren volgens mij. Maar dat je bot eigenlijk gewoon terugtrekt rondomheen. Dus wat veel mooier ze zijn is als je iets terug kan plaatsen wat je lichaam eigen is. En dat is mogelijk een verstandskies. Dus daar vindt hij wel stout aan het doen. Maar wat ze dan moeten doen is, dan maken ze eigenlijk eerst een foto, een 3D run gescan van je gebit. Dan maken ze een 3D model van die verstandskies. Dan 3D printen ze die. En dan proberen ze die eigenlijk in dat andere gat te frotten. Tot het werkt, een beetje bijschaafd en zo. Dan scannen ze dat weer. En dan, en dan kunnen ze een autotransportatie doen. Nou dit is nog helemaal niet, dit is echt nog onderzoek zeg maar. Maar het zou heel vet zijn als dit gaat werken in de toekomst. Maar Bas, die zat een beetje te kijken hoe David in een of andere schaalprogramma zo'n 3D fotootje, wat moet je voorstellen, een 3D run segmentatie. Dus gewoon letterlijk elke 2D laag afgaan. En dan gewoon inkleuren. En dan bedoel ik, met een slechte int space, dan paint. En dan zo, klik, en de volgende laag dan weer zo. La la la, inkleuren, klik. Nou goed, het duurt natuurlijk een jaar. En Bas zei, hey, ja ik kan dat tegenwoordig ook man. En hij zei, oh, als dat zo is, dan moeten we daar volgende week even een bedrijfje starten. Want er zijn best wel veel mensen die dat nodig hebben. En toen heeft Bas weer Maatsch van hem gebeld, die heel erg into deep learning was, Frank. En die hebben samen een prototuin gebouwd. En toen zijn ze 2 weken later, volgens mij, Promaten begonnen. Bas heeft z'n baanbakecentje opgezegd. En David heeft z'n tandartswerken teruggeschaald naar het minimale. Die had nog wel een eigen praktijk, dus die kon niet zomaar gewoon wegrennen. Dus ja, die zijn zo begonnen. En ik zat toen als CTO bij Magnetme. En ik was wel een beetje aan het kijken naar een volgende uitdaging. En toen had ik Bas elke 2, 3 dagen aan de lijn over hoe je een bedrijf start. Hoe zet ik een stock op met certificaten voor mijn werknemers? Hoe haal je investeringen op? Hoe manage je nou eigenlijk zo'n data pipeline en zo? En toen had ik op een gegeven moment een hele vette idee en een hele vette uitdaging. Dus anders kom ik gewoon bij jullie werken. Dan gaan we het gewoon samen even shiffen. Dus ik ben er na 4, 5 maanden bij gegaan of zo. En hoe lang bestaat het bedrijf nu inmiddels? Volgens mij 3,5 jaar. Dat is ook binnengegaan. En hoe ben jij dan begonnen als techneut slash software ontwikkelaar? Nou, ik was niet een van die early day hackers zoals je in deze podcast misschien wel de relatie is. Haha, old school. Ik zeg het maar gewoon hoor, zeg het maar gewoon. Mijn vader was programmer. Dat hoor je dan weer niet vaak. Die heeft toen bestond programmeren ook niet eens als studie. Dus die had lucht en ruimte waard gedaan. En die is afgestudeerd door een van de eerste computers programmeren met zo'n bakkaarten die er nog doorheen. Dat is echt de old school. En die is erna een IT-bedrijf begonnen. Op een gegeven moment had hij een grote waar Kishen wel bekend mee is. Dat was Innovation. Want daar heeft Kishen nog voor gewerkt. Ja, zeker. En ik heb daar eigenlijk als middelbare scholier een beetje bijbaantjes gehad. Kabelstrekking, data centra enzo. Dus dat was een beetje mijn eerste professionele contact, laat ik het zo zeggen. Een professioneel groot woord vooral ik daar aan toe pas. Contact met datacenters en netwerken enzo. Maar ik wilde niet programmeren, want dat vond ik voor nerds. En mijn papa heeft er echt alles aan gedaan om mij te programmeren. Als je programmeert, dan krijg je al deze treinen die met ons samen gaan programmeren. Er zijn allerlei's die me woont. Nee, het is allemaal voor nerds, dat wil ik al niet. Achteracht een beetje leiden met al die attempts die zijn gemaakt. Maar goed, dus toen ben ik gaan studeren. Informatica als voor nerds. En toen kwam ik er na zes maanden achter dat werkgebouwkunde heel zwaai is. Of ik het heel zwaai vind. Veel te laag interatie cycle. Je moet echt drie weken iets ontwerpen. Dan moet je het nog fabriceert of van woorden gefabriceerd. En dan heb je eigenlijk je eerste... Ik moet gewoon op compal drukken om wat te hebben. Daar komt het eigenlijk op meer. Dat maakt nog spannend iets voor werkgebouw. Maar ik was ondertussen wel vak aan het doen bij Informatica. Want ik vond sommige dingen gewoon prachtig. Dus ik verweeg bij een achtergrond in data centers en netwerken. Vond ik netwerken vet, dus ik volgde het vak Computer Networks. En dat vond ik fantastisch aan de TD11. Dus toen ben ik geslist naar Informatica. Na een half jaar of een jaar of zo. En toen op een gegeven moment. Dus daar heb ik leren programmeren. Java, natuurlijk. Want toen was de mainstream taal daar nog Java. Volgens mij is nu het meer zo Python geworden. Ja, dat denk ik wel. Moet ik meer die data kant op aan het leunen. Ik denk net als veel technische universiteiten. En toen wilde ik steeds meer gaan programmeren. Voor mijn baan, maar wel echt als bijbaantje. En toen in mijn mafst. Toen vijf jaar even een beker gedaan. Dus dat is boven Delft nominaal nog steeds. En toen in de master wel even gas gegeven. Software architecture. Nee, die master track gedaan. Hele toffe professor, Arie van Derzen. Zelfde vakgroep als Feline Hermans. Die de eerste gasten hebben gehad. Hallo, Feline. Kom op. Ja, komen uit hetzelfde nest. En ja, dat was toch tof. Ik was het... Ik had toen altijd een beetje eigenwijs geweest. Ik denk dat ik op voorwaarden zo'n CTO te zijn. Ik had het vak software architecture toen nog op de TM Delft. Om gewoon je een boek te geven. Genaamd enterprise software architecture. En dan moest je dat dan maar lezen. En dan kreeg je daar twee dames over. En dan moest je gewoon acht enterprise patterns oprakelen. En dan was dat het, zeg maar. Dus wacht met rood boek? Ja, ja. Edison Wesley, ja. Ik zei tegen mijn professor, dit gaat echt helemaal nergens over. Zo leer je toch nooit architecture? Wat is dit nou? Dit boek wordt, heb ik hier zeker gezegd, dit boek wordt ooit een keer een monitorsteen. Oh ja. Zeker, ja. Daar is het heel geschikt voor. Als je ooit in je calculus zat. Ja. Ja, precies, zo klinkt calculus iets dikkerlokker. Maar goed, ja. Koken is een betere oog. Maar Aarif Dursley, een groot fan die zei, als je het beter weet, doe dan. En toen heb ik een jaar daarna, toen ik dezelfde op mijn master deed, samen met Aarif Dursley het vak software architecture gegeven. Ah, cool. En wat we toen deden, dat was heel cool, is we lieten, want ik erg hem daarna, omdat eigenlijk iedereen op de universiteit gewoon geen idee had van software engineering op schaal. Nou, hoe dirty en hairy het eigenlijk is om een project überhaupt te compile, laat staan te starten, zeg maar. Nou, ja. Want iedereen op de universiteit leeft in zo'n bubbel van kleine assignments doen, weet je wel, en allemaal hele contained dingen. En in mijn werkervaring toen kwam ik erachter dat zeg maar een beetje een normaal systeem aan de slag krijgen. Dit was pre-docker, docker, compose, dat soort handige dingen die we nu hebben. Als je een database moest starten en je moest uitvinden hoe Maven compaalt, maar dan had je weer een van de joker, ergens een YAR-file die je op je disk moest hebben, en dat soort dingen. En als je dan de code moet leren begrijpen, dan kom je er pas achter wat een goede en slechte architecture is. Dus wij hadden toen als vak dat je mocht zelf een open source project kiezen, mocht elk open source project zijn wat je wilde, maar ik moest zelf een minimale grootte hebben, wat we dan volgens mij meten in lines of code en in contributors en in whatever. En dan moest je dat klonen. En dan in de eerste paar weken moest je het dan helemaal analyseren. Moest je dus een architecture diagram ervan maken. En dan moest je daarna met de main contributors daarover interviewen eigenlijk en kijken of je een contribution kon doen. En je moest het zelf kunnen draaien. En dan in de laatste weken moest je een suggestie doen voor architecture improvement. En hopelijk hoopten we dan dat mensen het ook echt konden voorstellen aan de makers. En mensen moesten een contribution doen. Om gewoon mee te maken hoe moeilijk het is om een goede PR te maken die gewoon echt wordt geaccentreerd. Echt waar. En heel goed werd het ontvangen. Het was voor mij wel een harakiri, want hoeveel ik na kijk werk is echt abominabel. Dat is echt een... Alle leraren lachten mij uit natuurlijk. Ik vind het wel ambitieus. Nee joh, geef al die rapporten maar aan mij. Ik lees ze wel even naast mijn studie. Het gaat fulltime job. En ik kom tegen allerlei dingen aan waar je niet voor opgeleid bent. Zoals dat je mensen cijfers moet geven en zo. Dat het allemaal heel complex blijkt. Ja, opzich. Maar goed, dat was leuk. En eigenlijk daar was er zelfs een paper over geschreven die is nog gepubliceerd over deze minimum op een of andere education conference. Dus dat is best wel nog een ding geworden. Volgens mij geven ze het voor een deel nog steeds op het vak. Dus dat is best wel... best wel cool. Ja, maar dat was mijn eerste aanraking echt met de architecture en een soort op grotere schaal project doen. Het is wel grappig om zo'n hele collegezaal die dan jouw idee gaat uitproberen. Gaat het werken? Dat heb ik geen idee. Gaan we meemaken. Ik kan me ook voorstellen dat je dat natuurlijk met je huidige bedrijf ook gedaan hebt. Het prototype was al gemaakt, blijkbaar. Dat hoor ik uit je verhaal. Hoe heb je het daarna verder opgepakt als CTO? Nou ja, zoals de meeste data science projecten voor de record, voor de rest van deze podcast ik ben zelf geen data scientist en ik weet dus eigenlijk heel weinig over de inhoud van hoe AI models werken. Maar ik ben echt een software engineer. Dus dan kom je eraan en wat je dan vaak aantreft is een ipad en notebook waar heel veel regelscode niet opgedeeld in methodes onder elkaar staan. Ik geef gewoon zo labcode en die doet iets. En niemand weet waarom of hoe want the magic of data science werkt in het algemeen alleen maar op de computer van de ontwikkelaar want het is afhankelijk van allemaal files die op allerlei plekken staan en zo en dat moet dan een product worden. Nou ja, het is een Python en dat is een taal die ik niet kende. Dus ja, daar begon het mee. Wat je nu zegt is voor mij in ieder geval dat is zeker herkenbaar en niet te heel lang, want ik ben ook dat zei je net voor de podcastopname ik heb echt geen kaas gegeten van AI dus dat is gewoon gladde ijs daar heb ik echt helemaal geen kaas van gegeten maar wat ik wel hoorde en zie om me heen want ik zit bij mijn huidige opdaggever dat ben ik nu weer begonnen maar twee jaar geleden zat ik daar ook en toen we nog op kantoor kwamen en dat werd geombrinkt door allerlei hele knappe koppen die dus heel veel analyses deden het grappige was dat een van de mensen die daar werkte die had de voorkeur voor R maar eigenlijk iedereen die van de TU Delft dat was de hoofdleverancier voor de bedrijf die deden precies Matlab en Python maar goed, die kunnen dus decode maken maar het zorgen dat het beheersbaar is en dat is misschien wat jij ook bedoelt zodat wij onze best practices als software ontwikkelaars van oké, je wilt het uitrollen naar de cloud het moet geschaalbaar zijn het moet veilig zijn iemand anders moet het oppakken enzo ja, daar hebben ze geen kaas van gegeten en dat moet je dan ook nog bij zien te brengen en dat is soms wel lastig te verkopen want voor hun is het bij ieder projectje een soort van research en we zeggen altijd en boerequests vertrouwen je mee niet precies, dat ja en wij de gemiddelde software ontwikkelaar doet eigenlijk dat heb ik nog nooit eerder in een podcast gezegd maar je doet eigenlijk research en development dus je doet research dus dat is experimenteren en dan kom je met bepaalde hypothese en bewijzen en dan ga je het ontwikkelen zeg maar en dan kijk je gaat het ontwikkelen en implementeren dus we doen wat meer dan alleen research en dat research is super leuk en dat tweede deel kan wat minder leuk zijn zeg maar en dat moet je dan die jongens bijbrengen Ik vraag me wel eens of het niet komt dat veel van dat soort researchers niet zoveel exposed zijn aan de pijn van iets in productie hebben. Als je een slechte software engineer bent, of een slecht team hebt, dat komt voor zelf hier in je gezicht slaan zeg maar. Op een gegeven moment zit je meteen te gepakkapeerde. Ja, ja, eens. Je zegt het eigenlijk ook wel goed hoor, want ook met software ontwikkelaars, ook met teams. Er wordt ook steeds meer een tendens dat ze zeggen, je moet eigenlijk, een team moet, het gebeurt wel dat iemand echt iets ontwikkelt. Ja, toen vroeger, dit is effe niet nu, maar op een cd'tje zetten en dan aan iemand anders gaf. En zo, hier installeer je dit maar op de server, hier heb je een handleiding en doe dat klaar. En dan, als er dan een bug is, dan krijg je over vijf weken, krijg je te horen, oh, er is een bug en dan moet je het weer oplossen en ja, het zal wel. Dus je kunt het over de schutting gooien en dan kun je elkaar aanwijzen, want het is elkaar schuld. Terwijl nu wordt gewoon gezegd, nee, je moet alles doen. Ja, dat is een beetje DevOps, misschien plus plus. Dus je moet, en het project zeg maar, in het begin ontwikkelen. Je moet het gaan bouwen. En je moet het in productie nemen en dan, als het in productie is, moet je het nog steeds blijven ondersteunen, zeg maar. Dus als het dan pijn is, dan moet jij hem, zeg maar, voelen, zodat jij ook leert. Eerst voor een keer dat je het logging moet toevoegen en zodat je bugs wat beter kunt tracken. Dus dat is ook binnen de algemene software ontwikkelaars, is dat ook wel een trend of tendens die wel steeds populairder wordt. Ja, we hebben zo'n joke binnen Promaten dat we in PoodleQuest elkaar vaak taggen met... Future Kishen will be happy if you add logging here as a Kishen pair. Ja, dat is leuk. Nou goed, dat grap houd ik er ook wel graag in. Maar hoe lang, hadden jullie een groot team of hadden jullie een klein team toen je daar startte, Alex? Nou, we waren met de founders, die dus allebei software engineer zijn. En dan ik als software engineer en Frank als, of ik als CTO, maar achter ons software engineer. Frank als data artist. En dan hadden we nog twee interns erbij. En waarvan één software engineer was, waar die builds en mastering AI gaan doen. En één was een werkbouwer en die was ook deze master in AI. Want dat kan in Delft over reinforcement learning. De tweede opzicule in vorm van de AI is die nog steeds niet heel... die nog steeds niet werkt zoals men vroeger hoopte dat het zou gaan werken. Dus nee, dat was een super klein team. Maar we wisten toen al dat we moesten groeien en moesten opschalen. Maar we moesten eerst die prototype werkend krijgen natuurlijk. Ja, precies. En ook, hoe noem je dat? Schaalbaar in die zin van dat ook te reproduceren. En hoe groot zijn uw duurmiddels na die 3,5 jaar? Volgens mij zijn we nu met 15. Maar we hebben afgelopen twee weken meer drie man aangenomen. En we proberen door te groeien naar iets van 20, 25, misschien wel dit jaar. Ja, met de verhouding voor onze. Dus wat je vaak ziet is dat je voor elke data scientist heb je twee machine learning. Iedereen gebruikt steeds wissende termen. Dus we zeggen machine learning researcher. Dat is bij ons een data scientist zeg maar. Die noemen wij machine learning researchers. En dan hebben we voor elke machine learning researcher heb je twee machine learning engineers nodig. Dat zijn de jongens die dan het werk productionizen, zoals we het noemen. En dan hebben we nog een best wel zwaar tooling team. Dus die maken interne tooling om ervoor te zorgen dat we überhaupt kunnen werken. En dan hebben we nog een infrastructure, SRD team zeg maar. Die voor zorg dat de lichten aanstaan zeg maar. Dus die tweede rol, dat vergeet ik echt. Ik wilde net zeggen. Ja machine learning researchers en machine learning engineers. Ja precies. Maar die machine learning engineers, is dat een beetje te vergelijken met een data engineer? Ja, zeker. Alleen, wij maken wel, er is zo'n verschil. Er zijn heel veel soorten AI en zo. Dus je hebt zeg maar gewoon waar business analytics stopt. En je dan misschien voor het eerst een regressie erin gooit. En dan langzamer over gaat naar wat wij noemen traditionele machine learning zeg maar. En dan voor bedrijf als Picnic bijvoorbeeld. Of als Qblu. Is het heel belangrijk dat ze hun ETL's, dus hun pipelines goed hebben. Dus die zuigen weet ik hoeveel clicks per dag naar binnen. En dat moet allemaal netjes in pipelines en dat moet dan in het data leken. Dat moet dan weet ik veel. En de data engineers zijn vooral daar heel erg goed in zeg maar. Voor zover ik weet. Ja, je bedoelt dan een stroomlijnen van de data. En het representeerbaar maken voor iets wat waarde kan leveren. Oké. Ja, dus bijvoorbeeld Qblu. Kan ik me voorstellen dat ze heel de dag vreten ze alle clicks. Die data wordt opgeslagen en het wordt getransformeerd. En het wordt dan misschien nachtelijks of. Misschien zelfs wel elk uur. Door een van de recommender aims in heen getrapt. Zodat ze de meest recente recommendations kunnen leveren aan. Aan hun klanten. De data engineers zijn nergens met de pipelines bezig. Maar je hebt. Dat is één deel van het werk. En het andere deel van het werk. Is dat je een machine learning researcher of een data scientist hebt. En je zit dus eigenlijk buiten een notebook. Je zit die allerlei experimenten te doen. En het zegt hey, we kunnen 5 procent meer wc rollen verkopen. Als we weet ik veel het anders segmenteren. Of dit met de prijs zien of whatever. Of dat mijn model voorspeld veel beter dan dat vorige model dat er is. En dan in de traditionele vorm. Net als we vroeger traditionele testing afdelingen. Een ontwikkel afdeling hadden zeg maar. Dus gooit die dan zo. Die iPad notebook schud ik naar data engineers. En die mogen dat toch omzetten in iets wat dan elke uur kan draaien. Of elke nacht kan draaien. Zonder dat het in brand vliegt. Oké. Maar goed, bij ons werkt het dus niet zo. Want wij hebben geen data stromen. En wij hebben statische data. Ik bedoel een scan van een mond. Is gewoon een scan van een mond. Die is over een jaar er steeds ezerwaardig van. Dat is geen steel op data zeg maar. En we werken met... Dus we hebben al die pipelines niet zeg maar. Dus we hebben machine learning engineers nodig. Die heel goed zijn in dat productionize. Dus eigenlijk een hele goede software engineers zijn. Maar heel specialistische kennis hebben op hoe AI modellen werken. Hoe je die kunt optimaliseren. En die goed zijn in die hele wereld van... Want dat is echt zoals Javascript. Toen web 2.0 net een ding werd zeg maar. Dus gewoon elke week, elke keer als ik met mijn ogen knipper. Is er weer een nieuwe machine learning framework. Met weer zo'n nieuwe dingen. Dus die moeten zich in die wereld goed kunnen navigeren. Ja inderdaad dat is wel een fack apart hoor. Om dat allemaal bij te houden. En constant te zoeken naar wat het beste werkt zeg maar. Hoe bevalt het werken bij Promaton? Ja heel goed. Het voordeel van de CTO's is dat je wel een flikke vinger in de pap hebt. Dus je kan het zo lekker maken als je wilt. Maar het is wel heel interessant. Een probleem om aan te werken. Bij de Go AI heeft allerlei hele unieke uitdagingen. Plus alle uitdagingen die AI überhaupt al heeft. En mijn hart ligt echt bij developer tooling en automation testing. En dit is zo'n vet probleem om aan te werken daarvoor. Ja ik kan me best voorstellen dat je dan daar ook wel een soort van research-achtige gehalte moet hebben. In je cultuur. Kan je daar iets meer over vertellen? Hoe ziet dat eruit? Welke vormen nemen jullie om het een beetje leuk te maken in deze wereld? In software ontwikkeling? Nou ja, we hebben toevallig de laatste keer een culture survey gedaan. En daaruit kwam onze nummer één, cultural value, is innovatie. En twee is personal growth. En drie is auto-rooming volgens mij. En dat klopt ook wel echt bij hoe wij opereren. We doen mega veel research, want er gebeurt op het gebied van AI gewoon heel erg veel. En al die innovatie gebeurt eigenlijk out in the open. Er worden allemaal papers gepubliceerd. Het is eigenlijk een battle tussen Facebook en een aantal universiteiten over wie de gaafste modellen kan publiceren. En dan worden ongelooflijk veel papers gepubliceerd. En wij proberen het eigenlijk bij te houden. En dan kijken we van oké, is dit vet? Kunnen wij dat toepassen voor ons probleem? Wordt het hier beter van? En dan trekken we dat naar binnen. En dan gaan we dat uitproberen. Dus we hebben zeg maar gefocuste research. Bijvoorbeeld de machinery researchers hebben elke maand een paper review sessie. Dat is met z'n allen. Een soort boekenclub. Gaan ze met z'n allen papers aan elkaar presenteren enzo. Of eigenlijk zo'n universiteit. We hebben hackathon weken. Waarin heel vaak nieuwe dingen, compleet nieuwe dingen worden uitgegroeveerd. Van wat nou is het radicaal overzien. En vanuit het bedrijf. Omdat innovaties, hoe wij geld verdienen. Doen we ook heel veel gewoon gerichte research. Oké, we gaan nu dit idee uitproberen. En dan besteden we daar gewoon een paar sprints aan. En dat is wel de machine learning researcher kant. En aan de machine learning engineering kant maakt het heel spannend. Omdat ze zeggen, we gaan de allerbeste engineering practices proberen toe te passen op AI. En dat is nu nog een beetje een vierkantje proberen door een rondje te slaan. Op zo'n numtje, zo'n blok. Het vergt vrij veel weilen en kracht. Maar op een gegeven moment lukt het wel. Het voorbeeld wat ik heel vaak schetsen. Als je wil voorstellen hoe raar het is om bij onze kwaliteit te waarborgen is. We hebben ten eerste het probleem dat je niet weet wanneer het resultaat van de AI goed is. Als je terug naar de wc-rollen verkoopt en je verkoopt 5% meer wc-rollen, dan heb je het goed gedaan. Je hebt geen opleiding nodig om dat te begrijpen. Dat dat beter is, meer verkoop is beter. Maar bij ons, je komt gewoon iets uit de AI-rollen. En dan kijk je naar haar en denk je, ik zou het prima vinden. Maar jij weet geen tandarts. Dus je moet dan nog naar een clinician toe die dan zegt, dat is wel goed of niet. Dus het is nooit zo lineair. Het komt dan uit onze testen. Dat 10% van de scans hebben een lagere intersection over union. Dat is dan zo'n metric die we gebruiken om twee... Als je een plaatje hebt en je legt er een ander plaatje overheen. Het gedeelte dat overlapt, dat is je intersection over union. Dus als je je gewenste output en je output van de AI zo ver gelijkt, dan heb je een soort metric. Dus je kan je voorstellen als je hand op elkaar legt, die loopt je hand een klein beetje naar rechts. Dan heb je heel veel pixels die niet overlapen. Maar het antwoord zit er, het is best wel goed. Maar je kan ook al die pixels op één hoop doen, een soort stulp creëren. Dat is heel slecht. Dus je moet ook nog eens visueel alles inspecteren. Dus bijvoorbeeld, en die wil alles geautomatiseerd hebben. Dus een machine learning researcher zit lekker te hacken. Of die heeft een training job gedaan met die committee, die pull request, waar dan het nieuwe model in zit, zeg maar. En dan automatisch doen we naar de usual, unit test, integration test. En dan komt er bijvoorbeeld een evaluation test achteraan. Dan wordt er gewoon duizend scans er doorheen getrapt. En dan wordt die output vergelijken op basis van de IOU. En dan kijken we met statistische data of discrepancies zien. Maar dan weet je nog steeds niet of je het goed gedaan hebt. Dus hij produceert ook een soort statische website. Wat vrij moeilijk is, kan ik je vertellen met 3D modellen. Want daar wil je zo interactief omheen kunnen draaien. Dat hebben we inmiddels voor elkaar. En dan wordt dat weer in je pull request teruggekommit. En dan kun je dus bijvoorbeeld, als je dus een developer bent, kun je gewoon zeggen, yo. David, dat is dan die clinician van ons, onze founder, zeg maar. Ik heb dit veranderd, dit zijn de stats. Dit zijn de vijf slechtste cases. Dit zijn de vijf mediocre cases. En dit zijn de vijf beste cases. Kan jij even checken of dit ergens op slaat? En omdat ze dus die hele pipeline hebben gebouwd, kan hij dan op een result drukken. En dan zeggen, dit is wel eigenlijk goed. Of dan komt het hij, zeg maar. Dan kan hij dus ook de pull request proeven. En dan ga je er weer heen. Maar het is al die meuk die je er omheen moet bouwen om een, wat ik zou zeggen, normale software flow te kunnen doen. Maar goed, dit is eigenlijk gewoon een feedback loop die je hebt ingebouwd in die pipeline. Ik noem het even een build pipeline. Oké, dat is wel gaaf. En dan heb je de statische site die komt eruit rollen. Bij iedere pull request wordt er een statische site gemaakt. En op basis daarvan kan dan David bekijken, of tussen die 3D modellen bekijken en dan beoordelen of dit dan goed is, of een verbetering is, of wat het gemenste, oh ja, oké. Klee is accuraat is, zoals wij dat hebben. Ja, precies, ja. Want hij kan het inhoudelijk, zeg maar, beoordelen. Ja, oké. Ja, that's nice. En dat scheelt tijd voor jullie waarschijnlijk. Uiteindelijk wil je je, een van de doelen van goede software engineering is kwaliteit outputten. En je development velocities verhogen. Maar als jij 1000 scans door dat ding eentrapt en elke scan, dan kun je drie minuten over hem geprocessed worden. Wat is een faal van 900 megabyte of 600 megabyte, die op een of andere manier een hele zware GPU machine moet draaien. Ja, dan kom je niet weg met een Jenkins byte line, zeg maar. Dan moet je maar even echt aan je infra gaan schroeven. Ja, maar als ik je zo hoor, ja, je kent me natuurlijk ook vanuit het testen en zo. Dus ik zit even te luisteren naar hoe je dit valideert. Dus als ik het goed begrijp, je gebruik eigenlijk een soort van snapshot testing. Begrijp dat goed? Dus je hebt een huidige staat. Nou, je doet een change daarop. Nou, die huidige staat heeft natuurlijk een snapshot en daar valideer je om de regressie, zeg maar, tegen te gaan. Tenminste probeer je. Het detail is wel, we hebben een ideale staat. Oh ja, de ideale. Maar we hebben ook de golden truth set, zeg maar. Dus er zijn, als je kijkt naar data annotatie, we hebben heel veel scans. Die worden geannoteerd door artsen. En dan hebben we een subselectie daarvan. Wordt door meerdere artsen geannoteerd. En waarom doen we niet alles door alle artsen? Dat is te duur. Dus er is een selectie, dat noemen we de golden set of test set, zeg maar. En die is dan meerdere keren. Want vraagt u die radiologen er hetzelfde fout krijgt? Ik krijg niet verschillende antwoorden ook nog. Dus dat is nog een extra complexiteit, zeg maar. Dus we hebben die golden set. En daar doen we een soort van snapshot testen tegenhouden. Dus we kijken naar golden set, current set en future set. Het zijn dezelfde principes. Het kost gewoon iets meer werk om ze er te passen. En je krijgt heel weinig tools gratis. Ja, dat kan me heel goed voorstellen, ja. En gebruiken jullie ook image recognition daarvoor? Om het te valideren? Of wordt dat echt gewoon puur met het oog gedaan? Nou, zoals ik al zei, we gebruiken die metrics. We hebben een aantal... Je hebt... Nou, laten we het even... Karius, dus een gratis. Dit is een makkelijk voorbeeld waar veel mensen zich op een voor kan voorstellen. Je hebt ten eerste of je het überhaupt vindt of niet. Dat is detectie. En dan heb je natuurlijk true positives, false positives, true negatives en false negatives. Dus je hebt zo'n confusion matrix. Dat is één metric die je kan gebruiken. En dan heb je... Wij doen niet alleen maar zo'n bounding box eropheen, zo'n vierkantje met hij zit in deze regio. Maar wij gaan echt... Wij doen semantic segmentation, of instance segmentation. Dus wij highlighten echt de pixels die de Karius zijn. En dan gebruik je zo'n intersection over union, waarbij je zegt, ja, hoeveel overlap heeft de AI in opzichte van de gewenste set. Nou, dat zijn bijvoorbeeld twee metrics die wij gebruiken. Wat het ding zelf is in misrecognitioning natuurlijk. Ja, snap ik. Ja, precies. Dat is natuurlijk die hele AI, ja. Ja, ik zit... Misschien zit ik gewoon, wat al betreft, een beetje in mijn... In mijn hoofd zit ik nu aan ApliTools te denken. Ik weet niet of je het toevallig kent, maar ApliTools is ook zo'n AI die ook wel gebruikt wordt in test automation om, noem het maar even, websites qua layout-wijzigingen, zeg maar, te controleren. Maar goed, dat is wel hele simplistische vorm, hoor. Maar ik zat even een link daarin te zoeken, maar ik merk dat dit duidelijk gewoon complexer is. Dat is niet zo, maar even een screenshot vergelijken met elkaar. Alhoewel, ik moet wel zeggen... Ja, maar ik moet wel bijzeggen dat AIS van ApliTools, dat is de engine die daarachter zit, die is wel verrekte slim, hoor. Die kan echt dingen herkennen. Dat vond ik heel knap, hoor. Want op een gegeven moment als tester ga je kijken naar de wijzigingen op het scherm. En dan kan je wel met je oog een beetje zien van oké, dat klopt wel. Maar je kan dat ding dus echt daadwerkelijk vertellen van nou, negeer alle data die op de pagina staat. Ik wil alleen maar zien dat de hoofdelementen aanwezig zijn. Dat vind ik toch best knap, dat zo'n AI dat kan. Even kijken, ik zie ook nog een vraag van Bernard binnenkomen. Saber, je had hem net even ingetypt, zag ik. Nee, ik weet niet. Volgens mij, dat maakt van mij. Doe maar, lees mijn woord. Ja, dat is goed. Of misschien was het Bernard zelf. Ik denk dat Bernard zelf hem weer heeft. Sorry, die zit natuurlijk een beetje zeilings mee te kijken. Even kijken, ja, ik heb net het... Bernard, dat is een van onze hosts, Alex, die vraagt, ik heb het idee dat de orthopedie redelijk vooruitstrevend is op het gebied van nieuwe software toepassingen en ontwikkelingen. Is dat zo? Wat vind jij? Zou kunnen. Orthopedie, ja, geen idee. Nee, maar goed, dat heeft geen raakvlakke met wat jullie doen, Alex. Nee, wij zitten echt in de tandheelkundige. Ik weet van een aantal, bijvoorbeeld in Nederland heb je ook een start-up, Edent, die kijken naar lungoncologie, dus lungkanker. Je hebt Skinvision, dat heeft heel veel VNC-geld opgehaald. Die kijk je naar huidkanker. Er zijn echt ontiegelijk veel medical AI start-ups en companies, want hetzelfde trucje, 3D-modellen maken, 2D, runtjes organiseren op batterieën, die innovatie is gedaan en dat wordt nu geadopteerd in alle velden tegelijk. En de laatste is het combineren van data. Dat is natuurlijk ook een hele belangrijke. Dus onze artsen zijn wel massieloos. Je gaat naar je huisarts, dan ga je naar je... Ik wil je... En dan hoop je dat we af en toe elkaar bellen, maar vaak is het niet zo. Je zet het voor je bieren. Waarschijnlijk heb je al ervaren dat er dan af en toe... Maar als je nou als alle data goed beschikbaar zou zijn, en goed en veilig, obviously, dan is er een andere field of research, waar veel start-ups in beginnen, om te kijken of ze al die verbanden kunnen leggen. Bijvoorbeeld... Grappig genoeg, vroeger verviel de tandarts een veranderingfunctie. Want de tandarts is de enige arts waar je regelmatig heen gaat. Waar je voor controle hebt. Ik ga nooit voor controle naar de huisarts. Dus die kunnen vaak dingen als eerste zien. Dus bijvoorbeeld als jij diabetes hebt of hartklachten, dan je gebit reageert echt op alles. Als je je tandvlees heel erg terugtrekt, kan het ook een aanleiding zijn voor iets anders. Ze zien heel veel kankers, ze zien ze heel snel en zo. Maar wat je zou willen, is natuurlijk dat een bot gewoon al die verbanden legt. Want die kan wel de tijd nemen om wat een arts een avond zou duren om even rustig jouw hele dossier door te nemen en nou, ik weet niet waar te kijken. Ik weet niet hoeveel specialisme aan te leren. In theorie zou een AI al die specialismen kunnen combineren. En kunnen zeggen, wacht even, op die test heb jij zo een uitslag. Op deze foto zie ik dit, er gebeurt daar wat. Je moet een foto laten maken van je darm, weet ik veel, dat er daar iets is. Ja, precies. En nu snap ik wat je bedoelt met die relaties. Ja, eigenlijk hoe ik het wilde vertalen was relaties leggen met de data. Dus dat je misschien ook wel oorzaken kan laten voorspellen door die AI. Ja, precies. Gaaf man. Een van de eerste dingen waar AI voor gebruikt is natuurlijk voor die klassieke cases waar er te veel parameters zijn voor mensen. Bloedanalyse en zo. Een mens kan gewoon niet met goed volsoep naar duizend waarden kijken een hele dag lang. Daar zijn we gewoon niet voor gemaakt. Voor een AI is dat een lachertje natuurlijk. Ik wilde het net zeggen, je zei net over die nieren. Dat is een beetje zo'n dubbel iets. Ik vind privacy belangrijk. Ik ben niet helemaal van alles heel strikt en zo, maar ik hecht er wel belang aan. Maar tegelijkertijd vind ik het ook, want binnen in een ziekenhuis, dat is nu inmiddels wel verbeterd, dat ik van de ene arts naar de andere arts binnen een ziekenhuis ook nog eens iedere keer mee uit moet leggen, dit zijn de medicijnen, dit zijn de behandelingen, en dat is inmiddels wel verbeterd gelukkig. Maar daarbuiten, dat is ook via huisarts worden, sommige dingen worden wel uitgewisseld, sommige dingen niet. Dus in één kant heb je zoiets van zorg dat je juist wel, altijd alle specialisten bij al die gegevens kunnen, dat zij dan samen een verband zien. En in wat je net ook zei, dat een bot daarbij kan, dat die bot dan een analyse kan doen. Maar goed, dan zit je met privacy. En als patiënt, als degene van, het is, nou goed, worst case, het is leven of dood, heb je zoveel, fuck die privacy, want als ik dood ben heb ik toch niks aan privacy. Dus dan, knoop alles maar aan elkaar, het maakt me allemaal niet uit, als je maar een betere behandeling voor me vindt. Dus dat is ook wel, ja, misschien een extreem, maar ja, die bedrijven die proberen, die hier instappen, is dat ze zelf, het product wat ze aanbieden, zoals Google helft dat ook, dat zij jouw ddb's zijn. En dan vragen zij aan iedereen toestemming om jouw data te aggregeren. En dan kun je bij, doktoren kunnen bij jou dan ook het ophalen. En dan, als volgens mij, als Google helft dat ook, voor inderdaad het geval dat het levensgevaar is, kun je dan instellen van, if levensgevaar, then geven access aan, weet ik veel, dit level artsen of trouwmaasjurgen, of dit xil wat zeg maar. Dat is toevallig, mijn zus is trouwmaasjurgen, en die heeft heel vaak dat ze gewoon, ja, komt iemand binnen, geen Nederlandse medicijnen is slecht, maar ja, zijn been valt eraf, dus laten we hem beter vergeten. Dus je kan dan zeggen, in die applicatie kun je dan zeggen, als zo'n soort situatie optreedt, dan mogen mensen wel bij mijn data, maar dan, om misbruik te voorkomen, wordt het dan een soort van super, daten we een beetje de break in the glass protocol, dan zag je daarna dat het glas gebroken was. Dus dan, snap je, dus dan zag je wie precies access had gedaan, had gekregen en waarom. En het idee was dan, dat er dan ook replicaties zouden zijn, als dat niet geordeld was. En dat gebruikt zo in sommige ziekenhuizen, zo'n soort protocol voor, ja, want het was een ziekenhuis, volgens mij was dat in Den Haag, waar allerlei, als er dan een BN'er was, dat ging al die verpleegkundigen, dat checken, en toen heb ze op een gegeven moment, je kan me zo verhouden, ik weet het niet meer hoor, maar dat soort protocol had ik ingesteld, nou ja, je hebt gekeken naar de verhalen van andere hazen. Ja, ja, ik snap hem, ja. Nee, dat is wel sowieso, als ik nu nog één keer sowieso zeg, maar in de AI-wereld is dat wel een discussie, en big data, wat gebeurt er met data enzo. En ik ben, ik vind privacy, zoals ik al zei, privacy vind ik heel belangrijk, maar er is ergens, je kunt niet perfecte privacy hebben, dat geloof ik niet, maar ik geloof ook niet dat je alles helemaal aan iedereen moet kunnen laten zien, dus er zit ergens een balans in, en er mag ook best wel een discussie zijn, hoe kunnen we het dan wel acceptabel maken met de juiste toegelingen, met de juiste regeltjes, en dat is volgens mij echt wel haalbaar, alleen soms lijkt die discussie heel erg tussen alles of niets, dat is bijvoorbeeld net dat elektronische patiënten dossier, wat dan landelijk, kijk, dat is sowieso ambitieus, niet zozeer vanwege privacy, maar de Nederlandse overheid, die is daar sowieso dat gaat gewoon niet, het is wel binnen ziekenhuizen, is dat gelukkig nu inmiddels wel zo, dat werkt, dus je hebt een aantal ziekenhuizen, of misschien wel allemaal, die hebben dat inmiddels wel, dus dat, en dan is het nou de afweging van ja, wat mag nou wel wat niet, dus ik vind die discussie moet gewoon gevoerd blijven, zodat je daar wel zeker in de zorg, dat je de mensen wel beter kunt helpen, zonder dat je echt enorm grove schendingen, schendingen van privacy doet, ja. Ja, en AI is natuurlijk ook, al die AI, AI is eigenlijk gewoon een aapje trucje leren, je laat het thuis een voorbeeld zien, en hopelijk kan die daarna zelf, uiteindelijk komt het daarop neer, dus je hebt heel veel data nodig. Het probleem is dat je dus die data allemaal actiegeert, en dan moet je natuurlijk animiseren. Dus je krijgt dan een discussie over, wij vormen natuurlijk aan GDPR bijvoorbeeld, maar ook aan, we zijn ook een officieel erkend en een mooie stempel ergens liggen, dat we de meeste software bedrijf zijn, dus dan moet je aan allerlei kwaliteitseisen voldoen, onder andere voor data, maar met name voor software ontwikkeling, testen en kwaliteit. De joke is dat de meeste bedrijven die kunnen dan gewoon, ik heb een foto van een long, er staan allerlei metadata erbij, de naam van de patiënt, de naam van de arts, type apparaat, yada yada, dan gooien we gewoon al die metadata in een pullback, we hebben de scan geanimiseerd. Maar ja, een gebit, zoals je misschien vindt als je ooit een detective hebt gekeken, ja, het is identificeerbaar aan een natuurlijk persoon op een gegeven moment. Ja, ja. Want der is beslaat, want je long is net zo uniek als je gebit, alleen ooit hebben we besloten dat de gebit is te makkelijker, nee, een gebit overleeft een brandvolk, naast de daarom. Dus dat was nog een extra hindernis waar wij tegenaan liepen, en toen kwam ik er dus ook achter in een van de vele dingen die je dan lekker op je poort geschogen krijgt, toen je hiermee moest dealen, dat er geen lekker, al die letten hier omheen zijn ook supergrijs en vaag. Dus het is nergens dat je even kan lezen van, je mag alles kent, wel of niet van de gebit. Oké, dat bestaat niet. Dus het is allemaal, ik heb op een gegeven moment met juristen gepraat toen is het, ja, er stond correspondentie bij een bepaalde rechter, maar er is ergens soms weer anders. We kunnen niet gewoon even duidelijk hierover zijn, maar uiteindelijk hebben wij het standaard in genomen, of zo werkt dat. Wat de meeste medicoin bedrijven doen, dat je, als je van onze foto hebt, stel ik heb een foto van jouw gebit en er komt een boef en die breekt in de data lake, dan om te weten dat het jouw gebit is, zouden zeg maar alle foto's af moeten gaan die wij hebben. En ze een voor een moeten matchen en dat is ondoenlijk. En daardoor is het goed genoeg geanonimiseerd. Dus als ik het goed heb begrepen, even een double check die ik doe, want ik neem aan dat jullie natuurlijk gewoon cloud solutions gebruiken om de data op te slaan. Ja, zeker. Zo hip zijn jullie wel denk ik. Maar ik neem aan dat jullie daar dan inderdaad anonimisatie toepassen dan, om te voorkomen dat je dan in die AVG privacy rechten help komt. En sla je dan de data in, oh jee, misschien is het toch gewoon gevoelig onderwerp, maar dan moet je me even zeggen. Sla je die data dan in Europa op of in de VS? In Europa, in Europa. Wij vallen onder de wij zijn niet Amerika gereguleerd, we zijn 100% Europees gereguleerd. Voor Amerika hebben we weer andere stempels nodig. Maar dan heb je ook nog weer een verschil tussen de data die op slaat en de, bijvoorbeeld wij werken ook met een, wij hebben een Amerikaanse klant. En hun data deleteen zodra we het geprocessed hebben. Gewoon omdat ik geen tijd had om al die meuk uit te zoeken. Nou shortcut, weet je wat, we processen het. Dat betekent een agreement dat wij het niet opstaan. Dus zodra zij hebben een heel simpere product die je uploadt van een API, we processen het, daarna kun je het bij ons weer downloaden. Dus trouwens als we ons getaloud hebben, dan evicten we het gewoon van alle servers. En garanderen we dat het dan ook niet in blog zit en in allerlei andere zaken, zeg maar. Ja, dat wordt weleens vergeten inderdaad. Dat is wel slim. Ja, het zit prassend veel in blogs altijd. Ja, precies. Maar als wij dingen, als wij, wat wij zijn, wij willen gewoon, zeg maar, ATs een hele goede partij zijn. Dus als wij data opslaan voor langere termijn, dan is het wel dat er een data processing agreement is. Volgens GDPR. Dus dat we, dan zeggen we tegen onze supplier, je moet wel zorgen dat de data met akkoord is vergaard en ons slaan we dat dan op, zeg maar. Dus dat is bijvoorbeeld een data set van een universiteit dat we wel hebben met zich ook meegedaan in een studie, et cetera. Maar het is wel lastig om aan die data te komen. Ja, ik begrijp het, ja. Ehm, even kijken. Ja, een vraag die nu ook wel, volgens mij hebben we die al een beetje al gesteld, maar welke ontwikkelstack maken jullie gebruik van? Dagelijks of? We hebben het op verschillende teams. Dus bij ons werkt het zo dat een product team, dat zijn de machining researchers, machining engineers, die werken in Python, want alle data science gebeurt in Python. Ehm, en we gebruikten eerst TensorFlow, maar we zijn aan het migreren naar Torch. Dat is, zeg maar, van Angular 1 naar React gaan, voor de mensen die niet in de AI zitten. Ehm, en, again, grappig ook, TensorFlow van Google en Torch van Facebook. Oh, precies, ja. Voor mij was dat één grote rostalgie, zeg maar. Oh, grappig. Dat dat gebeurde. Ehm, en er zullen nu hoogteafdag mensen in de comments groepjes zijn, want er is, net als bij Angular, ook een TensorFlow 2, die veel veel beter is, waar iedereen gaat van Torch. Dus, het is echt, het is echt een copy paste. Ehm, ja. Dus dat gebeurt allemaal in Python en, eeh, dan heb je het tooling team, die maakt, eeh, onze annotatie tool, want toen wij aan deze endeavor begonnen, was er natuurlijk nog geen annotatietool, dus die moesten we ook nog zelf schrijven. Dus we hebben toegeschreven en die dus al die plaatjes kon inkleuren in een browser, en die draait naar artsen over heel de wereld zijn daar in aan het werk. Dus gewoon een eigenlijk al volledig software product. Ehm, en we hebben een data lake, want er bestond er ook niet voor medical imaging, want medical imaging was met 3D data, 3D data, en al die slijsters werden bestaat ook niet. Eeh, die eerste was geschreven in, die annotatietool was geschreven in the backend in Java. Dat was mijn laatste Java project. Eeh, want ik was toen nog een Java developer, dat was de tool die kende, dus die smeet ik er gewoon tegenaan. En, maar daarna zijn we eigenlijk over gegaan naar TypeScript voor alles, want dat deden we ja, de frontend gebruikte natuurlijk TypeScript, en ja, dat hecht gewoon zo lekker, dat we gewoon de backends allemaal zo, ja, die ja daar ook allemaal erin hebben gedaan. Ja, ik ben groot fan van TypeScript. En, eeh, dus dat is de interne tooling. En dan heb je nog de de API en infrastructure. De API, dus eigenlijk die accepteert een file. Die schreef, die zit een file op disk. En die die zegt dan tegen Kubernetes van doe mij zo'n inference job. En die wordt dan op een GPU node gescheduled, want het is allemaal GPU werk. Dat is ook een TypeScript Node.js service. Die echt heel klein is, want die accepteert gewoon een file en die zet hem op Q. Dat is wat die doet. Dus ja, dat heb ik ook in TypeScript gezeten. En we doen heel veel, en dat is heel interessant. We doen heel veel zwaar, computationeel zwaar werk, natuurlijk, met al die grote files. En we zijn nu aan het kijken waar we het meest impact kunnen hebben door dat te vervangen. Zowel Python als Node.js zijn natuurlijk geen hele snelle talen. Als ze niet asynke, zeg maar, sommige aspecten zijn geoptimaliseerd In Python is eigenlijk C-code die met een Python wrapper aanspreekt. In Node.js is natuurlijk ook heel veel C-code gedaan, onderliggend. Maar bijvoorbeeld dingen zoals files parsen en zo, dat doe je dan eigenlijk in Node van Python. En daar konden wij nog een hoop winst boeken. Met name in de browser. Je kan je voorstellen hoe leuk je browser het vindt. Die gewend is zeg maar een paginaatje van 20 en beta open als wij dan ineens een faal van 600 megabytes in memory installen. Dan gaat die garbage collector helemaal over zijn zuiger. Dus we zijn voor dat soort dingen rust aan het deployen. Dus we gebruiken rust via WebAssembly in de frontend. Voor de heavy lifting. En we gebruiken, we zijn steeds meer rust aan het gebruiken voor bijvoorbeeld het converten van files en zo in de backend. En ik ben helemaal over lief op rust. Ik vind het echt een fantastische taal. En ja, daar ben ik heel excited over dat we dat nu eindelijk gaan deployen. Gaaf. Volgens mij hebben we, we hebben het echt iedere keer saipel te rust zeg maar in onze podcast. Ja, ja, ja. Ja, precies. We hebben nog geen aflevering. Nee, nog niet volgens mij met rust developpen. Dat willen we nog wel een keer gaan doen. En goed, dat was, dat heb ik misschien wel vaker gezegd. En dat is misschien voor jou, ja, voor jou welhaalbaar. Vroeger zei ik nog weleens van, oké, ik wil ieder jaar wel een andere taal leren. Nou, dat lukt me gewoon al heel lang niet meer, heb ik opgegeven. Maar rust is dan één van rust, elixer, go. Een aantal van dat soort talen, zeg maar, die ja, dat neig je na van, oké, die wil ik eens een keer oppakken. Nou, daar ben ik gewoon niet aan toegekomen. Maar rust hoor ik wel heel positief. Het is van andere talen ook, maar het is opvallend hoe positief ben ze over rust. Dan weet ik dus niet of dat nou een soort van secte achter iets, een secte achter iets is. Nou, laten we toegeven dat alle proberen daarna gewoon secte zijn. Ja, dat is waar. Maar het is echt heel positief. Ik weet niet, mensen zijn ook positief over. Dus dat is wel weer grappig, ja. Ja, dat was voor mij ook wel heel herkenbaar. Ik heb ook wel go geleerd en naar elixer gekeken en rust geleerd. Rust is wel echt een hele andere experience. En dan bedoel je mee de performance of de manier waarop je kan programmeren. Wat betekent het voor jou? Nou kijk, elixer heb ik heel weinig gedaan, maar vooral Go is een designgoal van Go dat heel simpel is. Daar heb je het eigenlijk gewoon in de middag gaan leren. Als je een Java programmer bent, of je hebt een SE, by the end of the week ben je gewoon Go microservices aan het schrijven. Dat is het voorheel van Go, maar ook dat maakt het natuurlijk ook een hele beperkte taal. Wat ik en de designgoal was, dus dat is niet, dat is een keuze, ik heb er geen nadeel. Rust is heel complex, maar bied je onwaarschijnlijk veel vrijheid. Dus je kan, ze hebben zoveel problemen die andere programmeertalen op zo'n elegante manier opgelost, dat je het zeg maar gebruikt en dan denkt, wow, waarom heeft niet elke programmeertal dit? Hoezo? Waarom zit ik nog te prutsen in Javascript met dit en dat, want het is gewoon al opgelost. Dus Rust heeft gewoon gekeken naar de best of, ook heel vervolgens van Elixir volgens mij, en dat gewoon allemaal geimprunteerd. En het is echt, ik zeg tegen iedereen, je moet eigenlijk, als je een programmeertal erbij wilt leren, moet je eigenlijk rust leren, omdat het je gewoon een betere programmeur maakt. Je snapt talen beter, je gaat beter met memory management om, je snapt beter wat er eigenlijk in de meeste talen verstopt wordt voor je. Maar dan niet op de C++ manier, waarin het hier nog moeilijk en ongezellig is. Rust is gewoon een hele elegante taal. Maar het kost wel echt veel tijd om het onderdruk niet te krijgen. Ja, want het is de toepasbaarheid is echt wel opvallend groot. Ja, er zijn hier heel veel mensen verliefd op. Wat ik bedoel met toepasbaarheid is zeg maar net, je hebt Java, ik doe .NET en C Sharp. Je gaat geen opleidingssystem schrijven in C Sharp of Java. We hebben mensen vast geprobeerd, maar meestal doe je dat niet. Dus de systeem software schrijf je dus niet in dat soort talen met Karmous Collection. Terwijl Rust kun je dus, want sterker nog, Linux Torvalds vindt het inmiddels interessant dat er ook rust geschreven gaat worden in een Linux kernel. Precies. Dus dat is al een ding van wow. En het wordt gewoon, het is eigenlijk gewoon gelijkgesteld aan C, C++. Dus op dat niveau wat C, C++ kan kun je met rust ook. Maar tegelijkertijd kun je ook gewoon zeggen, nou weet je wat, ik ga gewoon een website zo maken. Ja, zeker. Het is wel moeilijk. Ja, precies. Nee, heel goed. Maar het gaat echt een hele nieuwe wereld openen. Ja, zeg maar. Dus dat zijn libraries, frameworks en ook wat jij nu net zegt. Dat je met WebAssembly in de weer kunt. Ja, WebAssembly gaat echt een hele nieuwe wereld openen. Dan wordt het zeg maar compiler weer ineens portable. Ja, precies. Dan kunnen we nu rust schuiven in de browser. Maar ik zie dus ook al WebAssembly draaien op microcomputers en zo. Dat is gewoon een compile target. Dat het gewoon heel makkelijk is. Beetje de nieuwe JVM. Oh, vet. Oké, grappig. Ja, die had ik nog niet meegekregen. Maar goed, die toepasbaarheid. Het kan heel veel. En wat jij zegt, het is heel flexibel en complex. Dus ja, dat is wel zo. Maar je kunt er wel heel veel mee doen. Dus dat is wel heel gaaf. Ja, dat je thread safety en immutability guarantees. En dat je heel veel parallel distributed programming gedaan in Java. En dan, nou, dan moest je een soort ninja opleiding eerst voordoen. Moest je dat boek Concurrency in Practice. Hoe heette die? Van de Tshushua? Nou, goed, die. Die moest je gelezen hebben. Heel veel mediteren en heel veel fouten maken. En dan kon je op een gegeven moment, kon je dan parallel programming. En dan was het ook zo step aside. En dan ging je mensen helpen met iets multi-trailer doen in Java. In rust doet de compiler het gewoon. Nope, doen we niet. Als je een fout maakt, nope. Dat is in het begin heel frustrerend. Ik snap niet wat je verkeerd doet. Maar ja, het is bizar dat dat gewoon kan. Nou, mooi dat jullie dan een beetje de, ja, ik wil niet gelijk pioneer zeggen, maar ja, jullie zijn er wel natuurlijk mee aan het experimenteren of je daar echt, ja, de wereld beter kan maken met software. Dus dat is wel leuk om te horen, inderdaad. Elke keer dat dat terugkomt. We hadden het ook al een keer bij die crypto-training platform ook al een keer gehoord. Ik heb ook een keer een fout grapje gemaakt, een tijdje terug erover. Dat iedereen er rustig van wordt. Maar ja. Ja, we hebben ook die memes overal, na de rel op het museumplein, de rust is weer verkeerd. Ja, ja, ja. Oh shit. Ja, die ken ik wel. Het wordt vol z'n slack. Gaat het heel lekker allemaal. Ja, ja, ja. Ja, mooi man. Ik heb even een hele andere vraag aan je. Hoe is het nou om een hele jonge CTO te zijn? Leuk, vooral. Maar ook challenging. Je hebt heel veel management advies. Dus ja, wat vond jij heel goed? Wat is de beste manager die jij weet hebt gehad? En dan denk ik altijd, ja, ik heb net een manager gehad, Ik zou het niet weten. Ja, ik ben na mijn afstudie gelijk CTO geworden. ik weet niet. Wat dat betreft, denk ik ook wel een goed end hoort. Ik denk, als je een manager volgens mij, Anno 2021, zou inderdaad iemand moeten zijn die niet in de weg zit. Nee, dat is waar. Ja, zeker. Sorry. Het is heel moeilijk. Er zijn heel weinig tiers. Dus ja, een clubje van CTO's opzet is niet heel makkelijk. Er is heel weinig literatuur geschreven over en het vak verandert zoals je zei al heel snel. En het is ook niet een hele vast ontlijmde rol. Er zijn allerlei soorten CTO's. Van de hele nerdy researchers die eigenlijk de core technology ontwikkelen. En het liefst gewoon alleen op een kamer zitten en met rust laten willen worden. Tot echt de engineering managers. Het zijn hele goede people managers met een engineer op de achtergrond. Tot de hele goede project managers. Want je bent eigenlijk gewoon ook een project manager. Er is een plan, er moet een product gebouwd worden met een bepaalde datum af. Er zijn allerlei hurdles, let's go. Er zijn zoveel aspecten. En dat snap je allemaal niet, dat weet je allemaal niet. Dus dat moet je dan een beetje uitvinden met schade en schande. Boeklezen is key. Ja, dat klopt. Het is niet meteen de CTO rol. We hebben Bart die werkt bij Shopify zeg maar. Die werd toen gepromoveerd naar team lead. Volgens mij heeft hij nu weer een andere rol. Maar goed, toen zat hij ook van ja, hoe dan? Wat is de literatuur? Hoe ook een goede team lead? Of hoe... Dat is geen opleiding. Dat zijn nog best wel dingetjes die ja, hoe noem je dat? En engineering management is ook echt een andere kapitee. Ja, sowieso, dat weet je zelf ook wel. Zodra een software developer management hoort, dan is het al oké. Gatver. En zo was ik vroeger zelf ook, toen ik zelf manager was. Toen ik zo begon. Ja jongens, ik heb er ook een echo aan. Laten we gewoon allemaal... Maar je kan ook niet doen alsof er geen management nodig is. Dat heeft een tijdje geprobeerd, dat is niet heel lekker. Ja, dat klopt. Je hebt allemaal verschillende organisatiestijlen. Kijk, en dat is wat Kishen net zei. Eigenlijk vind ik een manager of ja, noem het even manager. Die moet vooral faciliteren, zeg maar. En zorgen dat het meest uit die mensen te halen is en dat die mensen ook, zeg maar, kunnen zich ontwikkelen. Dat is de belangrijkste rol. En kijk. Maar dan ben je manager, dan ben je geen leider. Nee, dat is normaal, dat klopt. Dat is waar. Maar goed, dat is een manager. Dus die manage dat verhaal. Maar goed, als je een lead bent, of misschien is dat met een CTO zelfs ook al aan de orde. Ja, dat zijn helemaal andere aspecten. Maar goed, dat komt ook misschien nog meer karaktereigenschappen bij kijken dan manager. Bij manager ook hoor. Een goede vriend voor mij is, ja, dat kan ik eigenlijk wel zeggen. Dat is gewoon echt een goede manager. Maar die zegt ook, ja, het is een vak. Alleen 19% van de mensen die heeft zoiets van, ja, dat doe ik wel. Ja, nee, het is echt een vak. Je moet het ook echt leren. Het duurt echt lang voordat je het kan. Ik ben het ook nog steeds aan het leren. Ik kan ook zeker of niet alles laten staan goed. En dat was wel een van de grootste lessen. Dat het gewoon een vak is, wat niet een vak is op een universiteit, zeg maar. Je moet echt, maar het heeft alles van een normaal vak. Dus je hebt zeg maar, je moet er feeling voor hebben natuurlijk en je moet er een soort aanleg voor hebben, maar ook heel veel gewoon, weet je wel, handige trucjes en methodologieën en processen en gewoon. Ook heel veel leerbare meuk. Dus je moet one on one's hebben met je mensen. In het verlengden, dat is een vraag van mij dan. Dat hebben zij stiekem ook van tevoren. Recruitment, maar ik ben wel nieuwsgierig. Wat zijn de mensen die werken bij jullie? Zijn ze bijvoorbeeld allemaal Nederlands talig, Engelstalig? Allemaal mannen, allemaal vrouwen? Of non-binair, whatever. Het hele spectrum. Hoe kun je dat omschrijven? Jazeker. Wij trekken over het algemeen mensen aan die sowieso we zijn een remote bedrijf. We hebben mensen door heel Europa heen zitten. Eigenlijk alles in de Nederlandse timezone. Plus of min twee uur. Helaas, alleen, we hebben één dame maar in het hele team. Narstig op zoek naar meer dames om de balans beter te krijgen. Maar vooralsnog niet succesvol. En het zijn mensen die heel autonom opereren over het algemeen. natuurlijk gewoon innovatieve programmers. We zoeken wel de mensen uit die niet op zoek zijn om iets wat al duizenden keer is gedaan, voor de duizenden eenste keer te doen. Je moet wel, in onze sollicitatie procedure kregen we al een hoop problemen die net even anders zijn dan je ze gewend bent. Je kan niet je hippen, we zijn wel cloud native, maar je kan niet je hippen Kubernetes x-ingress tool uitbonden omdat die gewoon niet een vaal van zes op de beek aan kan. Dus ja, dat soort mensen die een beetje zei van, oh ja, oké, dan gaan we zelf gewoon wat hacken of dan pas het op deze manier toe. Dat soort mensen zitten er wel op. En all remote, joh, dat is ook wel een ja, wat is dat? Tegenwoordig is het gewoon een nieuwe normaal, lijkt het wel. Wat is jouw beeld erbij? Nou, ik ben de grote voorstander van remote werken. Promaton is opgericht als een remote bedrijf. Wij dachten al snel, ja, we gaan echt een heel moeilijk probleem oplossen. En de Nederlandse talent pool is niet zo groot en we competeren met Uber en Google Brain was nu net begonnen met een AI toko. Dus het was vanuit een hiring for talent idee, maar ook vanuit, ik denk dat remote werken oprecht gewoon voor veel mensen veel fijner is dan niet remote werken. Niet voor iedereen, maar voor een groot deel van de engineers, dat het wel echt heel fijn is. En ja, om die idee zijn we dat gaan doen. En ja, het bevalt super goed. Ik denk dat als je heel veel, ik vraag het heel vaak aan mensen, maar als je de meeste engineers vraagt, waar kun je het meest effectief werken, dan hoor je jezelf op kantoor. Ja, dat is waar. En zeker in die toen, eigenlijk nog steeds op veel plekken was zo'n open office space helemaal populair, ondanks dat het ik of een researcher is, dat dat heel slecht eigenlijk is. Stress verhogend en dat soort zaken. Dus ja, bij ons kunnen mensen zich, wij scoren heel hoog op de work-life balance in die cultural survey, en dat komt omdat bij ons is echt het idee, maakt ons echt geen hoenpapa uit, wanneer je werkt, wat je aan hebt als je werkt, waar je werkt, maakt echt helemaal niks uit, als gewoon maar je werk doet. Dus bij ons, heel veel bedrijven zeggen dit, maar bij ons is het dus echt normaal, als het dus wijdt, dan ben ik ervandoor, dan ga ik gewoon kijten. Dus gewoon twee uur afsmiddag zeg ik, yo gasten, ik heb geen meetings, of voor z'n twee meetings, dan de wallen. Ik heb ook Kaapstad is even mijn beste plek in de wereld om te kijten. Dus ik vind het heel fijn om in januari en februari vanuit Kaapstad te werken. Ik heb een jongen, die zat twee maanden, of die zat een paar weken in tijd, dat ik blij vond. Prima, dat is onhandig, dat is een andere timezone. Maar heel veel mensen bij ons gaan op vakantie en plakken er dan nog gewoon een werkweek achteraan, omdat ze gewoon op een fijne plek zitten. We hebben mensen die verplaatsen regelmatig, dus jongens die ouders hebben een zomerhuis in Estonia en hij zit zelf in Sipetesburg. Dat is in sommige perioden van het jaar gewoon veel fijner. Dat is wel nice. En mensen met kinderen, die natuurlijk gewoon alle perikelen hebben met de onverspelbaarheid van kinderen, die gewoon zeggen, ja, ik ga nu even dit doen met mijn kind, want het is mooi weer, of ik moet hem ophalen van mijn crèchebevel. Je hebt gewoon zo veel meer flexibiliteit. Ja, ik begrijp het wel. Het is heel interessant sowieso nu, de afgelopen jaren met dat iedereen nu thuis werkt. In ieder geval 90% van de software ontwikkelaars zullen zeker wel thuis werken. Ik merk wel dat er een aantal bedrijven nu al zo, weet je, die kunnen niet wachten totdat mensen weer op kantoor kunnen komen. Dus dat merk je wel. Alleen, mijn kutfeeling is echt dat er heel veel bedrijven gaan zeggen dat er wel meer thuis gewerkt zal worden, zeg maar. Dus in de brede zin, zeg maar, gemiddeld over alle IT-bedrijven, noem het effe zo. Maar het zal niet zo zijn dat ze all-remote gaan, terwijl dat wel kan, volgens mij. Want je kunt ook zeggen, oké, we hebben nu bewezen dat dit kan, laten we dit doortrekken, want dan hebben we misschien voordelen aan. En dat is ook niet voor alle bedrijven mogelijk hoor, bedoel ik. Kijk, GitLab is, dat zul jij zeker weten, GitLab is natuurlijk een voorbeeld van een bedrijf die dat ook doet. En die daar ook mee naar buiten treden. En ik denk dat dat ook een bepaalde, ja, dat is een pluspunt, zeg maar, een uniek selling point, zeg maar, richting het binnenhalen van mensen. Dus dat is wel interessant. Ja. Alex, is er ook niemand die bij jullie in de groep misschien toch geroepen had van, ja, ik mis toch eigenlijk wel de koffiepraat of de pingpong Ja, ja, zeker, natuurlijk. Er zijn, kijk, er zijn een paar dingen die je anders moet doen in een remote bedrijf als je de succes wil maken voor je mensen. Je kan niet gewoon allemaal thuis gaan zitten en dan zo, tada, remote bedrijf. Dat is wat veel bedrijven afgelopen jaar geprobeerd en dat was niet prettig. Voor heel veel mensen. Even nog los van dat je ineens allemaal kinderen thuis zat omdat ze niet op van konden. Daar hadden wij, zeg maar, toen iedereen remote moest gewerken, zaten wij te griddiken en daarna zaten we met afschuw te kijken hoe bedrijven dat aanpakten. Maar ook wij werden geraakt door het feit eigenlijk dat er gewoon kinderen ineens door alle conference calls heen renden. Dat was onhandig. Maar goed, er zijn een paar dingen. Ten eerste dat we een goede werkruimte thuis hebben. Obvius. Heel de dag ga je keukentafel werken is niet zo goed voor je. Zowel je houding niet als het verschil tussen, als die grenzen hebben tussen work en life. Dus we stimuleren mensen heel erg dat ze op een manier zorgen dat ze daar een balans in hebben. Voor sommige mensen is dat met je rug naar de woonkamer gezet terwijl het voor anderen echt is naar een cohort space gaan. Maar we moedigen iedereen aan wel te zorgen dat je tussen andere stikken de deur dicht kan doen achter je. Een ander is dat het grappig genoeg, en GitLab schrijft heel goed over, dat is zeker niet door ons verzonnen. Alle mensen hebben behoefte aan contact en die slappe koffie praat, en de waterboider de watercooler humor, zeg maar. Maar het hoeft echt niet voor je collega's te komen. Dat is een soort van hebben we dan verzonnen, dat dat moet. Maar je kan bijvoorbeeld een collega, ik heb een collega in Bilbao dat is in Noordwest Spanje, die zit gewoon in de co-workspace. Je hebt een toptijd met de mensen daar. Je kan gewoon een beetje met grappen en rollen en die hebben ook events, weet je wel. Anderen zitten in de co-workspace in Rusland en die hebben ook gewoon die zitten gewoon onder de mensen. En voor de mensenvetten. En in Amsterdam hebben wij dan, omdat we zoveel mensen in Amsterdam hebben, hebben wij wel een office in Amsterdam, maar die wordt gebruikt als co-workspace eigenlijk. Dus er staan gewoon een paar desken en een paar schermen. En de mensen die dat fijn vinden, die gaan daar zitten en dan zijn er ook andere mensen, maar die kunnen net eens goed in de Starbucks gaan zitten. Want we maken het wel zo, dat als je niet dat probleem hebt, zegt me, remote gaat heel slecht op het moment dat een deel van de mensen remote is. Dan wordt het heel, of je moet heel veel investeren in hele dure hardware, om je, zeg maar, je hele vergaderkamer in beeld te krijgen, een hele goede microfoon die in het midden is, maar dan nog zul je merken dat de mensen die remote zijn, eerder buitengesloten worden. ja, dus wij proberen er wel echt voor te zorgen dat het een co-workspace blijft, onze kantoor, en niet een, zeg maar, de center of gravity hoort. En uiteindelijk, en dat weten ook veel mensen niet, van remote bedrijven, is dat voor een vertrouwensband moet je elkaar gewoon gezien hebben en iets leuks met elkaar doen, basically. Dus alle remote bedrijven die ik in ieder geval ken, die vliegen ook iedereen drie tot vier keer per jaar in, naar een locatie om met z'n allen iets te doen. Sommige bedrijven gaan we echt alleen maar lol trappen, dat doen wij. We zijn gaan surfen in Fuerteventura en skiën in de Alpen, en zodra het mag gaan we bij een collega in Griekenland zeilen en we hebben in Nederland op zo'n scootje een heel weekend gezellig, dus wij doen alleen maar leuke dingen als we iedereen invliegen, maar zo'n bedrijf die dan juist hele serieuze hackathons en brainstorms een beetje wel wat voor verdieping doen, maar je hebt wel nodig dat je weet wie dan aan de andere kant van de camera zit, zeg maar. Ja, en de andere positie die wij ook overwegen voor dit jaar nu begroeien want met een klein team was het heel goed te manageren, gewoon ja, dan kan iedereen over twee weken dinsdag, nou is goed vliegen iedereen over twee weken dinsdag in, trappa. Nu wordt het wat moeilijker om te coördineren, maar we overwegen nu bijvoorbeeld een budget dat iedereen, want wij geven geen geld uit aan onze offer zelf, dus we hebben best wel geld voor dit soort dingen. Dat je gewoon twee keer per jaar naar een collega mag vliegen en no questions asked. Nou, als jij een weekje wil gaan hacken met Dimitri in Griekenland, Dimitri gaat dan vaak aan het ijt van de middengangsmoor weer, gaat hij nog even spearfishen. Nou, dan kun je een beetje hacken zorgens en ons middengangs gaan even samen spearfishen. Zagens nog voor je eigen octopusje eten. En dan na een paar dagen kom je terug in Nederland. Ja, waarom niet? Ja, het is een mooie grap. Dat soort dingen moet je wel faciliteren. Ja, dat klinkt goed. Ja, we zitten nu eigenlijk al best wel lang te kletsen over... Het leek maar vijf minuten. Ja, inderdaad. Maar weet je, dat is gewoon heel interessant. Dit is heel boeiend. En ik denk dat je ook nu één ding al geroepen. Misschien wel meerdere dingen heb genoemd die goed werken bij software ontwikkeling, bij jullie de geval. Maar heb je ook een... Ja, iets wat misschien voor altijd weg zou moeten gaan, binnen software ontwikkeling. Iets wat misschien wat minder goed werkt, waarvan jij zegt van nou, dat moeten we nooit meer doen. Nou ja, nu we het hierover hebben, het is het eerste wat in me opkomt, gelijk synchronen werken. Dus zeg maar, als je remote werkt, dan wordt heel veel gepraat over de a-synchronen en over alles a-synchronen doen. En ik merk wel dat voor bijna alle engineers waar ik ooit mee gewerkt heb, misschien is dat de type mens wordt programmeerd ofzo, maar over het algemeen kunnen we beter nadenken als we niet in een meeting zitten. Dus je kan het beste dingen, je kan het beste voorstel lezen en dan reageren dan in een meeting proberen iets voor te stellen te discussiëren, want uiteindelijk gaat het met het eerste onderwerp wat besproken wordt, ga je mee zeg maar. Dus als je een goed besluitvormingsproces wil of als je de beste ideeën naar boven wil, wat ook voor innovatie heel belangrijk is, maar voor alle andere dingen, dan is het over het algemeen a-synchronen communicatie voor de kwaliteit van de besluitvorming heel goed. En wij werken natuurlijk met heel veel introverte mensen en die floreren gewoon bij een a-synchronen workflow. En ik krijg zoveel meer goede ideeën en zoveel hogere kwaliteit als je dat goed doet. Dus ja, voor mij is echt synchronen workflows, dus Scrum Day stand-ups, split meeting, ik snap het nog wel, want dat is echt zo'n in het moment coördinatiepunt, maar met z'n allen gaan nadenken over planning poker, of zo weet je wel. Blocking met z'n allen, nadenken over hoe lang een fietsje duurt, dat soort dingen. Als ik dat zou mogen afschaffen, dan zou het afgeschaft worden. Ja, het zijn ja, ik herken een aantal dingen, herken ik wel. Ik durf niet te zeggen dat die meetings niet goed kunnen gaan, want ik heb ze goed meegemaakt, ik heb ze ook echt slecht meegemaakt. Het is ook echt precies wat jij zegt, want sommige mensen zijn introvert en het moeilijke ook is, zeg maar, dat als iemand stelt dat er drie of vier introverte mensen in zitten en een paar wat ook dominant zijn, ja, dan is dat wel, ja, dan is het eigenlijk gewoon, dan maak je gewoon niet genoeg gebruik van al de talenten van heel de team. Dus dat is eigenlijk gewoon heel erg slecht. Heb je al die slimme koppen gehaard? Ja, en als een of twee of zo. En kijk, het liefste heb je wel iemand die misschien dominant op een of andere manier heeft aangeleerd om te luisteren ook naar andere mensen. Ja, dat je ook vergadervormen, waardoor je gezorgd dat iedereen wel, zeg maar, de mogelijkheid heeft om op een veilige manier zijn of haar mening kan uiten, zodat die niet meteen weggelachen wordt of niet serieus genomen wordt, want je bent niet goed genoeg of weet ik veel wat. Dat soort dingetjes. En dan begrijp ik best wel wat je zegt, van oké, dat asynchronous werkt beter dan... Ja, en ook niet als reageren. Weet je wel, dat je bezwaard voelt dat jij niet gereageerd is enig of niet weet. Of juist het idee dat omdat jij voor jezelf dat je dan vindt dat je automatiteit hebt, dat je dan moet reageren op een statement. Dat valt allemaal weg in zo'n asynchronous. Ja, dat klopt. Ik heb dat één keer van iemand, ja, niet geleerd, maar die zei, dat heb ik al eens gezegd, zeg maar, die zei van, het maakt me niet uit. We waren in een discussie of het ging over een oplossing A of B, heel simpel gezegd. Dus ik weer vroeg aan haar, wat vind jij ervan? Het maakt mij niet uit wat je kiest, A of B. En ik zei, hoezo? En ik interpreteerde dat alsof ze niet betrokken was. Ja, precies. En zij, wat zij echt bedoelde en wat ze mocht uitleggen, is van, het maakt me echt niet uit, want A is goed genoeg en het maakt mij niet uit. En B is ook goed genoeg. Kies maar, zeg maar. Ze vertrouwden als het ware op mij gewoon dat ik de keuze links of rechts zou maken. En dus dat soort dingetjes, ja, dat, ja. Dat zijn in the moment tribal gedacht. Ja, ja. Dus het is wel, het is moeilijk. Het is ook complicated. Dat zijn wel dingen die wij, tenminste ik als software ontwikkelaar niet veel heb geleerd. Die krijg je niet zomaar op school. Sommige scholen doen dat wel wat meer aan, maar dat kan je nog veel meer. Maar goed, het is wel een goede oog. Aan de andere kant, voor aanzichterende communicatie heeft ook nadeel heeft twee dingen. Een, dat je moet vooruitdenken. Dat is voor sommige mensen pastig. We hebben wat meer impulsivere mensen, zeg maar. Want ja, als je eerst een proposal moet schrijven en je moet daarna feedback, iemand bellen is altijd sneller. Of als je een mail moet sturen, een voorstel of een schrekbericht waar je gewoon uitwerkt waarom je denkt dat het een goed idee is, dat duurt toch langer. Het is wel beter, want vaak zie je te rubberdakken. Dat kunnen jullie vaststellen. Ik denk dat dit in een tweet-articulairtje wordt gemist. Dan heb je weer je collega een kwartier bespaard. En het ander is, je moet goed leren schrijven. Bij Promaton krijg je ook echte trainingsschrijven. Niet explicit, niet zo van welkom ga zitten in de klas, maar gewoon. Schrijven is zo'n genante power lever in de meeste bedrijven, maar bij ons al helemaal. Dat we daar heel veel aan gaan stekken. Als we daar beter in worden. Wij doen dat door RFC's, Request for Commons, zoals de Javiske taal ontwikkelt. Als je iets groots wil veranderen, change proposals schrijven. Dat wordt gewoon gereviewed. Je bent zelf verantwoordelijk voor dat het geaccept wordt in het tijdsbestek dat jij ervoor neerlegt. Ja, precies. Dan is het toch niet alleen maar de inhoud, maar ook de vorm is gewoon superbelangrijk daar. Hoe je dingen regelt. Als jij het opschrijft op een manier dat mensen niet verder komen dan die er zin in. Dan wordt het niet geaccepteerd. Of zodanig dat men echt denkt van, nou, die heeft een enorme ego. Ja, ja. Ik volg het helemaal. Ik snap best wel. Die RFC, daar moet je gewoon even van zitten. Je moet nadenken. Die begrijp ik al. Mijn... En er zullen mensen die met mij gewerkt hebben, die zullen... Ik praat veel sowieso. Ik heb een podcast, dus ja, dat zat er dik in. Ja, precies. Dan wil je maar gaan podcasten. Nee, maar goed. De praat is voor mij niet alleen om het te praten, zeg maar. Alleen, het is niet handig. Voor software ontwikkeling moet je gewoon een tijdsblok, weet ik veel, pomodoro's of een halve dag ofzo. Wil je gewoon bezig zijn met dat je creëert een model in je hoofd, je gaat bouwen en je ontwikkelt iets en dan stop je en ga je iets anders doen. Je wil niet gestoord worden. Bij mij is het, zeg maar, ik vind het heel fijn, zeg maar, om dingen te bespreken. Dus gewoon niet iets pers... Natuurlijk opschrijven en goed over nadenken en dan bespreken met iemand. Dat is natuurlijk ook handig. Maar om mijn denkwijze, dat is mijn richting, dus dat snap je. Het zou verrassend zijn als iemand met mij gewerkt heeft dat die achteraf niet begrijpt hoe ik tot zoiets zou komen. Ze weten meestal, oké, ga aan de weg, zo is je op dat idee gekomen. Ik heb hem die feedback gegeven, dus zo is dat idee ontstaan in zijn hoofd. Dus daar groeit gewoon iets, zeg maar. En dat communiceer ik over. Is het niet efficiënt? Want je stort andere mensen. Eerlijk is eerlijk, weet je? Dat is nu eenmaal zo. En daar moet je wel een balans in zien te vinden. Ik zie nog te weinig mensen die bijvoorbeeld met Pondoras werken en dan zeggen, oké, of met een zoals je niet remote werkt, maar dat je met zo'n fysiek rood dingetje op je monitor zegt, oké, nu ben ik even bezig, laat me rust. Dat gebeurt gewoon te weinig, vind ik, want dan is er altijd iemand die komt en ben je bang, ik moet dit en die vindt zichzelf dan belangrijker, zeg maar als het ware, terwijl de software is daar helemaal niet handig. Want dat is echt, echt, die storing, die storing, en dat creëert gewoon bugs. Klaar, dat is simpel. Je bent eruit, je moet er weer terug inkomen, oh shit, wat heb ik nou gedaan? Ik was iets vergeten, maar ik weet niet meer precies wat, en je hebt weer een bug te pakken zonder dat je dat bewust echt gedaan hebt. Dus dat is echt helemaal niet handig om op die manier dat te doen. Dus ik vind dat heel moeilijk, zeg maar, want het communiceren is heel belangrijk. Maar het is bij ons, het is een sociaal belangrijk component en het kan ook weer leiden dat er allerlei creativiteiten en ideeën, een beetje ideeëns bounden op elkaar. Dus het is heel belangrijk om dat wel te doen. En bij ons is het ook heel normaal dat het gebeurt. Alleen, bij ons zit er altijd een camera eerst tussen. Dus wat je bij ons veel ziet is dat iemand in het team zegt, hey, ik heb een idee wie heeft er zin om er even over te sparen, of heel gericht, hey Pietje, heb jij tijd om er even over te sparen? Ja, is goed, ik pak even koffie. En dan pas, dan zet ze gewoon een video met hun tweede op en dan sparen ze even en dan zet ze daarna de conclusie op Slack. En dat heeft gewoon een sociaal component en een functioneel component. En we doen ook random socialen. Dus we hebben, hoe heet het nou weer, donut, de Slack donut ofzo. Dat is nou zo'n plugin voor Slack. En dan koppelt die gewoon random met elkaar voor een koffie van Pietje. Oh ja, ja, ja. Dat heb ik ook wel eens gezien, ja. Ja, en dat gaat bij ons echt als een train. Dat hebben we gewoon één keer aangezet en iedereen is heel blij mee. Mensen die, dus ik als manager wel vies wordt, heb ik sowieso al met iedereen structureel one-on-ones. Ik gebruik het niet zoveel, maar iedereen, juist die verbanden die elkaar anders niet zien, voor hen is het super leuk. En wij stimuleren ook heel erg dat je dat wandelen doet. Dat iedereen sowieso achter je bureau zit is niet goed. Zorg sowieso dat je een staalbureau hebt. Maar nog beter is zoveel mogelijk van je meetings als je er nog toch een hebt. Wandelen, activeer een ander deel van je hersenen. Het is creatiever, het is gezonder. En het heeft een meer informal setting. Er zijn heel veel mensen. Bij mij, ook in mijn wijk weet je, als ik ben, moet ik altijd een beetje buitenlopen, dolen met mijn koptelefoon op zich maar. Goeie hoor. Als ik bedankt ook voor het delen hiervan, want ik heb toch al een paar tips inmiddels. Ik was gewoon lekker aan het schrijven maar ik heb, ook voor aan het einde van de show heb ik een paar dingen die ik aan je wilde vragen. We hebben het even over rust gehad. We hebben ook bijvoorbeeld die Slack Tonic plugin, die heb ik ook maar even opgeschreven. Dat is ook een hele goede tip. Nou oké, bedankt dat je zoveel wilde delen over jouw CTO-schap. En ik denk ook de inspiratie die je gegeven hebt. Tenminste mij in ieder geval, er zijn toch bedrijven die ook wat andere vormen kiezen dan de standaard safe-modellen en agile-modellen. Ik denk dat we nu wel een beetje aan toe zijn aan het tweede deel. Ja dat moet wel, volgens mij zijn we nu echt heel lang bezig. Ja, dat is wel een goede aflevering denk ik. Dus dat geeft ook heel veel. Maar ja, op een gegeven moment is toch wel in ieder geval bij mij gaat het winkeltje dicht. Ik merk dat m'n ogen wel een beetje moet horen. We hebben de developer-dilemmas die we weer graag met je zullen doen dit keer. Je vertelde mij, of tenminste je vertelde ons net voor de podcast dat je flink geluisterd hebt naar alle andere afleveringen. Dus je weet een beetje inmiddels hoe het in elkaar zit. We geven jou twee stellingen. Het is de bedoeling dat je echt zou moeten kiezen. Ik heb er drie keer gaan we dit doen. Ik heb er een paar bedacht. We gaan beginnen met de eerste. We hebben het net ook al heel even over gehad. Onbeperkte vakantiedagen of vier uur werkdag? Vier uur werkdag. Waarom? Ik had vroeger onbeperkte vakantiedagen ingevoerd bij Method Me en Netflix en zo deden dat ook. Toen dacht iedereen dat is een cool idee. De anekdote is dat ze bij Netflix zeiden we tellen u al niet want we zijn remote en zo. Dus waarom zou je dan vakantiedagen nog tellen? Zei het mijn manager. Oh ja, goed idee man. En toen hebben heel veel bedrijven in Silicon Valley wat uitgedold. En toen kwamen iedereen op een gegeven moment achter dat om per vakantiedagen betekent je gaat op vakantie zoveel als de social pressure toelaat. En dat gaat vaak niet goed. Want dan wordt, als je collega maar vijf dagen is gegaan, dan voel jij je opgelaten als je zes dagen gaat. En dat heb ik bij waar ik werk niet echt fout zien gaan. Maar de verhalen op internet, op het internet, die waren nog schrijnender van mannen die van vrouwen naar een zorgschapsvlog zich daar niet in konden vinden, zeg maar. En dan een beetje zo gaan hinten naar wat je terug moet komen. Dus het geeft mensen veel meer duidelijkheid en veel meer zekerheid in plaats van peer pressure. Om gewoon echt die dagen als je 25 dagen hebt om gewoon 25 dagen lekker te pakken en je niet bezwaar te voelen omdat Pietje er maar tien heeft gepakt. Dus ja, onbepaalde vakantiedagen is een gevaald project. Nou heel duidelijk en ook, ja, ik kan me er ook helemaal in vinden. Sterker nog, ik heb dat ook gemerkt bij mijn vorige werkgever. Er werd op een gegeven moment ook gewoon geroepen van, jongens, check of iedereen zijn vakantiedagen heeft gebruikt want het is gewoon superbelangrijk, weet je wel. Ja, zeker, ja. En dan ook inderdaad rekening mee houden in de planning. Ja, dat was echt een management taak. Nou, mooi, mooi. Goed, was dus niet zo heel moeilijk, hè. Nou, kijken of we het toch een beetje moeilijker kunnen maken voor jou. De volgende. Word balance of live balance? Ja, ja, wat betekent het eigenlijk? Hoe ik het zou vertalen, maar dat is mijn interpretatie ervan, dus correct me if I'm wrong. Maar work balance is toch wel heel vaak, als je dat hebt, dan ben je toch wel, ja, hoe zeg je, een goeie vriend van, zeg maar, altijd, ik leef niet om te werken. Ja, maar work balance zou dus betekenen dat je toch, hè, dat je werk eigenlijk centraal staat in je leven. En live balance is dan, wat dat betreft, niet werk gerelateerd. Ja, wel live balance. Ja, het was eigenlijk ook al, nu ik de hele podcast heb aangehoord, zou ik dit een beetje open deur nu vinden inderdaad, want ik zou ook wel verwachten dat je live balance zou kiezen. Want je gaf het net zelf ook al aan in je voorbeeld van, volgens mij pak je zo een goede surfboard als het gaat stormen. Ja, we stimuleren iedereen op dat te doen, want dit is wel heel privileged, even voor alle duidelijkheid, dat wij in een positie zijn waar je niet überhaupt kan. Dus ik voel me verschrikkelijk bof dat wij in dit bedrijf dit allemaal zo kunnen doen. Maar wat ik wel zie is dat de mensen die bij ons komen werken, en die uit andere culturen komen, die zijn gewoon productiever, want ze zijn blijer. Dan komt het uiteindelijk gewoon onder aan de strikpapier. Alhoewel, kijk het is niks goeds of fouten. Want kijk, de mensen die work balance zouden kiezen, die hebben ook nog steeds een happy leven. Dan gaat het even niet om, maar het was wel even interessant om jou daar even in te challengeen. Want ja, ik ken ook wel iemand die vindt het gewoon geweldig om code te schrijven. Die leeft gewoon zijn leven op die manier. Ik heb ook het hele weekend op die kaitsessie daar zitten codeen. Voor mij is dat ook live. Ik vind dat heerlijk. Programmeren gewoon samen. Oké, goed. Gaan we door naar de laatste. Ik ben wel nieuwsgierig wat je zou antwoorden. Perren of solo'en? Solo. Ik ben niet zo'n Per fan. Ik weet niet, ik ben ook echt prototypisch iemand die zijn eentje beter nadenkt. Niet dat mijn ideeën beter zijn dan andere, maar gewoon ik vind het heel moeilijk om na te denken als mensen om me heen ideeën opperen. Ja, dat kwam ook misschien doordat, je zei het net zelf ook al, met dit acigrone communicatie. licht is het daarmee geïnspireerd. Ja, ik zie op Perren, we hebben ook mobben gedaan en zo, ik zie wel de voordelen ervan in hoor. Het heeft duidelijke upside, maar daar wordt heel probant van eigenlijk zelden geperd en nooit gemobbed. Ik zou misschien wel eens een keer weer kunnen introduceren gewoon te kijken of het aanslaat. Maar ook het zelf maar doen dat geeft heel veel plezier. Ja, ik heb ooit een keer een workshop gevolgd over mobprogramming van Woody Zell. Zat die gozer met de blauwe haar? Nee, nee, nee. Het is een oude man, redelijk ouderwet. Volgens mij is hij al gepensioneerd, denk ik. Hij vertelde mij dat hij was ook een keer CTO in zijn carrière. Hij heeft dit bij zijn bedrijf echt full time, dat was gewoon zijn, ja, ijs is het ook weer een beetje overdreven, maar iedereen geloofde daar heel erg in, in het bedrijf. En daar heeft hij dus nu verschillende workshops ook al in gegeven. Waar het om gaat is dat je met elkaar aan een hetzelfde probleem werkt. En dat hoeft niet altijd samen te zijn, maar dat je wel met elkaar begrijpt dat je aan hetzelfde doel werkt. Dat is volgens mij de stelling. Maar hij gaf wel aan, en dat merkte ik zelf ook wel. Het is wel heel vermoeiend. Ja, dat is ook mijn ervaring. Ja, dus je moet echt constant de rekening houden met ja, dat de ene misschien inderdaad gewoon wat minder snel is dan de ander. Maar goed, daar had hij altijd een hele simpele truc in, van jongens, stoppen, even stoppen, even naar buiten, weet je wel, en dan de energie weer pakken. Ja. Ja, het is voor mij ook, ik had heel erg gevoel dat ik, je hebt een mentaal, je leest in de klas een verhaal, ja, dan heb je een mental model. En als er dan iemand in gaat poken, dan kun je niet nadenken, want dan zit je te kijken naar die, dan wil je eigenlijk zelf wel nadenken over dat je, je kan gewoon niet, je kan gewoon niet te veel tegelijk hebben, denk ik. Ja, dat is ook een beetje de manier waarop je dat je informatie zou willen hebben. En jij Saber, wat zou jij kiezen, per of solo? Ik weet dat per kwalitatief beter software kan opleveren, ik ben alleen niet heel goed in, ik ben, als iemand bij mij meekijkt, zeg maar, als ik een type ben, dat werkt gewoon echt slecht. Nee. Alles gaat slechter, zeg maar, qua programmeren. Als ik naast iemand zit die zit te programmeren, dan ben ik waarschijnlijk misschien ook heel erg irritant. Maar dan, ja, dan heb je wel wat meer overzicht, zeg maar, het lijkt net of je dan een bird's eye view hebt. Ik weet niet hoe je dat moet beschrijven, dus je hebt meer afstand, zeg maar, van het programmeren. Ja, ik weet niet, dan denk je over andere dingen na. Dat vind ik dan weer wel werken. Dus ik vind het wel handig om af en toe gewoon samen achter een desktop te zitten en dan even, ja, als, misschien niet letterlijk programmeren altijd, maar wel even samen iets uitdenken dat je, ja, elkaar helpt, zeg maar, of ja, niet, hoe zeg je dat, de gedachten gaan wat meer synchroniseerd. Dus dat je, ja, in de maar ik kan niet zeggen dat ja solo, als ik zou moeten kiezen, zou ik zo solo kiezen, maar ik vind er zit heel veel waarde in per. Dus ja, ja, het is een beetje afhankelijk van de situatie merken ook wel. Als het echt gaat over kennis, inderdaad, kennis deling en borgen en dat soort dingen, dan is het misschien wel handig, inderdaad. Maar ik kan ook wel weer voorstellen wat Alix zegt, van dat je even in je eentje even wilt knallen met een lastig probleem of zo weet je al. En dan word je teveel gestoord door de andere gedachten flow's van teamleden. Wat op zich niet erg is, het kan ook een positieve impuls geven, maar het is net wat Alix net zegt. Op een gegeven moment kom je toch op het moment dat je denkt, nu kan ik het even niet hebben. Ik wil nu even mijn eigen gedachten op orde krijgen, voordat ik überhaupt andere man's gedachten kan begrijpen. En dat is wel lastig. Nou, oké. Nou, wat vond je ervan, Alix, met de Velper Dilemma's? Ja, goed te doen. Ja, dat dacht ik al. Bij deze vroeger bij Magnit niet, met de munzeltijd. Maar dat was nog een echt onzinige. Heel je leven natte sokken of altijd overal TL ligt? TL ligt. Oké, dat is makkelijk. Voor mij dan. In het begin hebben we wel van dat soort vergelijkingen gedaan. Mijn geest is wat zieker of zo. Of creatief. Laat het zo maar zeggen. Ik heb me weleens wat tegensteund. Die dan, maar goed. Ja, grappig. Cool. Ja, hartstikke leuk. Nou goed, dan gaan we door naar het volgende rubriekje. Dat is onze laatste rubriek. Dat zijn de tips en tricks. En van alles nog wat mixen werk. Ah goed, wat ik net ook al zo net zei in het andere gedeelte. Ik heb even mee zitten luisteren naar Alex en iedereen natuurlijk. En ik heb wat tips die jij sowieso tijdens het praten heb ik even opgeschreven. Dus Alex, ja, ik lees ze gewoon even voor en vul maar gewoon even aan. Ja, nou, je gaf aan in je verhaal dat je, ja, wat mij heel erg opvalt aan jouw CTO schap is, leiderschap staat best wel centraal. Heb je daar tips voor de luisteraars? Welke boeken heb je onlangs het laatst gelezen of welk artikel? Er zit een boek of je nou een leider wil worden of niet. Maar als je prongelijk tech lead wordt en alles wat daarna volgt, tech lead, daarna misschien engineering manager, daarna misschien whatever, tot CTO, dan is er één boek waarvan ik wens dat iemand met gewoon drie jaar geleden door de brievenbus had gedaan en dat is het boek The Manager's Path. Dat is echt het allerbeste boek wat er is voor engineering management. Het geeft namelijk gewoon super concrete tips van je kan met dit soort mensen te maken hebben, je hebt al dit soort situaties, je komt erachter dat je loonschalen nodig hebt in een start-up want je hebt niet gewoon van de corporate HR-afdeling die jou gewoon al een hele lekkere tablets geeft. Dus er zitten gewoon, je moet zoveel dingen uitgillen en dat is het meest vermoeiende aan dat werk. Maar of dat nou is, als je gewoon tech lead wordt voor het eerst, dan zijn er allerlei nieuwe dingen en voor elke stap zijn er allerlei nieuwe dingen. Dit boek is gewoon een handboek daarvoor en het is echt heel goed schreven. Ik heb het echt met veel plezier gewezen en er heel veel aan gehad. Dat is The Manager's Path. Die is eigenlijk weer gebaseerd op high output management. Dat is wat een klassieker boek. Dat is meer voor de doorgedinterde lezers die minder moeite hebben met boeken en dat is meer over running a business. Hoe ben je een goede directeur? Wat zit er allemaal bij? En dat haalt ook het vieze woord manager weg. Je zit veel in meetings omdat het een effectieve manier voor jou is om informatie te verhalen. Zo hoef je niet slechter af te voelen. Toch veel programmeurs, als ik in een meeting heb gezeten, heb ik niet gewerkt met dat idee. Even voor de notities, je zei high output management? High output management van Andrew Grove van Intel. En dan is er nog principles van Redelio. Dat vind ik een heel mooi boek omdat ik net als veel andere mensen, Redelio, heel erg naar dingen altijd kijk als een machine of als een systeem. Ik modeleer alles in mijn hoofd. Redelio is heel goed in het... Hij heeft eerste business en nu is hij het bedrijf en hij heeft er fantastische dingen mee gedaan. Dus dat vind ik een heel vet boek. En als je start-ups gaat doen en je denkt, oh, leuke start-ups, dat is goed voor mijn Instagram en voor mijn reputatie en dan krijg ik meer liefde en waardering uit mijn familie en het wordt allemaal heel gezellig. Nee, het wordt hartstikke kut. Het is echt heel hard werken. Alles je tegen, je hebt nooit geluk. Het is echt terror, maar heel rewarding. Als je niet bekend bent met dat concept en je wilt even een reality check, lees dan even The Hard Thing About Hard Things van die gozer van A16Z. Wie heette hij nou? Henry Snorowitz. Dat is waar start-ups echt zijn. Start-up bijvoorbeeld. Want bijna alle management boeken gaat over de happy path. Je moet nu mensenmanageren. Ze zijn helemaal heel blij. The Hard Thing About Hard Things is alles gaat naar de ballen. Je bent je bedrijf begonnen met je maat en nu heb je 25 man. Het lijkt dat hij geen people manager is, maar hij is wel de CEO. En hoe ga je daarmee om? Hoe doe je dat? Het zit helemaal vol met dat soort advies. Van Ben Horowitz. Klopt dat? Ben Horowitz, dat is hem. Ah, mooi. Anderson Horowitz is de firm. Super, bedankt voor deze tips. Je gaf ook aan dat je geleerd... Je hebt jezelf rust aangeleerd. Heb je daar misschien een leuke link of iets dergelijks hoe je het zou kunnen leren? De rustboek is gewoon het beste boek online, het is zelfs provided met de community. Ik heb die andere boek ook gezien. Ik vond zelf het online boek gewoon wat rust zelf provide het beste boek. De tip, de cruciale tip voor rust is denk niet dat je het in vier avonden leert. Neem maar gewoon echt de tijd voor. Het gaat heel frustrerend zijn. Je gaat een paar keyboards weggooien, maar het is so worth it. Zorg dat je, dat geldt echt voor alle hack projecten, maar zorg dat je iets bouwt. Dat je ergens naartoe werkt. Wat dan werkt aan het eind. Dus ik heb bijvoorbeeld een command line interface geschreven van onze eigen API. Zodat ik niet elke keer via de web interface dingen hoeven doen, maar gewoon lekker een sierlijke leidingen kan gebruiken. Dus dat is lekker achievable. Oké, cool. Even kijken. Je noemde ook een paar dingen tijdens je studie, je universiteiten studie, dat je wat publicaties had geschreven. Heb je dat nog ergens staan? Of is dat niet zo interessant om te delen? Als je mijn naam zoekt op Google Scholler, dan vind je ze gewoon. Dus ik heb er één over. Automated Browser Testing. Dat was mijn afsteerproject. Oh, dan ga ik die zeker even opzoeken, man. Ja. Ja, Crawljax heb ik aan gewerkt met Arie van Dursk. De eerste Java script in Nepal, de grootste data set. Ja, oké, zal ik doen. Nog even kijken. Nog iets anders, wat mij in ieder geval opviel, je had het over asynchrome communicatie. En ik merk dat je uit eigen ervaring praat. Maar heb je misschien ook ergens, heb je een artikel wat misschien dat verder uitlegt en wat het is en hoe je dat goed kan doen? Nee, niet zo. GitLab legt heel goed uit wat asynchrone... ...communicationen. Ja, asynchrone communication is waarom je het moet doen. Het staat allemaal op onze wiki, maar is niet public. Dus GitLab is de second best. Nee, de best eigenlijk. Ook Ivo's is de second best natuurlijk. Maar als je nou, als je denkt, als je dit zit te luisteren en je denkt, ja, dat is allemaal van wat management gelul. Dan zou ik je sterk aanraden om eens te kijken hoe bijvoorbeeld Javascript tot stand komt en Kubernetes. Dat gebeurt eigenlijk ook allemaal met RFC's. Daar hebben wij het ook van gejand. We zitten niet in een ander slot-management ding te doen, maar zo worden de grote projecten gerend. En die hebben allebei templates beschikbaar die gewoon heel goed zijn. Dus specifiek kijk naar die van ECMAScript, dat is de Javascript, en kijk naar die van Kubernetes. Die hebben hele goede voorbeelden en Python trouwens ook voor de PEP. Al die dingen die beginnen met PEP en nog een getal. Dat zijn ook RFC's. Dus Kubernetes RFC's? Ze heten overal net iets anders. Language Design Proposal Javascript en je had ook nog een andere genoemd. Kijken hoor, de laatste was Python. Request for comments betekent het meeste. En ik had ook dat gewoon puur voor mezelf. Ik heb hem ook al eens een keer eerder gebruikt als de Slack Donut Plugin. Sorry, de Coffee Donut Plugin was het. En die is ook altijd wel leuk om te gebruiken. Oké, mooi. Had je nog andere tips dat je denkt van nou dat wil ik echt nu delen? Ja, twee. Twee die ik echt vorige week, dit is echt een hele andere categorie, maar blew my mind. Ik had het ook op Twitter gezet. Vorige week legde mijn broertje uit dat je in kan stellen op je iPhone, dat als je twee keer op de achterkant tikt, of drie keer op de achterkant tikt, dat die dan een shortcut kan runnen. Dus nu kan ik in mijn huis drie keer tikken op de achterkant en dan gaan alle lichten aan. Dat is toch precies wat je wil. Niet naar Siri hoeven te bledden of weet ik voor wat. Dus je kan shortcuts enablen op je iPhone. Het zit onder de accessibility en dan de apps volgens mij. Ik heb het op mijn Twitter gekregen. Ik zat er in de show notes. Ja super. Ik heb je tweet inderdaad gezien. Ik zal wel even doorlinken. Toen bruce dat je terug zo had. Hoe wist ik het niet? Waarom zit dit niet in mijn onboarding? Ik had het geprobeerd, ben ik gewoon de easy way gegaan met Home Automation. Heb ik allerlei Ikea spullen nu, maar daar heb ik nog geen. Ik moet daar nog iets voor vinden, dat dat aan elkaar geconnected wordt. Oké, en je laatste tip? De laatste tip is iedereen kent inmiddels, hoop ik al, het belang van mediteren. Ik raad iedereen het aan om het heel vaak te doen. Het heeft allebei de alviel zelf benefits, maar de meeste mensen kennen Headspace natuurlijk. Headspace is heel nice, gebruik ik zelf ook heel veel en gaat heel rustig aan en is heel vergevend en gaat heel langzaam en dat is heel lekker. Maar er is ook eentje van Sam Harris, het zal voor sommige lessen wel bekend zijn. We zijn Happy Heats Waking Up. En dat is een soort hele technische approach op mediteren. En ik kan me voorstellen dat dat voor heel veel nerds klikt. Hij gaat gewoon rationeel door allerlei dingen heen, waardoor je veel sneller kunt leren en gaat. Dus dat is een hele vette app als je al wel eens hebt gemediteerd, het gemeditatie uit moet proberen of het al een tijdje niet hebt gedaan. Dus ik zou zeggen probeer de Waking Up app een keer. Alright, hij staat genoteerd. Thanks Alex. Saber, heb jij nog wat interessant? Ik heb één. Toevallig iets met Rust erin. Ik heb het nog niet geprobeerd, maar het spakt me wel aan. Dat is open source remote desktop software. Een beetje zoals TeamViewer, maar dan open source. Er is rustdesk. rustdesk.com daar kun je naartoe gaan. Op GitHub is ook die software te vinden. dat is wat meer controle. Met TeamViewer zijn er wel rare dingen gebeurd. Je weet niet. Je weet nooit hoe je het spul wilt vertrouwen. Natuurlijk kunnen er in open source ook heel gekke dingen erin gefietst worden. Maar ja, dat is de tip. Rustdesk. Dat komen in de show notes. Dat heeft dus niks met rust te maken. Volgens mij wel in rust geschreven. Oh, dat wel. Dat is zo'n rare naam. Nieuwal mooi. Het gaat echt een hit worden. Ik had een laatste, ik had hem al in de uitzending ook al een keertje genoemd. ApliTools. Het lijkt best wel veel op tijdens de aflevering zei Alex met die annotations in de image recognitions. ApliTools heeft ook zo'n tool gemaakt. Echt een IDE in de browser. Om plaatjes te anoteren. Dit mag wel meegenomen worden, dat niet. Daar kan je ook weer allerlei if- en el-statements op loslaten. Dus die wilde ik nog even noemen. Oké. Nou, mooi. Dat was hem weer Saber. Ja, was tof. Lang, maar tof. Ja, nee, was echt wel heel interessant. Dank je wel, Alex. Ja, ik vond het hartstikke leuk. Ik zou er nog uren over kunnen. We gaan nog wel een keer een marathon houden. Ja, precies, we gaan nog wel een keer een marathon houden. Ja, 24e podcast. Ja, precies. Nou, goed. In ieder geval, ja, nogmaals inderdaad bedankt, Alex. We hebben veel geleerd over de medische AI-driven automation. Wat ik persoonlijk ook heel erg leuk vond, is het aanhoren van de cultuur binnen pro-maton. Heb ik het goed uitgesproken? Ja, dank je wel. Oké, mooi. Dus ook alle cultuuraspecten voor een all-remote software ontwikkelbedrijf. Ja, ik heb er echt wel weer van genoten en het is inderdaad lang geweest, maar het was heel inspiratievol. Leuk dat je, ja, iedereen ook thuis, degenen die aan het luisteren zijn nu. Leuk dat je geluisterd hebt. We verwelkomen je nog steeds op onze website, codeklets.nl. ja, nogmaals zal Ves ook weer bedanken voor het mogen maken van de online opnames. En ja, ja, bedankt alweer en tot de volgende keer dan maar weer. Ja, tot de volgende keer. Doei, doei, doei.