S04·005Lake, warehouse of lakehouse? Mathijs Visscher en Nicky Boon over data engineering bij Stedin
Data engineering is misschien niet het meest zichtbare vakgebied, maar wel de fundering onder moderne dataplatformen en AI. Mathijs Visscher en Nicky Boon, allebei data platform engineer bij Stedin, vertellen Kishen en Saber hoe ze via psychologie in de data belandden, wat het verschil is tussen een data lake, warehouse en lakehouse, waarom ze bijna altijd voor batch kiezen en wat AI verandert aan hun werk.
Data engineering is misschien niet het meest zichtbare vakgebied, maar wel de fundering onder moderne dataplatformen en AI. Mathijs Visscher en Nicky Boon, allebei data platform engineer bij Stedin, vertellen Kishen en Saber hoe ze via psychologie in de data belandden, wat het verschil is tussen een data lake, warehouse en lakehouse, waarom ze bijna altijd voor batch kiezen en wat AI verandert aan hun werk.
- Mathijs Visscher · Tech Lead / Senior Data Platform Engineer
- Nicky Boon · Data Platform Engineer at Stedin
- Wat het verschil is tussen data engineer en platform engineer
- Hoe een data pipeline werkt van bron tot eindproduct
- Wanneer je kiest voor batch- of realtime dataverwerking
- Wat datalake, datawarehouse en lakehouse van elkaar onderscheidt
- Waarom je altijd moet testen voor je naar productie deployt
Data engineering may not be the most visible field, but it is the foundation under modern data platforms and AI. Mathijs Visscher and Nicky Boon, both data platform engineers at Stedin, talk with Kishen and Saber about getting into data via psychology, the toolbox (Python, Spark, SQL, Databricks, Fabric), data lake vs. warehouse vs. lakehouse, batch vs. real-time, data modelling and data quality, and how AI is changing the work of a data engineer.
Mathijs Visscher en Nicky Boon zijn allebei data platform engineer bij Stedin. Met Kishen en Saber praten ze over data engineering: de fundering onder moderne dataplatformen en AI. Want zonder goede data geen slimme AI.
Onderwerpen
- Van psychologie naar data: hoe Mathijs en Nicky in data engineering belandden
- Het verschil tussen data engineer, data scientist, data analist en data platform engineer
- De toolbox: Python, Spark, SQL, Databricks, Fabric en Snowflake
- Data lake, warehouse of lakehouse?
- Batch of realtime, en waarom je bijna altijd voor batch kiest
- Een datapipeline bouwen, datamodellen en normaliseren
- Datakwaliteit
- Stelling: iedereen wil AI, maar niemand wil eerst zijn data op orde brengen
- Testen en reviewen met AI
- De grootste dataramp: never deploy on Friday
De cloud reis van een overheidsinstelling met Pascal van der Horst en Dian van Heijningen
Bij Wigo4it hebben ze een aantal jaar geleden het besluit genomen om een migratie te doen naar de publieke cloud. In deze aflevering hebben we het uitgebreid over hoe Wigo4it dat heeft gedaan, en waarom ze een unieke organisatie binnen de overheid zijn.
Vierkante ogen: Felienne Hermans over hoe programmeurs naar de wereld kijken
Felienne Hermans is voor de derde keer te gast. Ze is hoogleraar vakdidactiek van de informatica aan de VU, docent informatica en auteur van The Programmer's Brain. Haar nieuwe boek Vierkante ogen, dat op 27 oktober verschijnt, gaat over de mensen die onze software maken: hoe denken programmeurs, waarom zien ze mensenproblemen zo slecht, en wat moet er anders in de opleiding? Ze praat met Kishen en Saber over Hedy in het Arabisch, de 'echte' informatica, ethiek en AI in het onderwijs.
Mila en Sammy over ontwikkelingen op VR-gebied, met een vleugje AI
Dit keer hebben we Mila en Sammy van Studio Vrij te gast. Samen met hen hebben we het over de ontwikkelingen op VR-gebied, het gebruik van AI en Project Chagrijnige Walter.
Van sceptisch tot enthousiast: AI en de toekomst van software development
Kishen, Ivo en Saber bespreken hoe AI software development op z'n kop zet. Van de ontslagen bij Tailwind tot de uitdagingen voor Stack Overflow: businessmodellen staan onder druk. Maar AI is ook een enorme versneller, wat vroeger dagen kostte, doe je nu in een uur. Ze duiken in vibe coding vs. agentic engineering, spec-driven development, Claude Code en de vraag of developers straks nog zelf code schrijven. Plus: tips en een sci-fi aanrader.