WEBVTT

1
00:00:13.996 --> 00:00:18.094
<v Kishen Simbhoedatpanday>Hey, hallo allemaal. Welkom bij een nieuwe aflevering van de CodeKlets podcast.

2
00:00:18.437 --> 00:00:22.285
<v Kishen Simbhoedatpanday>Gemaakt voor coders, voor coders en iedereen die interesse heeft in development.

3
00:00:22.547 --> 00:00:22.837
<v Saber Karmous>Ja.

4
00:00:23.005 --> 00:00:26.355
<v Kishen Simbhoedatpanday>Hey, vandaag gaan we het hebben over data engineering. Ja, het is misschien

5
00:00:26.355 --> 00:00:30.635
<v Kishen Simbhoedatpanday>het niet meest zichtbare vakgebied, maar wel volgens mij echt een belangrijke

6
00:00:30.635 --> 00:00:34.168
<v Kishen Simbhoedatpanday>fundering onder de moderne data platformen en AI oplossingen.

7
00:00:35.062 --> 00:00:39.645
<v Kishen Simbhoedatpanday>Ik zeg altijd maar zonder goede data geen slimme AI. En volgens mij is het de

8
00:00:39.645 --> 00:00:41.516
<v Kishen Simbhoedatpanday>tijd om er snel in te gaan duiken.

9
00:00:42.520 --> 00:00:45.075
<v Kishen Simbhoedatpanday>Maar dat gaan we gelukkig niet alleen doen, samen met z'n tweetjes.

10
00:00:45.075 --> 00:00:45.465
<v Saber Karmous>Ja, klopt.

11
00:00:46.074 --> 00:00:51.085
<v Kishen Simbhoedatpanday>We hebben twee hele goede data engineers weten te strikken.

12
00:00:52.181 --> 00:00:55.565
<v Mathijs Visscher>We zijn eigenlijk geen data engineers, hè, Kishen. Dat is een bommetje droppen.

13
00:00:56.985 --> 00:01:01.305
<v Kishen Simbhoedatpanday>Oeh, dat wordt echt zo. Ja, oké, dit wordt al meteen interessant.

14
00:01:01.305 --> 00:01:08.075
<v Kishen Simbhoedatpanday>Want we zien al meteen de interessante ontwikkelingen rondom data engineering

15
00:01:08.075 --> 00:01:10.155
<v Kishen Simbhoedatpanday>en de titels die er nu ontstaan.

16
00:01:10.155 --> 00:01:10.761
<v Mathijs Visscher>Volgens mij.

17
00:01:11.312 --> 00:01:15.515
<v Kishen Simbhoedatpanday>Maar ja, misschien is het wel beter als jullie jezelf even aankondigen dan.

18
00:01:15.515 --> 00:01:20.065
<v Kishen Simbhoedatpanday>Want ja, ik kan natuurlijk wel iets ervan maken. Maar misschien zou Mathijs

19
00:01:20.065 --> 00:01:22.127
<v Kishen Simbhoedatpanday>als eerst even kunnen beginnen met zichzelf voor te stellen.

20
00:01:22.295 --> 00:01:26.345
<v Mathijs Visscher>Zeker, ik ben Mathijs. Ik ben data platform engineer. En ik denk dat we er zo

21
00:01:26.345 --> 00:01:28.893
<v Mathijs Visscher>wel op terug gaan komen wat dan precies het verschil is.

22
00:01:29.340 --> 00:01:33.995
<v Mathijs Visscher>Vroeger bij vorige werkgevers en klanten wel data engineer geweest.

23
00:01:33.995 --> 00:01:35.933
<v Mathijs Visscher>Dus ik kan er wel wat over vertellen.

24
00:01:36.339 --> 00:01:39.107
<v Mathijs Visscher>En nu dus data platform engineer bij Stedin.

25
00:01:39.730 --> 00:01:43.730
<v Kishen Simbhoedatpanday>Ja, oké, mooi. Nou, dan heel erg benieuwd wat het verschil is, maar...

26
00:01:44.495 --> 00:01:46.637
<v Kishen Simbhoedatpanday>En we hebben ook nog een andere gast, Nicky Boon.

27
00:01:47.233 --> 00:01:51.036
<v Nicky Boon>Ja, dankjewel. Nicky is ook data platform engineer bij Stedin.

28
00:01:51.233 --> 00:01:54.727
<v Nicky Boon>En ook in een verleden wel ook als data engineer werkzaam geweest.

29
00:01:54.727 --> 00:01:56.461
<v Nicky Boon>Dus we weten wel het een en ander van.

30
00:01:57.156 --> 00:02:01.107
<v Nicky Boon>En ja, het is leuk om misschien dadelijk ook het verschil even een beetje toe te leggen.

31
00:02:01.107 --> 00:02:02.227
<v Saber Karmous>Ja, lijkt me wel zeker leuk.

32
00:02:02.527 --> 00:02:03.257
<v Kishen Simbhoedatpanday>Zeker interessant.

33
00:02:03.257 --> 00:02:05.191
<v Saber Karmous>Ik heb er gewoon helemaal geen verstand van.

34
00:02:05.324 --> 00:02:06.237
<v Kishen Simbhoedatpanday>Oeh, nou wie...

35
00:02:06.307 --> 00:02:07.207
<v Mathijs Visscher>Dan gaan we wat aan doen vandaag.

36
00:02:07.207 --> 00:02:07.687
<v Saber Karmous>Ja, precies.

37
00:02:07.787 --> 00:02:12.597
<v Kishen Simbhoedatpanday>Ja, absoluut. Nee, oké. Misschien, ja, zullen we gelijk induiken dan wat het verschil is?

38
00:02:12.597 --> 00:02:16.147
<v Saber Karmous>Nou, ik wil eigenlijk eerst nog even kijken hoe jullie, want wij zijn ook software

39
00:02:16.147 --> 00:02:20.467
<v Saber Karmous>ontwikkelaars, en ergens, want ik geloof niet dat als je geboren bent dat je

40
00:02:20.467 --> 00:02:21.970
<v Saber Karmous>denkt, nou, nu word ik data engineer.

41
00:02:22.423 --> 00:02:25.637
<v Saber Karmous>Dus je bent er op een of andere manier ingerold. Ik weet niet wie daar iets

42
00:02:25.637 --> 00:02:28.890
<v Saber Karmous>over wil vertellen. Hoe ben je hiertoe gekomen?

43
00:02:29.012 --> 00:02:33.127
<v Nicky Boon>Ja, nee, ik zou wel eerlijk bekennen, het stond niet vroeger in mijn vriendenboekjes

44
00:02:33.127 --> 00:02:37.997
<v Nicky Boon>van, wat je wil je later worden, dat ik dacht van, nou, data platform engineer, dat wordt hem.

45
00:02:37.997 --> 00:02:41.407
<v Mathijs Visscher>Dat je als klein mannetje bij iemand op kantoor ging kijken die data-engineerde was.

46
00:02:42.427 --> 00:02:43.367
<v Nicky Boon>Met een tekening.

47
00:02:43.367 --> 00:02:44.047
<v Mathijs Visscher>Met een tekening.

48
00:02:45.387 --> 00:02:48.777
<v Nicky Boon>Mijn verhaal is eigenlijk, ik ben ooit, toen ik begon met studeren,

49
00:02:48.777 --> 00:02:50.094
<v Nicky Boon>ben ik psychologie gaan studeren.

50
00:02:50.796 --> 00:02:53.245
<v Nicky Boon>...vanuit dat ik niet zo goed wist wat ik met mezelf aan moest...

51
00:02:53.345 --> 00:02:53.445
<v Saber Karmous>...en.

52
00:02:53.977 --> 00:02:55.755
<v Nicky Boon>Dat wel interessant vond. Ik dacht van, nou, dat zie ik wel,

53
00:02:55.755 --> 00:02:57.925
<v Nicky Boon>want als ik het toch niet weet... ...dan kan ik net zo goed alles gaan doen...

54
00:02:57.945 --> 00:02:58.885
<v Nicky Boon>...in ieder geval iets wat ik leuk vind.

55
00:03:00.002 --> 00:03:03.455
<v Nicky Boon>Daar kwam ik er vrij snel achter dat ik... ...vooral de statistiek en de wiskundekant

56
00:03:03.455 --> 00:03:06.485
<v Nicky Boon>heel leuk vond. Dus een beetje die afslag genomen binnen psychologie...

57
00:03:06.565 --> 00:03:08.738
<v Nicky Boon>...en daarna richting data science doorgeschot.

58
00:03:09.354 --> 00:03:12.088
<v Nicky Boon>En daar ga je natuurlijk vrij snel van statistische modellen...

59
00:03:12.662 --> 00:03:14.095
<v Nicky Boon>...waar je nog wat dingen kan klikken...

60
00:03:14.165 --> 00:03:18.385
<v Nicky Boon>...waar dan al wat code onderhangt... ...naar zelf modellen schrijven.

61
00:03:19.145 --> 00:03:23.325
<v Nicky Boon>En eigenlijk op die manier is het met coderen in aanraking gekomen.

62
00:03:24.065 --> 00:03:28.135
<v Nicky Boon>In eerste instantie vooral coderen in R. Dat wordt wat meer in de wetenschappelijke

63
00:03:28.135 --> 00:03:33.345
<v Nicky Boon>wereld gebruikt. En later Python. En vanaf daar is het eigenlijk een soort van

64
00:03:33.345 --> 00:03:37.005
<v Nicky Boon>glijdende schaal natuurlijk. Dan zak je steeds dieper weg.

65
00:03:37.601 --> 00:03:41.765
<v Nicky Boon>Eerst schrijf je een simpel programmaatje om een kerstboompje in Python te maken.

66
00:03:42.085 --> 00:03:45.735
<v Nicky Boon>En vervolgens zit je hiermee met

67
00:03:45.735 --> 00:03:49.585
<v Nicky Boon>van alles bezig. Dus ja, zo doen we dat eigenlijk gewoon vanuit studie.

68
00:03:49.585 --> 00:03:50.303
<v Saber Karmous>Ja, cool.

69
00:03:51.415 --> 00:03:52.095
<v Kishen Simbhoedatpanday>En jij Mathijs?

70
00:03:52.095 --> 00:03:54.265
<v Mathijs Visscher>Ja, eigenlijk best wel vergelijkbaar. Dus dat is een beetje saai.

71
00:03:54.265 --> 00:03:58.425
<v Kishen Simbhoedatpanday>Maar ook niet weten wat je met jezelf aan moest en psychologie gaan studeren?

72
00:03:58.425 --> 00:04:04.785
<v Mathijs Visscher>Nou, ongeveer wel eigenlijk. Ik heb zelf psychology en technology op de TU Eindhoven

73
00:04:04.785 --> 00:04:06.405
<v Mathijs Visscher>gestudeerd. Dus het lijkt er eigenlijk best wel veel op.

74
00:04:06.886 --> 00:04:10.755
<v Mathijs Visscher>Ook een soort van de studiekeuze gemaakt doordat ik op de website van de Technische

75
00:04:10.755 --> 00:04:12.939
<v Mathijs Visscher>Universiteit Eindhoven ging kijken. En het doorlas en dacht,

76
00:04:13.195 --> 00:04:15.661
<v Mathijs Visscher>psychologie met een beetje techniek en programmeren.

77
00:04:17.373 --> 00:04:23.475
<v Mathijs Visscher>...en toen ook geprogrammeerd. Ik had gelijk in het eerste kwartiel object-oriented Java programmeren.

78
00:04:23.921 --> 00:04:26.745
<v Mathijs Visscher>Het was het eerste jaar dat de studie in het Engels was...

79
00:04:26.845 --> 00:04:30.225
<v Mathijs Visscher>...en die leraar die dat gaf, die kon helemaal geen Engels. Dat is wat ik er

80
00:04:30.225 --> 00:04:32.245
<v Mathijs Visscher>nog van weet. En ik vond het vak helemaal vreselijk. Ik dacht echt,

81
00:04:32.245 --> 00:04:33.128
<v Mathijs Visscher>ik wil helemaal niet programmeren.

82
00:04:33.569 --> 00:04:36.475
<v Mathijs Visscher>Maar ja, op een gegeven moment meer en meer gaan doen. Ik vond de statistische

83
00:04:36.475 --> 00:04:41.095
<v Mathijs Visscher>vakken ook heel interessant... ...toen ook daarom omgeschoold naar richting data science...

84
00:04:41.880 --> 00:04:46.399
<v Mathijs Visscher>Toen geprobeerd solliciteren als data scientist. Maar toen kwam je er toch achter

85
00:04:46.399 --> 00:04:48.863
<v Mathijs Visscher>dat er veel meer te doen was in data engineering.

86
00:04:49.310 --> 00:04:52.462
<v Mathijs Visscher>En toen, nou ja, vind je ook in de data engineering terechtgekomen.

87
00:04:52.851 --> 00:04:53.612
<v Kishen Simbhoedatpanday>Oh, wauw, ja.

88
00:04:54.297 --> 00:04:56.849
<v Saber Karmous>Vergelijkbaar pad, ja. Ja, wat interessant.

89
00:04:56.849 --> 00:04:58.299
<v Mathijs Visscher>Dat is ook een van ons tweeën kunnen uitnouden.

90
00:04:58.299 --> 00:05:03.119
<v Kishen Simbhoedatpanday>Inderdaad. Nu denk ik wel van, jeetje, there goes the diversity. Nee,

91
00:05:05.354 --> 00:05:09.319
<v Kishen Simbhoedatpanday>maar je noemt echt wel een paar dingen al, weet je. Je noemt data science,

92
00:05:09.319 --> 00:05:12.579
<v Kishen Simbhoedatpanday>data engineering hebben we het net ook genoemd. En ik mis er eentje. Wat heb je nog meer?

93
00:05:13.359 --> 00:05:14.981
<v Kishen Simbhoedatpanday>Wat je met data allemaal niet kan doen.

94
00:05:16.009 --> 00:05:19.370
<v Kishen Simbhoedatpanday>Je hebt data-analysten natuurlijk. Daarna data-analysten.

95
00:05:19.794 --> 00:05:24.142
<v Kishen Simbhoedatpanday>Voor degene die echt nu helemaal nieuw in de wereld van data rollen,

96
00:05:24.142 --> 00:05:27.617
<v Kishen Simbhoedatpanday>zouden we misschien die rollen kunnen uitleggen? Even heel kort.

97
00:05:28.566 --> 00:05:32.312
<v Mathijs Visscher>Ja, dus een data-engineer die maakte dataproducten.

98
00:05:32.312 --> 00:05:39.762
<v Mathijs Visscher>Dus die zorgde ervoor dat de rauwe brondata opgewerkt wordt tot data waar je

99
00:05:39.762 --> 00:05:41.132
<v Mathijs Visscher>ook daadwerkelijk iets mee kan.

100
00:05:41.132 --> 00:05:46.732
<v Mathijs Visscher>Dus als je een AI-model wil gaan laten draaien op data die niet geëngineerd

101
00:05:46.732 --> 00:05:47.939
<v Mathijs Visscher>is, om het maar even zo te zeggen.

102
00:05:48.357 --> 00:05:50.517
<v Mathijs Visscher>Ja, dan zeggen ze altijd shit in, shit out.

103
00:05:51.622 --> 00:05:56.124
<v Mathijs Visscher>Dat gaat niet werken. Er zitten misschien duplicaten in, er zitten velden in die niet kloppen.

104
00:05:56.810 --> 00:05:59.802
<v Mathijs Visscher>Nee, er zijn heel veel manieren, heel veel dingen die niet goed kunnen zijn

105
00:05:59.802 --> 00:06:06.466
<v Mathijs Visscher>aan de data. Dus wat een data engineer doet, die verrijkt, combineert, engineert dus de data.

106
00:06:06.884 --> 00:06:10.618
<v Mathijs Visscher>En vervolgens kan dus of een analist of een data scientist, kan er mee aan de slag.

107
00:06:10.961 --> 00:06:14.798
<v Mathijs Visscher>En de grap is een beetje van het pad van wat Nicky en ik allebei soort van bewandeld hebben.

108
00:06:15.077 --> 00:06:19.036
<v Mathijs Visscher>Als je data science als studie doet, dan heb je dus altijd al een perfecte dataset.

109
00:06:19.146 --> 00:06:22.482
<v Mathijs Visscher>En als je dan vervolgens in het werkveld terechtkomt, dan kom je erachter dat

110
00:06:22.482 --> 00:06:23.622
<v Mathijs Visscher>de wereld niet zo in elkaar zit.

111
00:06:24.022 --> 00:06:27.752
<v Nicky Boon>Daar waarschuw je je wel altijd voor op je studie. Van hé, zo is het niet in het echt.

112
00:06:27.752 --> 00:06:30.322
<v Mathijs Visscher>Nee, perfect Excel-etje, dat krijg je niet.

113
00:06:30.322 --> 00:06:31.822
<v Nicky Boon>Bedankt, nu ben ik goed voorbereid.

114
00:06:31.822 --> 00:06:33.062
<v Mathijs Visscher>Ja, precies.

115
00:06:34.622 --> 00:06:36.345
<v Kishen Simbhoedatpanday>Ja, dus nu ben je echt aan het leren.

116
00:06:37.239 --> 00:06:38.702
<v Nicky Boon>Ja, alleen nu doe ik geen data science meer.

117
00:06:38.702 --> 00:06:49.204
<v Kishen Simbhoedatpanday>Nou, ja, ja, ja. Nee, snap ik. Is het ook een vak wat echt belangrijk is in de AI? Data science?

118
00:06:50.162 --> 00:06:55.422
<v Kishen Simbhoedatpanday>Waar je in zou moeten duiken om misschien met AI het ene en ander goed te kunnen begrijpen...

119
00:06:56.850 --> 00:06:57.765
<v Kishen Simbhoedatpanday>En uit te kunnen voeren.

120
00:06:57.765 --> 00:06:59.685
<v Mathijs Visscher>Ja, ik denk dat het nu een beetje een ingewikkelde discussie wordt.

121
00:06:59.685 --> 00:07:02.545
<v Mathijs Visscher>Wat nou het verschil is tussen AI, data science en machine learning.

122
00:07:02.545 --> 00:07:05.875
<v Mathijs Visscher>Ik denk dat we daar een beetje voor op moeten passen.

123
00:07:06.195 --> 00:07:07.148
<v Saber Karmous>Ja, dat denk ik.

124
00:07:07.363 --> 00:07:10.807
<v Mathijs Visscher>Maar je bedoelt met de vraag, is data engineering belangrijk voor?

125
00:07:11.097 --> 00:07:14.395
<v Kishen Simbhoedatpanday>Nou, kijk, weet je. Data science is natuurlijk ook een manier om,

126
00:07:16.635 --> 00:07:21.485
<v Kishen Simbhoedatpanday>je informatie te analyseren. Het is misschien ook wel te structureren,

127
00:07:21.485 --> 00:07:23.881
<v Kishen Simbhoedatpanday>denk ik. Want wat leer je daar over het algemeen?

128
00:07:24.084 --> 00:07:28.615
<v Mathijs Visscher>Bij de data science. Dat gaat echt voornamelijk over machine learning.

129
00:07:28.615 --> 00:07:30.064
<v Mathijs Visscher>Wel voor een heel groot gedeelte.

130
00:07:30.261 --> 00:07:34.915
<v Mathijs Visscher>Ook wel wat andere. Maar dat is echt aan het einde van de keten.

131
00:07:34.915 --> 00:07:37.569
<v Mathijs Visscher>Dus we hadden ook wel wat data visualization. Dat hadden wij op zich ook wel.

132
00:07:38.027 --> 00:07:43.246
<v Mathijs Visscher>We hadden wat process mining. Waarin je door event data bepaalde inzichten gaat verkrijgen.

133
00:07:43.664 --> 00:07:47.025
<v Mathijs Visscher>Maar het grootste gedeelte is toch wel de klassieke machine learning.

134
00:07:47.025 --> 00:07:51.755
<v Mathijs Visscher>Waarin je dus decision trees en de key nearest neighbors. Al die klassieke machine

135
00:07:51.755 --> 00:07:54.205
<v Mathijs Visscher>learning modellen. Uiteindelijk ook iets van neurale netwerken.

136
00:07:54.438 --> 00:07:57.375
<v Mathijs Visscher>Nou, ik kan me voorstellen dat ze nu ook veel over LLMs...

137
00:07:57.955 --> 00:08:00.747
<v Mathijs Visscher>ook, nou ja, wat de wiskunde daarachter is en dat soort dingen.

138
00:08:01.455 --> 00:08:07.125
<v Mathijs Visscher>Dus echt de wetenschap achter al die, ja, datamodellen, data, et cetera, et cetera.

139
00:08:07.125 --> 00:08:10.025
<v Nicky Boon>Ja, misschien om het nog iets platter te slaan voor mensen die denken...

140
00:08:10.035 --> 00:08:12.685
<v Nicky Boon>god, ik heb geen idee wat al die modellen ook betekenen. Want dat,

141
00:08:12.685 --> 00:08:14.551
<v Nicky Boon>ja, dat je natuurlijk gestudeert.

142
00:08:15.433 --> 00:08:18.195
<v Nicky Boon>Maar Datasite is vaak, zeg maar, zeker met die modellen bezig...

143
00:08:18.295 --> 00:08:22.945
<v Nicky Boon>om de toekomst te voorspellen. Althans modellen maken om te voorspellen wat

144
00:08:22.945 --> 00:08:25.850
<v Nicky Boon>er gaat gebeuren. Of dat nou is wanneer mensen iets gaan kopen of whatever.

145
00:08:26.355 --> 00:08:29.485
<v Nicky Boon>Terwijl om nog ook op je eerder vraag terug te komen. Een analist kijkt eigenlijk

146
00:08:29.485 --> 00:08:32.495
<v Nicky Boon>altijd naar het verleden. Die kijkt wat heeft daar plaatsgevonden.

147
00:08:33.535 --> 00:08:34.976
<v Nicky Boon>Die probeert dat te structureren.

148
00:08:36.569 --> 00:08:41.549
<v Kishen Simbhoedatpanday>Ja, inderdaad. En je zei het net ook al, dus de data-engineer is over het algemeen

149
00:08:41.549 --> 00:08:46.209
<v Kishen Simbhoedatpanday>dan bezig om de data dan verder te verrijken. Is dat zijn enige doel?

150
00:08:47.009 --> 00:08:52.044
<v Kishen Simbhoedatpanday>Maar wat zijn dan nog meer dingen die een data-engineer doet en waarom het zo belangrijk is?

151
00:08:52.679 --> 00:08:57.009
<v Nicky Boon>Het is een beetje als een soort van de infrastructuur of zo.

152
00:08:58.189 --> 00:09:01.259
<v Nicky Boon>Je hebt natuurlijk ook echt de platformengineering, echt de infrastructuur van

153
00:09:01.259 --> 00:09:07.679
<v Nicky Boon>een dataplatform, maar je maakt eigenlijk gewoon de gebaande paden voor die

154
00:09:07.679 --> 00:09:09.429
<v Nicky Boon>data scientist en die data analyst.

155
00:09:09.429 --> 00:09:16.109
<v Nicky Boon>Dus je probeert gewoon hele bronnen van data te ontsluiten en kwaliteit te checken,

156
00:09:16.689 --> 00:09:18.789
<v Nicky Boon>normaliseren, om nog maar weer een term erin te gooien.

157
00:09:19.512 --> 00:09:24.719
<v Nicky Boon>om het schoon te maken, te verrijken misschien. Dus het is wel breder dan wat,

158
00:09:24.719 --> 00:09:28.002
<v Nicky Boon>maar ook verschillend per use case.

159
00:09:28.443 --> 00:09:31.679
<v Mathijs Visscher>Ja, vaak moeten ze het ook in een bepaald model toebrengen. Dus je hebt natuurlijk

160
00:09:31.679 --> 00:09:34.642
<v Mathijs Visscher>allerlei bronnen en data, maar dat betekent niet dat dat ook...

161
00:09:35.717 --> 00:09:39.000
<v Mathijs Visscher>Aan de eindketen moet die data er misschien heel anders qua model ook uitzien.

162
00:09:39.000 --> 00:09:43.750
<v Mathijs Visscher>Dus een data scientist die modellen maakt, die wil vaak een platte tabel hebben.

163
00:09:43.750 --> 00:09:48.090
<v Mathijs Visscher>Maar een analist die rapportages maakt, die wil vaak een ster model hebben,

164
00:09:48.090 --> 00:09:50.203
<v Mathijs Visscher>die dus meerdere bronnen weer combineert.

165
00:09:50.517 --> 00:09:54.790
<v Mathijs Visscher>Dus dat is dan ook de taak van de data engineer om het fit for purpose te krijgen.

166
00:09:55.350 --> 00:10:00.275
<v Mathijs Visscher>Dat je de data zo aanlevert, zodat ze verderop in de keten er ook echt iets mee kunnen.

167
00:10:00.473 --> 00:10:01.657
<v Kishen Simbhoedatpanday>Ja, leuk.

168
00:10:01.965 --> 00:10:06.180
<v Saber Karmous>Maar is er in jullie geval wel een overlap, zeg maar, of is dat niet?

169
00:10:06.180 --> 00:10:08.760
<v Saber Karmous>Of is het gewoon echt wel een best wel een harde scheiding?

170
00:10:09.114 --> 00:10:14.141
<v Saber Karmous>Dus dat tussen data engineering en de science die erna komt? Of valt dat mee?

171
00:10:14.512 --> 00:10:16.180
<v Mathijs Visscher>Ja, wij zijn dus weer data platform.

172
00:10:16.180 --> 00:10:16.670
<v Saber Karmous>Ja, absoluut.

173
00:10:16.750 --> 00:10:20.280
<v Mathijs Visscher>Om het weer eens van nog verwarrender te maken. Misschien handig dat we daar

174
00:10:20.280 --> 00:10:21.350
<v Mathijs Visscher>iets over willen. Ja, precies.

175
00:10:21.350 --> 00:10:22.930
<v Saber Karmous>Begin daar maar mee. Ja, dat is wel handig.

176
00:10:22.930 --> 00:10:27.830
<v Mathijs Visscher>Ja, dus wat je... Misschien leuk om met een voorbeeld dat aan te geven.

177
00:10:27.830 --> 00:10:31.630
<v Mathijs Visscher>Maar wat je veel bij bedrijven ziet, waar ze niet echt data platform engineering

178
00:10:31.630 --> 00:10:34.480
<v Mathijs Visscher>doen, is dat eigenlijk alle teams wat data engineers hebben,

179
00:10:34.480 --> 00:10:36.361
<v Mathijs Visscher>die maken eigenlijk allemaal hun eigen platformpje.

180
00:10:36.785 --> 00:10:39.180
<v Mathijs Visscher>En dan krijg je dus binnen een grote bedrijven dat je wel tien,

181
00:10:39.180 --> 00:10:41.450
<v Mathijs Visscher>twintig verschillende data platformpjes hebt.

182
00:10:41.450 --> 00:10:46.048
<v Mathijs Visscher>En wat we bij Stedin in ieder geval proberen, omdat we dus ook een data platform

183
00:10:46.402 --> 00:10:50.070
<v Mathijs Visscher>afdeling hebben, proberen we één data platform te bouwen om dus ervoor te zorgen

184
00:10:50.070 --> 00:10:52.610
<v Mathijs Visscher>dat die data engineers allemaal een beetje op dezelfde manier werken.

185
00:10:53.083 --> 00:10:58.060
<v Mathijs Visscher>Dus wij maken eigenlijk de patronen, de herbruikbare patronen die de data engineers

186
00:10:58.060 --> 00:11:00.394
<v Mathijs Visscher>kunnen gebruiken om hun data engineering te doen.

187
00:11:01.235 --> 00:11:05.500
<v Mathijs Visscher>Dus ja, dan voorkom je dat, nou Pietje wil misschien graag met tool A werken,

188
00:11:05.860 --> 00:11:08.540
<v Mathijs Visscher>maar Henk die wil weer met tool B werken.

189
00:11:08.540 --> 00:11:13.290
<v Mathijs Visscher>En bij de ene team gebruiken ze de ene strategie om hun deployments,

190
00:11:13.290 --> 00:11:16.602
<v Mathijs Visscher>dus om hun releases en dat soort dingen te kunnen doen.

191
00:11:17.120 --> 00:11:19.940
<v Mathijs Visscher>Als je dat allemaal gelijk trekt, dan kan het ook efficiënter zijn.

192
00:11:19.940 --> 00:11:22.480
<v Mathijs Visscher>Dan hoeft een data engineer alleen nog maar te data engineeren en eigenlijk

193
00:11:22.480 --> 00:11:24.250
<v Mathijs Visscher>niet meer over dat onderliggende na te denken.

194
00:11:24.250 --> 00:11:28.160
<v Saber Karmous>Ja, ik snap hem. Ja. Ja, dat is eigenlijk hetzelfde. software development platform

195
00:11:28.160 --> 00:11:29.169
<v Saber Karmous>engineering is hetzelfde.

196
00:11:29.680 --> 00:11:33.780
<v Saber Karmous>Die zorgen dat ze een platform aanbieden, uitrollen, securities bij ons.

197
00:11:34.160 --> 00:11:35.380
<v Saber Karmous>Ja, het zal bij jullie ook zo zijn.

198
00:11:36.340 --> 00:11:42.150
<v Saber Karmous>Dat soort regels die worden daarmee gewaarborgd. Ja, oké, die bedrijf ik.

199
00:11:42.150 --> 00:11:46.550
<v Kishen Simbhoedatpanday>En hoe word je eigenlijk dan zo'n platform engineer?

200
00:11:46.963 --> 00:11:47.860
<v Nicky Boon>Psychologie studeren.

201
00:11:48.180 --> 00:11:51.720
<v Kishen Simbhoedatpanday>Ja, blijkbaar wel. Hij heeft er echt veel mee te maken.

202
00:11:51.720 --> 00:11:55.696
<v Nicky Boon>Ja, hij wordt volgens mij helemaal gek, denk ik. Ja, hoe word je dat?

203
00:11:56.137 --> 00:11:57.520
<v Mathijs Visscher>Hoe kom je er niet vanaf? Kun je beter afdragen?

204
00:11:57.520 --> 00:11:58.460
<v Nicky Boon>Dat is misschien beter afdragen, ja.

205
00:11:59.280 --> 00:11:59.860
<v Kishen Simbhoedatpanday>Is dat zo?

206
00:11:59.860 --> 00:12:00.870
<v Mathijs Visscher>Nee, nee, nee.

207
00:12:00.870 --> 00:12:04.300
<v Nicky Boon>Nee, ik denk wel dat er zit wel een bepaalde overlap in een soort van...

208
00:12:04.320 --> 00:12:05.940
<v Nicky Boon>Natuurlijk dat je iets van een

209
00:12:05.940 --> 00:12:10.080
<v Nicky Boon>technische achtergrond en daar wat voor interesse in ieder geval aan hebt.

210
00:12:10.853 --> 00:12:13.600
<v Nicky Boon>En ik denk toch wel, wat ik een beetje afgelopen jaren zie, het trekt wel altijd

211
00:12:13.600 --> 00:12:18.604
<v Nicky Boon>een soort van zelfde type mensen die toch wel bepaalde interesse in ieder geval hebben in...

212
00:12:21.130 --> 00:12:24.353
<v Nicky Boon>Bepaalde mate dus van hoe technisch iets moet zijn. Dus dat ze bijvoorbeeld,

213
00:12:24.940 --> 00:12:28.570
<v Nicky Boon>analistenwerk te makkelijk of te saai vinden.

214
00:12:28.890 --> 00:12:33.020
<v Nicky Boon>En toch wel een soort van een uitdaging zoeken in wat ingewikkeldere,

215
00:12:33.020 --> 00:12:37.974
<v Nicky Boon>complexere puzzels. Want dat is toch een beetje puzzelen met vrij directe feedback.

216
00:12:38.341 --> 00:12:41.006
<v Nicky Boon>Best praktisch werk voor achter een computer zitten.

217
00:12:41.930 --> 00:12:47.270
<v Nicky Boon>Dus ja, ik denk dat dat misschien voorspellende factoren zou kunnen zijn. Hoe je het verder wordt.

218
00:12:47.653 --> 00:12:50.010
<v Nicky Boon>Want ja, er is zover ik weet geen data engineering opleiding.

219
00:12:50.010 --> 00:12:53.120
<v Nicky Boon>Dus misschien op tolge school inmiddels, maar dat weet ik niet.

220
00:12:53.120 --> 00:12:54.350
<v Saber Karmous>Maar ik trouw dat dat ook echt niet.

221
00:12:54.350 --> 00:12:58.310
<v Mathijs Visscher>Misschien een bepaalde specialisatie of zo, dat bij informatica.

222
00:12:58.770 --> 00:13:02.620
<v Mathijs Visscher>Maar nee, dat zou ik ook niet weten. Maar wat je wel bij ons in team ziet,

223
00:13:02.620 --> 00:13:04.828
<v Mathijs Visscher>is dat er eigenlijk twee routes zijn.

224
00:13:05.014 --> 00:13:09.780
<v Mathijs Visscher>Of je bent eerst data engineer en vindt eigenlijk dat platformgedeelte het leukste.

225
00:13:09.780 --> 00:13:13.290
<v Mathijs Visscher>Misschien veel hebben ook bij een klant als data engineer gezeten en hielden

226
00:13:13.290 --> 00:13:16.170
<v Mathijs Visscher>zich eigenlijk ook bezig met, nou dan vaak een wat kleiner platformpje.

227
00:13:16.570 --> 00:13:20.370
<v Mathijs Visscher>En vinden vooral echt de inhoudelijke data niet zo heel erg interessant,

228
00:13:20.370 --> 00:13:24.929
<v Mathijs Visscher>maar voornamelijk de deploymentstraat die ze dan hebben opgezet en,

229
00:13:26.930 --> 00:13:31.941
<v Mathijs Visscher>de tools die eronder liggen. Dus de databricks of de fabrics komen misschien zo nog op.

230
00:13:32.484 --> 00:13:35.590
<v Mathijs Visscher>Dus uit die hoek is denk ik ongeveer de helft van ons team, dus meer is data

231
00:13:35.590 --> 00:13:39.099
<v Mathijs Visscher>engineer dan de data platform engineer geworden. En we hebben ook wat mensen die meer eigenlijk...

232
00:13:39.447 --> 00:13:43.980
<v Mathijs Visscher>meer gewoon eigenlijk DevOps engineer zijn... of software gemaakt hebben...

233
00:13:44.030 --> 00:13:49.040
<v Mathijs Visscher>of veel met Kubernetes bijvoorbeeld hebben gewerkt... veel met deployment pipelines.

234
00:13:49.040 --> 00:13:52.369
<v Mathijs Visscher>Dat soort dingen dat ze meer vanuit die hoek komen. Dus iets minder vanuit de data hoek.

235
00:13:52.723 --> 00:13:55.470
<v Mathijs Visscher>En dat is eigenlijk een beetje de... en die mix proberen we ook altijd wel een

236
00:13:55.470 --> 00:13:57.530
<v Mathijs Visscher>beetje te houden. Je wil toch wel als data platform engineer...

237
00:13:57.610 --> 00:13:58.772
<v Mathijs Visscher>in ieder geval een paar mensen wel hebben...

238
00:13:59.068 --> 00:14:02.216
<v Mathijs Visscher>die ook data engineer zijn geweest. Ik vergelijk het altijd met...

239
00:14:02.837 --> 00:14:05.670
<v Mathijs Visscher>als je een auto produceert... maar je kan niet auto rijden. Ja,

240
00:14:05.670 --> 00:14:06.370
<v Mathijs Visscher>dat is toch gewoon handig.

241
00:14:06.710 --> 00:14:11.110
<v Mathijs Visscher>Je wil wel in ieder geval gereden hebben om te weten hoe je een auto moet bouwen.

242
00:14:11.550 --> 00:14:12.650
<v Mathijs Visscher>Dat is met dit ook een beetje.

243
00:14:13.110 --> 00:14:13.715
<v Kishen Simbhoedatpanday>Ja, ja.

244
00:14:14.741 --> 00:14:15.917
<v Kishen Simbhoedatpanday>Oké, en,

245
00:14:18.276 --> 00:14:22.964
<v Kishen Simbhoedatpanday>wat is nou de toolbox voor een data engineer? Voor de mensen die misschien denken,

246
00:14:22.964 --> 00:14:26.955
<v Kishen Simbhoedatpanday>oh misschien wel een leuk vak om in te duiken. Wat zou een goede toolbox zijn?

247
00:14:27.450 --> 00:14:32.437
<v Mathijs Visscher>Ja, er wordt veel in Python geschreven als we beginnen bij de programmeertaler.

248
00:14:33.406 --> 00:14:38.354
<v Mathijs Visscher>Eigenlijk de meeste tools maken wel van iets van Spark gebruikt.

249
00:14:38.354 --> 00:14:42.994
<v Mathijs Visscher>Dus dat is de engine die de dataverwerking eigenlijk gaat doen.

250
00:14:43.927 --> 00:14:47.584
<v Mathijs Visscher>Dus ja, de meeste data engineers die werken dan met Python en Spark,

251
00:14:47.584 --> 00:14:49.412
<v Mathijs Visscher>wat dan PySpark genoemd wordt.

252
00:14:49.871 --> 00:14:53.954
<v Mathijs Visscher>Vaak in notebooks. Eigenlijk ook vanaf de studie deden wij ook al heel veel

253
00:14:53.954 --> 00:14:57.334
<v Mathijs Visscher>met notebooks. En dat is voor data engineering eigenlijk niet anders.

254
00:14:57.334 --> 00:14:59.456
<v Mathijs Visscher>Wordt veel met notebooks gewerkt.

255
00:15:00.356 --> 00:15:06.734
<v Mathijs Visscher>Ja, en Databricks, Fabric, Snowflake, dat zijn wel de veel voorkomende data

256
00:15:06.734 --> 00:15:08.734
<v Mathijs Visscher>engineering, moderne data engineering tools.

257
00:15:08.734 --> 00:15:13.614
<v Saber Karmous>Ja, wat is Databricks? nog wat zijn Databricks of whatever.

258
00:15:16.374 --> 00:15:20.034
<v Nicky Boon>Misschien nog wel ik denk dat je nog wel een cruciale vergeet wat wij ook nog

259
00:15:20.034 --> 00:15:25.044
<v Nicky Boon>wel veel zien ik denk dat je toch wel een sequel ook wel vaardig moet zijn oh ja dat.

260
00:15:25.044 --> 00:15:25.704
<v Kishen Simbhoedatpanday>Is zo normaal.

261
00:15:25.704 --> 00:15:26.834
<v Nicky Boon>Tegenwoordig het is zo normaal,

262
00:15:29.174 --> 00:15:34.734
<v Nicky Boon>misschien wel de makkelijkste programmeren te leren volgens mij heeft er een

263
00:15:34.734 --> 00:15:39.156
<v Nicky Boon>paar 20 of 30 statements die je kan doen dus op een gegeven moment ben je wel uitgeleerd,

264
00:15:40.060 --> 00:15:43.336
<v Nicky Boon>Maar het is wel zeker nog steeds integraal onderdeel van ons werk ook.

265
00:15:43.776 --> 00:15:44.116
<v Kishen Simbhoedatpanday>Ja.

266
00:15:45.399 --> 00:15:49.076
<v Nicky Boon>En om op jouw vraag terug te komen, wat is Databricks? Wat zijn Databricks?

267
00:15:51.036 --> 00:15:54.236
<v Nicky Boon>Databricks is, nou inmiddels is het wel, is het echt uitgenomen.

268
00:15:54.236 --> 00:15:59.496
<v Nicky Boon>Het is echt gewoon een, hoe moet ik het omschrijven, een data en analytics platform weer. Dus het is,

269
00:16:01.576 --> 00:16:04.596
<v Nicky Boon>een software oplossing die je kan afnemen via een cloud provider.

270
00:16:05.176 --> 00:16:10.566
<v Nicky Boon>Als Azure, als AWS. Waar je je data engineering kan doen. waar je tegenwoordig

271
00:16:10.566 --> 00:16:14.994
<v Nicky Boon>ook wat dingen kan visualiseren, waar je machine learning modellen kan draaien,

272
00:16:15.307 --> 00:16:19.156
<v Nicky Boon>waar dus die gekoppeld, die Spark Engine, die Mathijs zei, aanhangt.

273
00:16:19.496 --> 00:16:20.521
<v Saber Karmous>Oh, oké, ja.

274
00:16:20.677 --> 00:16:28.026
<v Nicky Boon>Dus het is eigenlijk een soort van web-based app om je coderen in te doen, je notebooks in te doen.

275
00:16:28.026 --> 00:16:28.674
<v Saber Karmous>Ja, ja, ja.

276
00:16:28.825 --> 00:16:32.140
<v Nicky Boon>Ik denk dat het makkelijkst is om te ontschouden. Ja, en het schedulen ervan.

277
00:16:32.703 --> 00:16:36.716
<v Saber Karmous>En het schedulen, ja. Ja, het is wel een, ja, de naam zegt al iets dat het de

278
00:16:36.716 --> 00:16:37.794
<v Saber Karmous>bouwstede is, maar goed.

279
00:16:38.165 --> 00:16:45.176
<v Saber Karmous>Het is iets wat je gebruikt als bouwsteen of is het het uiteindelijke product, draait er iets op?

280
00:16:47.895 --> 00:16:53.496
<v Mathijs Visscher>Het is eigenlijk een schilletje. Onder de motorkap zijn het gewoon virtuele

281
00:16:53.496 --> 00:16:57.276
<v Mathijs Visscher>machines waar dus die Spark-clusters die dus de dataverwerking doen. Ja, precies.

282
00:16:58.236 --> 00:17:02.595
<v Mathijs Visscher>Op je ADLS of op je S3-bucket, daar heb je gewoon je faal staan,

283
00:17:02.792 --> 00:17:06.416
<v Mathijs Visscher>wat dan in Databricks weer gevisualiseerd wordt als een soort van database, zeg maar.

284
00:17:07.134 --> 00:17:11.066
<v Mathijs Visscher>Dus het is een schilletje waar je dus inderdaad je notebooks maakt en als je

285
00:17:11.066 --> 00:17:12.336
<v Mathijs Visscher>die dan aftrapt of scheduled,

286
00:17:13.082 --> 00:17:17.106
<v Mathijs Visscher>dan gaan die Spark-clusters die dus eigenlijk op die virtuele machines draaien

287
00:17:17.106 --> 00:17:23.656
<v Mathijs Visscher>gaan, dus die data verwerken en dan weer schrijven naar zo'n faal weer in je S3 of in je ADLS.

288
00:17:23.656 --> 00:17:26.336
<v Mathijs Visscher>En in Databricks zie je dat dan maar in je database.

289
00:17:26.696 --> 00:17:26.959
<v Saber Karmous>Oké.

290
00:17:28.945 --> 00:17:33.151
<v Kishen Simbhoedatpanday>En ik hoor ook wel eens in de data engineering werelden, een wereld hoor ik,

291
00:17:33.151 --> 00:17:36.035
<v Kishen Simbhoedatpanday>datalake, warehouse, lakehouse.

292
00:17:36.924 --> 00:17:40.661
<v Kishen Simbhoedatpanday>Ik had echt soms zoiets van, wow, wat zit er überhaupt een verschil in?

293
00:17:40.661 --> 00:17:43.542
<v Kishen Simbhoedatpanday>Of we hebben het over hetzelfde. Zou je dat eens kunnen toelichten?

294
00:17:44.121 --> 00:17:48.961
<v Nicky Boon>Zeker, ja. Ik denk dat warehouse een beetje natuurlijk het klassieke model,

295
00:17:48.961 --> 00:17:52.035
<v Nicky Boon>gewoon jaar 90 gestructureerde data, wat je in een tabelvorm ziet.

296
00:17:52.932 --> 00:17:56.341
<v Nicky Boon>Daarna is volgens mij de datalake een beetje opgekomen,

297
00:17:58.698 --> 00:18:01.411
<v Nicky Boon>Dat zit een beetje in de naam. Het wordt ook wel vaak Data Swamp genoemd in

298
00:18:01.411 --> 00:18:03.801
<v Nicky Boon>moderne presentaties. Want dat vinden ze leuk om het zo te noemen.

299
00:18:03.801 --> 00:18:06.221
<v Nicky Boon>Omdat ze dan kunnen laten zien hoe krachtig de lake house is.

300
00:18:07.321 --> 00:18:10.301
<v Nicky Boon>Maar het is eigenlijk gewoon een verzamelplek waar je gewoon alle type files

301
00:18:10.301 --> 00:18:13.762
<v Nicky Boon>kwijt kan. En dat heeft het voordeel. Je kan alle type files kwijt.

302
00:18:14.505 --> 00:18:18.151
<v Nicky Boon>Dat heeft het nadeel. Het is gewoon heel ongestructureerd. En alles raakt er

303
00:18:18.151 --> 00:18:21.370
<v Nicky Boon>een beetje in verzeld. En daardoor is het ook wat lastig om mee te werken.

304
00:18:21.933 --> 00:18:24.621
<v Nicky Boon>En een lake house is eigenlijk een soort van hoe is dat het promoten.

305
00:18:24.621 --> 00:18:26.084
<v Nicky Boon>Dus dat ga ik hier ook maar gewoon netjes doen.

306
00:18:27.161 --> 00:18:32.511
<v Nicky Boon>Het beste van beide werelden is eigenlijk een gestructureerde versie van zo'n

307
00:18:32.511 --> 00:18:35.425
<v Nicky Boon>data lake, waar je dus wel heel veel verschillende typen files kwijt kan,

308
00:18:36.231 --> 00:18:40.721
<v Nicky Boon>maar wel een wat gestructureerdere basis heeft.

309
00:18:41.121 --> 00:18:45.151
<v Saber Karmous>En degene die het structureert, zijn dat data engineers of wie doet dat?

310
00:18:45.151 --> 00:18:50.490
<v Saber Karmous>Want die krijgen waarschijnlijk bronnen van alle kanten, die gaan een data lake in of...

311
00:18:51.627 --> 00:18:53.764
<v Saber Karmous>En dan wordt er iets gestructureerd door wie?

312
00:18:54.054 --> 00:18:57.665
<v Mathijs Visscher>Ja, dus het idee van een lake house is dat je dus...

313
00:18:58.226 --> 00:19:02.276
<v Mathijs Visscher>Je slaat het wel op als files, maar de structuur zit in de files zelf,

314
00:19:02.276 --> 00:19:06.246
<v Mathijs Visscher>zeg maar. Dus net zoals dat je in je database je schema's hebt.

315
00:19:06.666 --> 00:19:10.666
<v Mathijs Visscher>Heb je dat in je files die je in een lake house hebt, heb je die ook weer.

316
00:19:11.353 --> 00:19:15.246
<v Mathijs Visscher>Dus het kruipt eigenlijk steeds verder naar elkaar toe.

317
00:19:15.926 --> 00:19:19.796
<v Mathijs Visscher>Een warehouse en een lake house eigenlijk. En het voornaamste verschil is dat

318
00:19:19.796 --> 00:19:24.186
<v Mathijs Visscher>een Lakehouse eigenlijk als files bestaat. En ook als er geen SQL-servertje

319
00:19:24.186 --> 00:19:27.726
<v Mathijs Visscher>draait, kan je die files gewoon bij z'n speaker openen en bekijken.

320
00:19:28.966 --> 00:19:31.636
<v Mathijs Visscher>En dat voor een warehouse heb je natuurlijk nog een server nodig om dan die

321
00:19:31.636 --> 00:19:33.486
<v Mathijs Visscher>database te kunnen bevragen.

322
00:19:34.426 --> 00:19:38.926
<v Mathijs Visscher>Maar ze doen steeds meer aan die... Wat je bijvoorbeeld ook hebt met Lakehouse,

323
00:19:38.926 --> 00:19:42.146
<v Mathijs Visscher>omdat het dus verschillende files zijn, wat je dus zou kunnen doen,

324
00:19:42.146 --> 00:19:45.696
<v Mathijs Visscher>wat dit ook heel krachtig maakt met heel veel data, Is dat je kan zeggen van

325
00:19:45.696 --> 00:19:47.756
<v Mathijs Visscher>oké, de data is nu te veel voor één machine.

326
00:19:47.756 --> 00:19:51.239
<v Mathijs Visscher>Dus wat we doen, we zogenaamd partitioneren de data.

327
00:19:51.518 --> 00:19:54.846
<v Mathijs Visscher>Bijvoorbeeld op datum of op een column waarvan jij handig denkt,

328
00:19:54.846 --> 00:19:56.853
<v Mathijs Visscher>dat is een logische manier om dit zo te structureren.

329
00:19:57.426 --> 00:20:02.206
<v Mathijs Visscher>En dan wat je dan kan zeggen is van oké, ik laat één jaar aan data door de ene

330
00:20:02.206 --> 00:20:05.226
<v Mathijs Visscher>machine doen. En ander jaar aan data door een andere machine doen.

331
00:20:05.646 --> 00:20:09.296
<v Mathijs Visscher>En dan ga ik later de uitkomsten weer samenbrengen. En dat is wat Spark dus

332
00:20:09.296 --> 00:20:12.816
<v Mathijs Visscher>ook heel krachtig maakt voor heel veel data. is dat hij heel veel parallel eigenlijk

333
00:20:12.816 --> 00:20:14.806
<v Mathijs Visscher>over verschillende machines kan doen.

334
00:20:16.841 --> 00:20:24.112
<v Kishen Simbhoedatpanday>Ja, en ik hoor ook in de data engineering wereld dat je dataoplossingen op batch

335
00:20:24.112 --> 00:20:27.512
<v Kishen Simbhoedatpanday>manier of op een realtime manier zou kunnen verwerken.

336
00:20:28.772 --> 00:20:31.317
<v Kishen Simbhoedatpanday>Wanneer zou je voor batch kiezen en wanneer realtime?

337
00:20:32.369 --> 00:20:33.632
<v Mathijs Visscher>Ik zal bijna altijd voor bed kiezen.

338
00:20:34.432 --> 00:20:35.512
<v Kishen Simbhoedatpanday>Echt? Altijd? Ja? Oké.

339
00:20:35.512 --> 00:20:35.792
<v Mathijs Visscher>Nou ja,

340
00:20:38.412 --> 00:20:42.366
<v Mathijs Visscher>de vraag is hoe snel wil jij tot actie overgaan?

341
00:20:42.768 --> 00:20:47.370
<v Mathijs Visscher>Dus als je logging en monitoring bijvoorbeeld doet van wat dan ook. Ja, dat wil je realtime.

342
00:20:48.125 --> 00:20:51.552
<v Mathijs Visscher>Want als er ergens een alarm afgaat waarop iets in de fik staat.

343
00:20:51.552 --> 00:20:54.465
<v Mathijs Visscher>Dan wil je niet na een half uur een bericht krijgen. Dan wil je gelijk een bericht krijgen.

344
00:20:54.941 --> 00:20:57.577
<v Mathijs Visscher>Maar wat je toch wel vaak ziet is.

345
00:20:58.145 --> 00:21:00.632
<v Mathijs Visscher>Wat je ook vaak binnen Stedin hoort. dan vragen mensen van...

346
00:21:01.032 --> 00:21:02.793
<v Mathijs Visscher>ja, we willen dit graag realtime doen.

347
00:21:03.089 --> 00:21:05.042
<v Mathijs Visscher>En dan vraag je, oké, hoe vaak wordt er naar het rapport gekeken?

348
00:21:05.042 --> 00:21:08.312
<v Mathijs Visscher>Ja, één keer per dag. Waarom wil je het dan realtime doen? Het is veel goedkoper

349
00:21:08.312 --> 00:21:11.392
<v Mathijs Visscher>om het dan één keer per uur te doen... als je toch maar één keer per dag gaat kijken.

350
00:21:13.272 --> 00:21:17.992
<v Mathijs Visscher>Dus dat is meer de vraag van... hoe snel wil je tot actie overgaan?

351
00:21:17.992 --> 00:21:22.161
<v Mathijs Visscher>Of hoe vaak ga je naar een dashboard kijken? Wat is precies de waarde die jij...

352
00:21:23.153 --> 00:21:25.660
<v Mathijs Visscher>...uit je data wil halen. Ja, dat is dat.

353
00:21:26.524 --> 00:21:30.004
<v Nicky Boon>Het voelt vaak ook wel een beetje real-time verwerking... ...als zo'n buzzword...

354
00:21:30.044 --> 00:21:32.384
<v Nicky Boon>...wat dan managers op een gegeven moment hebben gehoord... ...van we kunnen

355
00:21:32.384 --> 00:21:35.664
<v Nicky Boon>nu real-time de data verwerken... ...dat ze denken, dat moet ik hebben.

356
00:21:35.664 --> 00:21:36.704
<v Nicky Boon>Maakt niet uit of ik er naar kijk...

357
00:21:36.744 --> 00:21:40.024
<v Nicky Boon>...maar ze willen het dan. Dat is niet meer een soort van middel...

358
00:21:40.084 --> 00:21:41.194
<v Nicky Boon>...maar het is gewoon een doel geworden.

359
00:21:41.194 --> 00:21:45.804
<v Kishen Simbhoedatpanday>Ja, vandaar dat ik die vraag even stel. Want we horen het wel meer.

360
00:21:46.644 --> 00:21:49.834
<v Mathijs Visscher>Ja, ik denk dat het wel goed is om... ...er zijn wel twee verschillende dingen. Wat is de waarheid.

361
00:21:49.834 --> 00:21:50.274
<v Kishen Simbhoedatpanday>Zeg maar?

362
00:21:50.274 --> 00:21:54.074
<v Mathijs Visscher>Ja, maar je hebt dus inderdaad... Dus real-time is eigenlijk meer continu.

363
00:21:54.074 --> 00:21:59.258
<v Mathijs Visscher>Dus je stroma data continu daar een soort van waarde uit proberen te halen.

364
00:21:59.380 --> 00:22:03.184
<v Mathijs Visscher>Maar wat je ook hebt is dat je dus event-based je batchverwerking gaat doen.

365
00:22:03.184 --> 00:22:07.101
<v Mathijs Visscher>Wat je dus ook kan hebben is als er elk uur een file ergens landt.

366
00:22:07.223 --> 00:22:09.423
<v Mathijs Visscher>Dat je die file dan gelijk gaat oppakken en gaat verwerken.

367
00:22:12.424 --> 00:22:14.614
<v Mathijs Visscher>Dat is batchverwerking, want je doet het maar één keer per uur.

368
00:22:14.614 --> 00:22:18.159
<v Mathijs Visscher>Maar dan zeg je gewoon, oké, ik doe het event-based. Dus de file landen gaat gelijk verwerken.

369
00:22:18.873 --> 00:22:21.535
<v Mathijs Visscher>Dat is in zekere zin ook real-time, want je doet het gelijk.

370
00:22:21.964 --> 00:22:24.844
<v Mathijs Visscher>Alleen je bent het niet continu aan het draaien, zeg maar.

371
00:22:24.844 --> 00:22:26.234
<v Saber Karmous>Ja, oké.

372
00:22:26.244 --> 00:22:28.794
<v Mathijs Visscher>En dat is denk ik wel altijd goed om te doen. Om zoveel mogelijk dus niet te

373
00:22:28.794 --> 00:22:30.384
<v Mathijs Visscher>zeggen van ik zet iets elk kwartier aan.

374
00:22:30.744 --> 00:22:30.844
<v Kishen Simbhoedatpanday>Nee.

375
00:22:30.844 --> 00:22:33.714
<v Mathijs Visscher>Dat is eigenlijk altijd een zaktebot. Je moet altijd kijken van oké,

376
00:22:33.714 --> 00:22:36.914
<v Mathijs Visscher>ja je moet gaan draaien als het nodig is. Dat is natuurlijk altijd goedkoper

377
00:22:36.914 --> 00:22:39.455
<v Mathijs Visscher>dan elk kwartier. En dan misschien de helft van de tijd van niks draaien.

378
00:22:41.283 --> 00:22:44.074
<v Kishen Simbhoedatpanday>Ja, ik denk ook dat je altijd moet beginnen vanuit de noodzaak.

379
00:22:44.594 --> 00:22:47.724
<v Kishen Simbhoedatpanday>Die vraag die je net stelde om te vragen van, ja, maar hoe vaak kijk je naar

380
00:22:47.724 --> 00:22:50.274
<v Kishen Simbhoedatpanday>zo'n rapport? Dat zegt natuurlijk ook al heel veel.

381
00:22:51.476 --> 00:22:56.404
<v Kishen Simbhoedatpanday>Ja, en als je het dan hebt over, dus die datastromen, weet je wel,

382
00:22:56.404 --> 00:23:00.077
<v Kishen Simbhoedatpanday>van de bron en verwerken en uiteindelijk er wat mee doen.

383
00:23:00.752 --> 00:23:03.417
<v Kishen Simbhoedatpanday>Kunnen jullie de luisteraars een beetje meenemen in hoe je dan,

384
00:23:03.701 --> 00:23:06.441
<v Kishen Simbhoedatpanday>ja, zo'n data pipeline noemen wij dat natuurlijk heel vaak.

385
00:23:06.836 --> 00:23:11.814
<v Kishen Simbhoedatpanday>Hoe je dat maakt, dus vanaf begin tot einde. Hebben jullie daar misschien...

386
00:23:13.174 --> 00:23:16.054
<v Nicky Boon>Ja, er zijn natuurlijk om mee te beginnen... heel veel verschillende tools al

387
00:23:16.054 --> 00:23:20.288
<v Nicky Boon>voor. Maar over die tools genomen... zit er wel een vergelijkbaar patroon in.

388
00:23:20.834 --> 00:23:23.660
<v Nicky Boon>Vaak wil je proberen om in eerste instantie...

389
00:23:24.548 --> 00:23:29.094
<v Nicky Boon>de data die je ergens vandaan haalt. Je hebt je brondata om die binnen te trekken.

390
00:23:29.754 --> 00:23:32.684
<v Nicky Boon>Stel dat het een faal is... dat je die faal eerst eens kopieert naar je eigen

391
00:23:32.684 --> 00:23:35.093
<v Nicky Boon>systeem. Dus dat je het altijd ook weer opnieuw zou kunnen opbouwen.

392
00:23:36.206 --> 00:23:37.714
<v Nicky Boon>Vervolgens wil je daar misschien wel...

393
00:23:39.358 --> 00:23:42.700
<v Nicky Boon>Nou, is het bijvoorbeeld allemaal nested data, dus het is een JSON,

394
00:23:42.700 --> 00:23:43.940
<v Nicky Boon>is het allemaal dingen nog verpakt,

395
00:23:43.940 --> 00:23:46.206
<v Nicky Boon>wil je dat eerst eens gaan uitpakken voordat je er wat mee gaat doen.

396
00:23:47.135 --> 00:23:52.840
<v Nicky Boon>Je wil misschien bepaalde data quality checks doen, zijn essentiële velden,

397
00:23:52.840 --> 00:23:58.530
<v Nicky Boon>bijvoorbeeld de klant ID is die wel gevuld, zitten er niet bepaalde waarden

398
00:23:58.530 --> 00:24:00.597
<v Nicky Boon>die niet mogen, dus dat wil je gaan doen.

399
00:24:01.124 --> 00:24:05.300
<v Nicky Boon>Je wil misschien ook nog wel historie daarvan gaan opslaan. Dus als het gaat

400
00:24:05.300 --> 00:24:08.970
<v Nicky Boon>om klantdata die bijvoorbeeld verhuisd is, wil je weten dat die wel daarvoor

401
00:24:08.970 --> 00:24:12.100
<v Nicky Boon>ook op het oude adres heeft gewoond. Nou, dat mag je weer niet lang opslaan.

402
00:24:12.100 --> 00:24:15.000
<v Nicky Boon>Maar misschien niet het allerbeste voorbeeld, maar jullie snappen mijn punt.

403
00:24:15.000 --> 00:24:15.677
<v Kishen Simbhoedatpanday>Ja, zeker.

404
00:24:16.393 --> 00:24:19.700
<v Nicky Boon>En vervolgens gaan we een beetje dat traject in wat we eerder hebben besproken.

405
00:24:19.700 --> 00:24:24.650
<v Nicky Boon>Ook van, oké, nou, we hebben een soort van opgeschonde, gecheckte versie van

406
00:24:24.650 --> 00:24:28.020
<v Nicky Boon>die data die we hebben binnengehaald. en gaan we toewerken naar het model waar

407
00:24:28.020 --> 00:24:32.286
<v Nicky Boon>dus die analist of scientist in kwestie wat mee wil gaan doen.

408
00:24:32.559 --> 00:24:35.470
<v Nicky Boon>Dus zitten er wat transformaties in, misschien wat verrekening,

409
00:24:35.470 --> 00:24:37.326
<v Nicky Boon>misschien dus het samenvoegen van wat bronnen.

410
00:24:38.089 --> 00:24:40.900
<v Nicky Boon>En zo doorloop je eigenlijk een beetje zo'n pipeline. En dat zijn natuurlijk

411
00:24:40.900 --> 00:24:44.799
<v Nicky Boon>vaak wel meerdere pipelines die naar verschillende lagen van,

412
00:24:44.979 --> 00:24:47.790
<v Nicky Boon>nou ja, dan gaan we misschien wel wat dieper op architectuur in,

413
00:24:47.790 --> 00:24:50.593
<v Nicky Boon>maar verschillende lagen waar je dingen wil opslaan.

414
00:24:50.938 --> 00:24:54.020
<v Nicky Boon>Maar ik denk dat dat een beetje de basis is van zo'n datapipeline.

415
00:24:54.480 --> 00:24:57.610
<v Nicky Boon>Zonder het te ingewikkeld te maken.

416
00:24:57.610 --> 00:25:01.860
<v Kishen Simbhoedatpanday>Ja, en je noemde net ook al datamodel. Hoe past dat dan samen?

417
00:25:02.620 --> 00:25:08.572
<v Kishen Simbhoedatpanday>Dus je hebt de data die dan inderdaad uit de bron komt. Hoe past het model dan daarbij?

418
00:25:09.212 --> 00:25:16.900
<v Nicky Boon>Het model is eigenlijk het makkelijkste manier om data zo te structureren dat

419
00:25:16.900 --> 00:25:23.109
<v Nicky Boon>het en vaak sneller benaderbaar is, omdat logische componenten bij elkaar zitten en dus ook gewoon,

420
00:25:23.818 --> 00:25:28.380
<v Nicky Boon>los van sneller benadenbaar voor een systeem, ook voor mensen wat logischer

421
00:25:28.380 --> 00:25:30.975
<v Nicky Boon>is dat bepaalde componenten bij elkaar zitten. Dus het is gewoon,

422
00:25:31.816 --> 00:25:35.358
<v Nicky Boon>En een manier om bepaalde bronnen te kunnen combineren tot dus een logisch model

423
00:25:35.358 --> 00:25:39.688
<v Nicky Boon>met logische data bij elkaar. Maar ook om het gewoon een beetje menselijke maat

424
00:25:39.688 --> 00:25:41.928
<v Nicky Boon>en dus ook voor computers makkelijker benaderbaar te maken.

425
00:25:41.928 --> 00:25:47.258
<v Saber Karmous>Ja, dus het is een soort van domeinkennis of het is een bepaald domein waar zo'n model in...

426
00:25:47.948 --> 00:25:52.248
<v Nicky Boon>Er zit vaak een logische verdeling op basis van wat voor type data het is en

427
00:25:52.248 --> 00:25:53.558
<v Nicky Boon>wat voor type mensen ermee werken.

428
00:25:54.924 --> 00:25:57.918
<v Nicky Boon>Ja, er zijn vast hele leuke manieren om dit te kunnen uitleggen.

429
00:25:57.918 --> 00:26:01.983
<v Nicky Boon>Maar ik weet niet of je een leuk voorbeeld hebt van een datamodel.

430
00:26:02.707 --> 00:26:04.398
<v Mathijs Visscher>Oh, nu moet ik een poging gaan over de datamodeleren.

431
00:26:04.398 --> 00:26:05.208
<v Kishen Simbhoedatpanday>Ja, kom, kom.

432
00:26:05.218 --> 00:26:09.338
<v Saber Karmous>Iedereen wakt op je hoofd. Je kan je niet melden.

433
00:26:09.338 --> 00:26:10.338
<v Kishen Simbhoedatpanday>Nee, dit is moeilijk, hè?

434
00:26:11.378 --> 00:26:15.268
<v Mathijs Visscher>Ja, je moet het zo zien. Als je met een klapblokje over het terras heen loopt,

435
00:26:15.268 --> 00:26:18.280
<v Mathijs Visscher>dan ga je allemaal opschrijven wat iedereen besteld heeft.

436
00:26:18.436 --> 00:26:22.578
<v Mathijs Visscher>Maar uiteindelijk wil je aan het einde van de dag ook weer gaan bestellen om

437
00:26:22.578 --> 00:26:23.914
<v Mathijs Visscher>je voorraden weer aan te vullen.

438
00:26:24.077 --> 00:26:28.273
<v Mathijs Visscher>Nou ja, als je dan gewoon één op één al die klapblokjes Dus gewoon onder elkaar een excelletje zet.

439
00:26:28.395 --> 00:26:32.398
<v Mathijs Visscher>Ja, dan is het best wel heel lastig om in één oogopslag. Of met één simpele

440
00:26:32.398 --> 00:26:34.558
<v Mathijs Visscher>query te kunnen zien. Van oké, wat moet ik nou bestellen?

441
00:26:35.031 --> 00:26:39.468
<v Mathijs Visscher>En daar doe je eigenlijk data modellen voor. Dus je gaat proberen op een logische

442
00:26:39.468 --> 00:26:43.442
<v Mathijs Visscher>manier de verschillende objecten bij elkaar te brengen. Dus je hebt misschien,

443
00:26:43.970 --> 00:26:49.125
<v Mathijs Visscher>een tabel met je voorraad. Een tabel met je bestellingen. Een tabel met je transacties.

444
00:26:49.926 --> 00:26:53.858
<v Mathijs Visscher>Dus je probeert op objectniveau dingen goed samen te brengen.

445
00:26:54.178 --> 00:26:59.226
<v Mathijs Visscher>En dat wat Nicky zegt klopt. Dus er zijn eigenlijk vaak twee doelen met de data modelleren.

446
00:26:59.781 --> 00:27:03.018
<v Mathijs Visscher>Vroeger, dat wordt nu iets minder belangrijk omdat storage niet zo heel duur

447
00:27:03.018 --> 00:27:06.704
<v Mathijs Visscher>is... ...maar vroeger was het ook heel belangrijk om het zo efficiënt mogelijk op te slaan.

448
00:27:06.966 --> 00:27:11.098
<v Mathijs Visscher>En dan efficiënt in de zin van dat het zo min mogelijk schijfruimte kost.

449
00:27:11.098 --> 00:27:14.640
<v Mathijs Visscher>Dus je wil geen dubbele data en dat soort dingen hebben. Dan krijg je dus vaak meerdere tabellen...

450
00:27:15.663 --> 00:27:19.376
<v Mathijs Visscher>Dan wordt het dus qua opslag efficiënt. Maar op een gegeven moment wil je de

451
00:27:19.376 --> 00:27:24.241
<v Mathijs Visscher>data ook gaan lezen. En dan moet je dus al die tabellen weer gaan zitten combineren.

452
00:27:25.466 --> 00:27:28.426
<v Mathijs Visscher>En dan ga je dus een datumodel maken wat efficiënt te lezen is.

453
00:27:28.426 --> 00:27:31.766
<v Mathijs Visscher>Dus dan ga je vaak bijvoorbeeld naar een stermodel toe.

454
00:27:32.406 --> 00:27:35.486
<v Mathijs Visscher>Waarbij je dus je transacties hebt.

455
00:27:36.286 --> 00:27:40.526
<v Mathijs Visscher>Die komen er steeds bij. En eromheen heb je je zogenaamde dimensietabellen.

456
00:27:40.526 --> 00:27:43.387
<v Mathijs Visscher>En dat zijn dan de waardes die niet zo heel vaak wijzigen.

457
00:27:43.927 --> 00:27:46.756
<v Mathijs Visscher>Dus dat bijvoorbeeld je klantinformatie of je productinformatie,

458
00:27:46.756 --> 00:27:47.666
<v Mathijs Visscher>dat verandert niet zo snel.

459
00:27:48.106 --> 00:27:51.706
<v Mathijs Visscher>Maar je transacties, bijvoorbeeld als je op het terras zit, alles wat gekocht

460
00:27:51.706 --> 00:27:54.759
<v Mathijs Visscher>wordt of betalingen, dat verandert wel heel snel.

461
00:27:55.466 --> 00:27:59.276
<v Mathijs Visscher>En nou ja, als je dat dus goed opbouwt, dan kan je dus heel makkelijk in je

462
00:27:59.276 --> 00:28:04.046
<v Mathijs Visscher>rapportje zien wat je moet gaan bestellen, omdat het brood en salami op is.

463
00:28:04.046 --> 00:28:13.215
<v Kishen Simbhoedatpanday>Ja, dus het is eigenlijk objecten detecteren, vastleggen, misschien ook wel processen of niet?

464
00:28:14.106 --> 00:28:16.383
<v Mathijs Visscher>Dat kan allemaal meespelen. Ja, zeker.

465
00:28:16.569 --> 00:28:19.946
<v Saber Karmous>Het lijkt wel gewoon op normaal database modellering.

466
00:28:19.946 --> 00:28:20.226
<v Mathijs Visscher>Zeker?

467
00:28:20.226 --> 00:28:21.596
<v Nicky Boon>Ja, dat is het.

468
00:28:21.596 --> 00:28:24.906
<v Saber Karmous>Dat is het eigenlijk zo precies. Ik heb dit ooit eerder gedaan.

469
00:28:25.026 --> 00:28:26.136
<v Kishen Simbhoedatpanday>Ik heb dit ooit in het verleden.

470
00:28:26.136 --> 00:28:26.306
<v Nicky Boon>Ja.

471
00:28:27.006 --> 00:28:29.946
<v Saber Karmous>En ik hoorde ook iemand, dat zei jij volgens mij, normaliseren.

472
00:28:30.566 --> 00:28:33.376
<v Saber Karmous>Toen kreeg ik al trauma's over vijfde normaal vormen.

473
00:28:33.376 --> 00:28:34.384
<v Kishen Simbhoedatpanday>Wie wil die uitleggen?

474
00:28:34.872 --> 00:28:40.426
<v Saber Karmous>Ah ja. Nee, nee, nee. Ik ga het vanuit de sequel met die uitleggen.

475
00:28:40.426 --> 00:28:42.812
<v Saber Karmous>Ja, maar dat is wat wij ook doen. Ja, dat is een internationale database.

476
00:28:43.351 --> 00:28:46.234
<v Saber Karmous>Ja. Ja, je kunt data gewoon heel efficiënt op slaan.

477
00:28:46.635 --> 00:28:52.927
<v Saber Karmous>Dus stel dat je relaties hebt tussen twee entiteiten, een een-op-n-relatie.

478
00:28:53.450 --> 00:28:55.156
<v Saber Karmous>Kun je het heel dom opslaan in één tabel.

479
00:28:55.696 --> 00:28:58.935
<v Saber Karmous>En heel veel herhalende data krijg je dan. Dat is niet handig.

480
00:28:59.510 --> 00:29:04.266
<v Saber Karmous>Dus dan ga je naar de tweede of de derde normaal vorm. Dus dan één paastabel, een-op-n.

481
00:29:04.846 --> 00:29:09.548
<v Saber Karmous>Nou goed, dat verhaal dus. En zo kun je gaan tot de vijfde normaal vorm. Heel leuk voor opslag.

482
00:29:09.746 --> 00:29:14.109
<v Saber Karmous>Drama om hem weer uit te lezen. Dus dat is dus waarom ik de vijf normaal gewoon

483
00:29:14.272 --> 00:29:17.226
<v Saber Karmous>een beetje bogus vind. Maar sommige mensen vinden dat heel tof.

484
00:29:18.010 --> 00:29:21.179
<v Saber Karmous>En daar houdt het voor mij meestal op, dus bij de derde normaalvorm.

485
00:29:21.765 --> 00:29:24.131
<v Kishen Simbhoedatpanday>En wie doet dat dan? Is dat die data engineer dan?

486
00:29:24.131 --> 00:29:28.631
<v Mathijs Visscher>Data engineers doen dat ook, maar bij applicatie ontwikkeling zien we dit op zich ook.

487
00:29:29.173 --> 00:29:34.839
<v Mathijs Visscher>Je ziet wel, en nu ga ik de wat meer klassieke data engineer misschien wel tegen de schenen schoppen.

488
00:29:35.008 --> 00:29:39.131
<v Mathijs Visscher>Je ziet dat echt het data modelleren, in ieder geval die normaalvormen,

489
00:29:39.131 --> 00:29:43.191
<v Mathijs Visscher>dus proberen je data efficiënter op te slaan, wordt eigenlijk minder belangrijk.

490
00:29:43.191 --> 00:29:47.971
<v Mathijs Visscher>Ook omdat de moderne lakehouse technieken, daarvoor is het al wat minder belangrijk

491
00:29:47.971 --> 00:29:51.436
<v Mathijs Visscher>om die dubbele data heel erg te vermijden. Om dus die data maar door te normaliseren.

492
00:29:51.732 --> 00:29:55.551
<v Mathijs Visscher>Dat wordt eigenlijk steeds minder belangrijk. Dus we gaan steeds verder naartoe.

493
00:29:55.551 --> 00:29:58.711
<v Mathijs Visscher>Dus dat je eigenlijk vanaf de bronnen gaat kijken, wat is de purpose die het

494
00:29:58.711 --> 00:29:59.757
<v Mathijs Visscher>uiteindelijk moet hebben.

495
00:29:59.908 --> 00:30:04.401
<v Mathijs Visscher>En die soort van die tussenstap, dus van die data maar eindeloos normaliseren.

496
00:30:04.668 --> 00:30:07.841
<v Mathijs Visscher>Om vervolgens alles weer om te bouwen naar bijvoorbeeld stermodellen of voor

497
00:30:07.841 --> 00:30:09.004
<v Mathijs Visscher>data science een platte tabel.

498
00:30:09.636 --> 00:30:15.325
<v Mathijs Visscher>Dat zie je eigenlijk dat dat minder nodig is, omdat dus de engines in Spark, maar ook hoe de data,

499
00:30:15.714 --> 00:30:18.891
<v Mathijs Visscher>nou dat zijn dan parquet files, dat is vaak de onderliggende file structuur,

500
00:30:18.891 --> 00:30:23.054
<v Mathijs Visscher>daar is het minder belangrijk en soms zelfs minder handig om dus die data maar

501
00:30:23.339 --> 00:30:24.651
<v Mathijs Visscher>eindeloos te blijven normaliseren.

502
00:30:24.651 --> 00:30:25.981
<v Saber Karmous>Ja, oké, dat is interessant.

503
00:30:25.981 --> 00:30:26.230
<v Mathijs Visscher>Ja.

504
00:30:27.652 --> 00:30:31.531
<v Saber Karmous>Oké, maar dan is eigenlijk de technologie, de tooling noemen we het even,

505
00:30:31.871 --> 00:30:35.378
<v Saber Karmous>die heeft dat voor je opgeloste zaanheidsstekens. Ja, oké.

506
00:30:35.970 --> 00:30:37.253
<v Saber Karmous>Wat op zich wel logisch is.

507
00:30:37.549 --> 00:30:41.571
<v Kishen Simbhoedatpanday>Oké, dus dan is normaliseren niet meer nodig dan. Oh shit, zeg ik nou iets geks?

508
00:30:42.351 --> 00:30:44.771
<v Saber Karmous>Hij kijkt me echt zo aan. Kijkt wie het zegt waarschijnlijk.

509
00:30:46.456 --> 00:30:47.011
<v Nicky Boon>Geen commentaar.

510
00:30:48.311 --> 00:30:50.591
<v Kishen Simbhoedatpanday>Dan zijn we platformen en je neer geworden.

511
00:30:50.591 --> 00:30:52.731
<v Mathijs Visscher>Dan krijgen wij straks mailtjes. Oh, wij hebben ons mailadres niet gedeeld.

512
00:30:52.731 --> 00:30:55.921
<v Mathijs Visscher>Nee, nee, nee. Krijgen we al een brief, aangetekende brieven thuis.

513
00:30:55.921 --> 00:30:57.451
<v Kishen Simbhoedatpanday>Niemand weet waar we wonen.

514
00:30:57.451 --> 00:31:00.631
<v Mathijs Visscher>Geen probleem, joh. Alleen voornaam gezegd gelukkig.

515
00:31:02.704 --> 00:31:07.031
<v Kishen Simbhoedatpanday>Maar valt datanormalisering dan onder datacquality, vind jij dan?

516
00:31:08.411 --> 00:31:10.592
<v Kishen Simbhoedatpanday>of omdat het niet meer nodig is hoef je dat niet meer te doen.

517
00:31:11.486 --> 00:31:16.960
<v Mathijs Visscher>Nee, dus volgens mij maakt het datamodel voor datakwaliteit niet zoveel uit.

518
00:31:17.420 --> 00:31:20.690
<v Mathijs Visscher>Dus je hebt natuurlijk verschillende soorten van datakwaliteit.

519
00:31:20.690 --> 00:31:23.660
<v Mathijs Visscher>Je kan het helemaal aan het einde doen. Dan is het meer een soort van profiling

520
00:31:23.660 --> 00:31:28.401
<v Mathijs Visscher>van de data. Dus hoe ziet de data er uiteindelijk aan het einde van het feestje uit?

521
00:31:28.743 --> 00:31:32.070
<v Mathijs Visscher>Of je kijkt al vanaf de bron. Je krijgt gewoon een rij aan data binnen en je

522
00:31:32.070 --> 00:31:35.180
<v Mathijs Visscher>gaat daar al kijken van... Oké, is de leeftijd onder de...

523
00:31:36.180 --> 00:31:39.100
<v Mathijs Visscher>Hoe oud is het de oudste persoon op aarde? Is de leeftijd onder de 113?

524
00:31:39.100 --> 00:31:39.320
<v Saber Karmous>Ja, precies.

525
00:31:40.700 --> 00:31:43.780
<v Mathijs Visscher>Zijn we unieke keys, zijn we primary keys, dat soort dingen.

526
00:31:44.680 --> 00:31:48.000
<v Mathijs Visscher>Daar is eigenlijk het modelleren minder belangrijk voor.

527
00:31:48.340 --> 00:31:53.920
<v Kishen Simbhoedatpanday>Nee, precies. Want Nicky, wat is datakwaliteit volgens jou?

528
00:31:54.991 --> 00:31:58.710
<v Nicky Boon>Dat is wel lastig om natuurlijk zo van samen te vallen, omdat het best veel omvattend is.

529
00:31:59.167 --> 00:32:01.350
<v Nicky Boon>Maar ja, wat ik eerder ook al zei en wat Mathijs net benoemd,

530
00:32:01.350 --> 00:32:06.240
<v Nicky Boon>is het natuurlijk sowieso goed om in een vroeg stadium te gaan checken of de

531
00:32:06.240 --> 00:32:11.050
<v Nicky Boon>DAVA die in je bestanden of hoe je het ook binnenkrijgt bevat wat je verwacht.

532
00:32:11.050 --> 00:32:13.128
<v Nicky Boon>Dus dat er gewoon geen onlogische dingen in zitten.

533
00:32:14.913 --> 00:32:18.232
<v Nicky Boon>Maar hoe wij bijvoorbeeld ook, want wij hebben vorige week en de week daarvoor

534
00:32:18.232 --> 00:32:25.292
<v Nicky Boon>nog met het team een data quality workshop ook gegeven voor de teams die ons platform gebruiken.

535
00:32:25.919 --> 00:32:30.462
<v Nicky Boon>En daar hebben we bijvoorbeeld ook een tool, of eigenlijk een framework van

536
00:32:30.462 --> 00:32:35.532
<v Nicky Boon>Great Expectations om te checken, nou ja, bevat dus mijn data die in transit

537
00:32:35.532 --> 00:32:39.747
<v Nicky Boon>is. Dus tijdens het opwerken nog steeds de waarde die ik verwacht.

538
00:32:41.055 --> 00:32:46.999
<v Nicky Boon>je kan dus daarvoor al dingen checken, je kan checken of wij gebruiken bijvoorbeeld ook Sonar Cloud,

539
00:32:48.555 --> 00:32:53.352
<v Nicky Boon>om vulnerabilities snel te scannen, om te checken of je testcoverage,

540
00:32:53.352 --> 00:32:58.332
<v Nicky Boon>dus hoeveelheid code die je daadwerkelijk test, of die gecoverd is dus dat zijn

541
00:32:58.332 --> 00:33:02.067
<v Nicky Boon>allemaal dingen die een soort van die wij in ieder geval onder de paraplu van data quality,

542
00:33:03.092 --> 00:33:05.312
<v Nicky Boon>proberen te vangen ja.

543
00:33:05.312 --> 00:33:08.432
<v Kishen Simbhoedatpanday>In zekere zin zit natuurlijk gewoon in het woord je noemt het vulnerabilities,

544
00:33:09.312 --> 00:33:13.192
<v Kishen Simbhoedatpanday>kan je dat toelichten? Want bedoel je dan in de code-vunabilities of in de packages?

545
00:33:13.452 --> 00:33:19.602
<v Nicky Boon>In de code is het in het geval, ja. Dus, nou ja, bijvoorbeeld dat ik heb zo

546
00:33:19.602 --> 00:33:24.172
<v Nicky Boon>slecht geslapen dat ik mijn secrets per ongeluk in hardcoded naar mijn git heb

547
00:33:24.172 --> 00:33:26.032
<v Nicky Boon>gepushed, dat je daar achterkomt.

548
00:33:26.794 --> 00:33:31.210
<v Nicky Boon>Dat zou je dan niet zo snel doen, maar dit gebeurt nog meer dan je zou willen.

549
00:33:31.325 --> 00:33:33.552
<v Kishen Simbhoedatpanday>Ja, mooi.

550
00:33:34.452 --> 00:33:35.098
<v Saber Karmous>Ik snap het nu.

551
00:33:35.348 --> 00:33:37.312
<v Kishen Simbhoedatpanday>Ja, dat is wel belangrijk om daar even bij stil te staan.

552
00:33:37.872 --> 00:33:38.900
<v Mathijs Visscher>Beetje verslaapt.

553
00:33:42.337 --> 00:33:42.772
<v Kishen Simbhoedatpanday>Ja, klopt.

554
00:33:42.772 --> 00:33:44.132
<v Nicky Boon>En dan kan ik anders secrets in de code zetten.

555
00:33:44.132 --> 00:33:44.912
<v Kishen Simbhoedatpanday>Nee, inderdaad.

556
00:33:47.032 --> 00:33:51.002
<v Kishen Simbhoedatpanday>En als je het hebt over de technologie, we hebben best wel wat technologie al

557
00:33:51.002 --> 00:33:53.351
<v Kishen Simbhoedatpanday>genoemd binnen de wereld van data.

558
00:33:53.752 --> 00:33:57.090
<v Kishen Simbhoedatpanday>Welke technologie denken jullie dat gaat verdwijnen binnen vijf jaar?

559
00:33:57.519 --> 00:34:02.032
<v Kishen Simbhoedatpanday>Dat je echt denkt van nou, we werken hier wel mee, maar dit gaat toch wel een keer stoppen.

560
00:34:02.032 --> 00:34:02.831
<v Mathijs Visscher>Vijf jaar is lang hè?

561
00:34:03.842 --> 00:34:04.745
<v Saber Karmous>Ja, tegenwoordig wel, ja.

562
00:34:04.745 --> 00:34:05.955
<v Kishen Simbhoedatpanday>Oké, tegenwoordig wel, hè.

563
00:34:05.955 --> 00:34:09.045
<v Mathijs Visscher>Ja, ze zeggen met alle agents dat eigenlijk alles wat niet open source is gaat

564
00:34:09.045 --> 00:34:10.665
<v Mathijs Visscher>verdwijnen, want je kan toch alles zelf bouwen?

565
00:34:10.665 --> 00:34:10.935
<v Saber Karmous>Ja.

566
00:34:10.935 --> 00:34:11.719
<v Kishen Simbhoedatpanday>Oh ja, echt?

567
00:34:12.405 --> 00:34:12.465
<v Saber Karmous>Ja.

568
00:34:12.785 --> 00:34:12.905
<v Kishen Simbhoedatpanday>Oh.

569
00:34:13.285 --> 00:34:13.475
<v Mathijs Visscher>Ja.

570
00:34:13.475 --> 00:34:15.202
<v Saber Karmous>Je kunt ook alles nabouwen tegenwoordig.

571
00:34:15.429 --> 00:34:15.685
<v Mathijs Visscher>Ja.

572
00:34:15.685 --> 00:34:20.229
<v Saber Karmous>Uitwinst, sorry, als het software is, met al die reverse engineering,

573
00:34:20.978 --> 00:34:22.958
<v Saber Karmous>bouw je nu ook echt alles letterlijk na.

574
00:34:23.097 --> 00:34:23.312
<v Mathijs Visscher>Ja.

575
00:34:23.620 --> 00:34:25.961
<v Saber Karmous>Dus dat is wel spannend, zeg maar.

576
00:34:26.698 --> 00:34:30.975
<v Mathijs Visscher>Zeker, al denk ik wel, vijf jaar is wel lang, maar toch denk ik wel dat voor

577
00:34:30.975 --> 00:34:36.115
<v Mathijs Visscher>organisaties zoals Stedin, En dat het ook wel echt een voordeel heeft om dingen

578
00:34:36.115 --> 00:34:38.355
<v Mathijs Visscher>bijvoorbeeld van Microsoft af te nemen.

579
00:34:38.355 --> 00:34:43.685
<v Mathijs Visscher>Meer managed services. Dus dat zij zorgen dat de software waar alles op draait,

580
00:34:44.045 --> 00:34:48.068
<v Mathijs Visscher>up-to-date blijft en dat soort dingen. Dat je wat minder...

581
00:34:48.311 --> 00:34:52.755
<v Mathijs Visscher>Stel je zou alles zelf bouwen en weer een grote server hierboven neerzetten

582
00:34:52.755 --> 00:34:55.758
<v Mathijs Visscher>en alles open source gaan bouwen. Dan heb je veel meer...

583
00:34:56.874 --> 00:34:58.641
<v Mathijs Visscher>Veel meer plekken,

584
00:35:00.678 --> 00:35:04.021
<v Mathijs Visscher>waar aanvallen op kunnen gebeuren natuurlijk. Dan ben je opeens voor heel de

585
00:35:04.021 --> 00:35:04.781
<v Mathijs Visscher>stack verantwoordelijk.

586
00:35:04.781 --> 00:35:07.771
<v Saber Karmous>Ja, je bent verantwoordelijk. Want in principe is die attack service...

587
00:35:07.781 --> 00:35:10.201
<v Saber Karmous>die zou in principe ongeveer hetzelfde kunnen blijven.

588
00:35:10.201 --> 00:35:10.641
<v Mathijs Visscher>Zeker, zeker.

589
00:35:10.641 --> 00:35:14.581
<v Saber Karmous>Alleen Microsoft heeft er wel een heel groot leger... en meer ervaring.

590
00:35:14.581 --> 00:35:17.951
<v Saber Karmous>En die kunnen dat waarschijnlijk beter dan dat je dat zelf doet.

591
00:35:17.951 --> 00:35:20.335
<v Saber Karmous>Ja, dat is altijd het spanningveld hoor. Dit is wel een soort van...

592
00:35:21.181 --> 00:35:24.862
<v Saber Karmous>Het is niet heen en weergaand. Want nu, iedereen zit in de cloud inmiddels.

593
00:35:25.019 --> 00:35:28.751
<v Saber Karmous>Maar je krijgt natuurlijk nu andere vraagstukken van, kunnen we Amerikaanse

594
00:35:28.751 --> 00:35:32.061
<v Saber Karmous>bedrijven vertrouwen? Want de data staat daar, wat gaan die ermee doen?

595
00:35:32.781 --> 00:35:37.701
<v Saber Karmous>Moeten we alternatieven hebben? Moeten we het zelf doen? Dus dat is wel een actueel ding.

596
00:35:38.521 --> 00:35:45.621
<v Mathijs Visscher>100%. Al denk ik wel dat de moderne, de big data oplossingen die in de cloud zijn.

597
00:35:46.059 --> 00:35:49.911
<v Mathijs Visscher>Ja, dat is nog steeds, kan eigenlijk alleen maar over de Amerikaanse as.

598
00:35:49.911 --> 00:35:52.811
<v Mathijs Visscher>Want ook bijvoorbeeld de SAP Cloud is gewoon gehost bij Azure.

599
00:35:52.811 --> 00:35:57.541
<v Mathijs Visscher>Natuurlijk is het in Europa gehost, maar dan ben je toch altijd gelieerd aan Amerikaanse beleefd.

600
00:35:57.541 --> 00:36:02.241
<v Saber Karmous>Nee, dat begrijp ik ook. Dus waar het heen gaat, weet ik niet.

601
00:36:02.601 --> 00:36:05.311
<v Saber Karmous>De vraag was natuurlijk welke technologie is er over vijf jaar.

602
00:36:06.221 --> 00:36:10.019
<v Saber Karmous>Die voorspelling zou ik echt niet durven of kunnen invullen.

603
00:36:10.419 --> 00:36:11.968
<v Saber Karmous>Want alles verandert zo snel.

604
00:36:12.508 --> 00:36:15.291
<v Saber Karmous>Maar niet alleen op technologisch vlak, maar dus ook op politiek en weet ik

605
00:36:15.291 --> 00:36:17.356
<v Saber Karmous>wat allemaal. Wat voor vlakken nog meer.

606
00:36:18.134 --> 00:36:21.411
<v Saber Karmous>Je zei trouwens, dat is wel grappig. Je zei eerder van storage is niet per se

607
00:36:21.411 --> 00:36:25.061
<v Saber Karmous>een probleem. Maar juist nu is storage knijterduur.

608
00:36:26.001 --> 00:36:30.571
<v Saber Karmous>Dus het is echt wel iets wat iemand twee jaar geleden absoluut niet had kunnen

609
00:36:30.571 --> 00:36:33.421
<v Saber Karmous>voorspellen. Anders had ik heel veel aardig schijven gekocht.

610
00:36:33.821 --> 00:36:38.705
<v Mathijs Visscher>Ja, voor ISSD's en Mannerry is het extreem duur. Ja, dat is waar. Ja, dat is waar.

611
00:36:39.558 --> 00:36:40.138
<v Saber Karmous>Dus dat, ja.

612
00:36:40.478 --> 00:36:41.448
<v Mathijs Visscher>Dat zijn dingen veranderen wel.

613
00:36:41.448 --> 00:36:45.158
<v Saber Karmous>Dus er gebeuren heel veel dingen, zeg maar, die je gewoon echt niet kon voorspellen.

614
00:36:45.158 --> 00:36:48.748
<v Saber Karmous>En dat was misschien vijf jaar geleden iets makkelijker. En tien jaar geleden

615
00:36:48.748 --> 00:36:52.450
<v Saber Karmous>nog. Dus dat was wat rustiger. Maar nu is het echt zo enorm dynamisch dat je echt niet meer.

616
00:36:52.856 --> 00:36:56.918
<v Mathijs Visscher>Ja, als ik dan toch een inschatting moet doen. Dat wordt dan een beetje een

617
00:36:56.918 --> 00:37:00.089
<v Mathijs Visscher>flauw antwoord. Maar wat je nu bijvoorbeeld bij Fabric, maar ook bij Databricks ziet.

618
00:37:00.310 --> 00:37:02.558
<v Mathijs Visscher>Het gebruik van agents wordt gewoon veel belangrijker.

619
00:37:02.978 --> 00:37:03.358
<v Kishen Simbhoedatpanday>Oh ja.

620
00:37:04.158 --> 00:37:09.583
<v Mathijs Visscher>Dus ja, dat je niet meer. Nou ja, Nicky, hoeveel code schrijf jij nu nog zelf? in procenten.

621
00:37:09.751 --> 00:37:12.878
<v Nicky Boon>Ik wil dat eigenlijk niet in de podcast vertellen natuurlijk, maar 100 procent.

622
00:37:13.418 --> 00:37:15.178
<v Kishen Simbhoedatpanday>Je moet per regel betaal natuurlijk.

623
00:37:16.758 --> 00:37:20.468
<v Nicky Boon>Nee, ik krijg elke vrijdag van mijn manager mailtjes, zoals bij Elon Musk,

624
00:37:20.468 --> 00:37:21.698
<v Nicky Boon>hoeveel code heb je deze week?

625
00:37:24.218 --> 00:37:27.448
<v Nicky Boon>Nee, maar het is afgelopen jaar natuurlijk, als ik alleen al afgelopen jaar

626
00:37:27.448 --> 00:37:33.318
<v Nicky Boon>zie, is het zoveel minder geworden, want ik weet nog dat wij vorig jaar rond de kerstdagen nog met,

627
00:37:34.119 --> 00:37:37.798
<v Nicky Boon>wat vorige versies van Copilot flink hebben zitten vloeken, omdat hij dan voor

628
00:37:37.798 --> 00:37:40.273
<v Nicky Boon>de simpelste dingen niet deed wat je vroeg en dat je dacht nou,

629
00:37:40.844 --> 00:37:42.048
<v Nicky Boon>ik doe het zelf wel, zeg maar.

630
00:37:42.048 --> 00:37:45.518
<v Nicky Boon>Ja, precies. Ik doe het alles zelf. Het kost nu alleen maar tijd en heel veel energie.

631
00:37:46.158 --> 00:37:48.768
<v Nicky Boon>Maar dat zal echt veranderen natuurlijk. Die kwaliteit is zo snel omhoog gegaan

632
00:37:48.768 --> 00:37:53.621
<v Nicky Boon>dat, ja, voor echt simpele dingen schrijf je eigenlijk niks meer zelf.

633
00:37:54.921 --> 00:37:58.149
<v Nicky Boon>En je ziet dat je al veel meer naar een rol toe gaat waar je,

634
00:37:58.781 --> 00:38:02.011
<v Nicky Boon>...nadenkt over wat de oplossing moet zijn... ...en dat goed gaat uittekenen...

635
00:38:02.101 --> 00:38:02.101
<v Saber Karmous>...en.

636
00:38:02.101 --> 00:38:04.151
<v Nicky Boon>Goed gaat bespreken met elkaar... ...en dan

637
00:38:04.151 --> 00:38:08.017
<v Nicky Boon>zorgt dat je met een volledig informatiepakket... ...gaat kijken van...

638
00:38:09.201 --> 00:38:12.556
<v Nicky Boon>...hoe zou zo'n model dit bijvoorbeeld oplossen... ...en dan gaat kijken van...

639
00:38:12.928 --> 00:38:15.711
<v Nicky Boon>...ik zie dat hij dit wel goed doet en dat niet... ...en dan ga je een beetje tweaken daar...

640
00:38:15.801 --> 00:38:19.461
<v Nicky Boon>...maar dat je eigenlijk al meer code aan tweaken bent... ...dan echt volledig

641
00:38:19.461 --> 00:38:21.001
<v Nicky Boon>zelf nog dingen schrijven.

642
00:38:21.001 --> 00:38:24.861
<v Mathijs Visscher>We hadden het gisteren nog... ...een refactor van een bepaald patroon...

643
00:38:24.861 --> 00:38:25.801
<v Mathijs Visscher>...waren we aan het uittekenen...

644
00:38:25.961 --> 00:38:28.731
<v Mathijs Visscher>En dan hebben we denk ik wel een uur, anderhalf uur getekend.

645
00:38:28.731 --> 00:38:32.112
<v Mathijs Visscher>En toen zei ik tegen een collega toen het klaar was van...

646
00:38:32.408 --> 00:38:34.141
<v Mathijs Visscher>Nou, we hebben het nu uitgetekend, maar je moet het nu nog maken.

647
00:38:34.141 --> 00:38:36.379
<v Mathijs Visscher>En toen zei hij, ja, volgens mij hebben we het moeilijkst al gehad.

648
00:38:36.936 --> 00:38:39.801
<v Mathijs Visscher>We hebben al bedacht hoe je moet werken. En als je overal aan gedachten hebt,

649
00:38:39.801 --> 00:38:41.201
<v Mathijs Visscher>dan is eigenlijk de uitvoering...

650
00:38:41.541 --> 00:38:45.101
<v Mathijs Visscher>Wat vroeger, echt vroeger, een jaar geleden nog, gewoon heel veel werk was.

651
00:38:45.101 --> 00:38:46.520
<v Kishen Simbhoedatpanday>Bizar hè, hoe zo dat gaat.

652
00:38:46.822 --> 00:38:51.159
<v Mathijs Visscher>Ja, en dus om nog even op die vraag terug te komen van... Wat is er over vijf jaar verdwenen?

653
00:38:51.298 --> 00:38:55.774
<v Mathijs Visscher>Ja, dus tools die niet goed meegaan nu.

654
00:38:56.139 --> 00:39:00.601
<v Mathijs Visscher>Je ziet bijvoorbeeld bij Fabric dat ze de agents steeds meer context geven.

655
00:39:00.981 --> 00:39:06.840
<v Mathijs Visscher>Dus als een agent heel veel van jouw werk kan zien, hoe jouw datamodellen er bijvoorbeeld uitzien.

656
00:39:06.985 --> 00:39:09.504
<v Mathijs Visscher>Als hij al ziet hoe het uiteindelijk een datamodel moet worden,

657
00:39:09.847 --> 00:39:13.421
<v Mathijs Visscher>dan kan hij veel sneller voor jou die ETL schrijven. Dus kan hij veel sneller

658
00:39:13.421 --> 00:39:15.646
<v Mathijs Visscher>die Python script schrijven om de data ook zo te krijgen.

659
00:39:16.247 --> 00:39:21.631
<v Mathijs Visscher>Dus wat je bij Fabric ziet is dat ze zorgen dat die agents steeds meer van wat

660
00:39:21.631 --> 00:39:24.859
<v Mathijs Visscher>je aan het doen bent qua code, qua data, qua modellen.

661
00:39:25.057 --> 00:39:27.791
<v Mathijs Visscher>...steeds meer context gaat verkrijgen... ...waardoor die ook steeds beter kan helpen.

662
00:39:28.366 --> 00:39:31.127
<v Mathijs Visscher>Ik denk de tools die daar niet goed mee omgaan...

663
00:39:32.101 --> 00:39:35.971
<v Mathijs Visscher>...die dat niet ook zo snel mogelijk in een... ...ja, dat duurt het gewoon veel

664
00:39:35.971 --> 00:39:38.203
<v Mathijs Visscher>langer om je werk te doen... ...en dan wordt het steeds interessanter...

665
00:39:38.535 --> 00:39:40.618
<v Mathijs Visscher>...om te switchen van software...

666
00:39:41.880 --> 00:39:47.560
<v Mathijs Visscher>En dat is denk ik breder dan alleen data engineering. Ik kan me ook voor financiële

667
00:39:47.560 --> 00:39:49.060
<v Mathijs Visscher>systemen, kan ik me dit ook voorstellen.

668
00:39:50.684 --> 00:39:57.806
<v Mathijs Visscher>Als jij in je CRM systeem je NLM al ernaast hebt en je zegt van ik heb deze en deze gesproken.

669
00:39:58.109 --> 00:40:03.160
<v Mathijs Visscher>Hier is een transcriptie van het gesprek. Vul me aan en je bent nou vijf minuten klaar.

670
00:40:03.760 --> 00:40:07.250
<v Mathijs Visscher>Dan heb je geen zin om in je oude CRM systeem dat allemaal met het handje over

671
00:40:07.250 --> 00:40:09.166
<v Mathijs Visscher>te typen, de klant op te zoeken, et cetera, et cetera.

672
00:40:10.320 --> 00:40:15.860
<v Mathijs Visscher>Dus ik denk, ja, in algemene zin, bedrijven die niet meegaan om dit goed in

673
00:40:15.860 --> 00:40:18.520
<v Mathijs Visscher>hun software te krijgen, ja, die gaan het verliezen van de bedrijven die wel

674
00:40:18.520 --> 00:40:19.823
<v Mathijs Visscher>daar heel innovatief mee bezig zijn.

675
00:40:20.084 --> 00:40:24.304
<v Kishen Simbhoedatpanday>Ja, klopt. Ik wil er nog even een leuke stelling in gooien.

676
00:40:24.630 --> 00:40:28.609
<v Kishen Simbhoedatpanday>Dat is een beetje een raakvlak ook. Nou, iedereen die wil AI,

677
00:40:28.789 --> 00:40:33.480
<v Kishen Simbhoedatpanday>toch? Dat is wel heel erg duidelijk. Zelfs wij, jij wil het ook volgens mij. Ik zie het aan je.

678
00:40:33.480 --> 00:40:34.470
<v Saber Karmous>Heel veel mensen, ja.

679
00:40:34.470 --> 00:40:40.219
<v Kishen Simbhoedatpanday>Ja, jij wil het gewoon. maar niemand die wil eerst zijn data op orde brengen.

680
00:40:41.234 --> 00:40:41.936
<v Kishen Simbhoedatpanday>Zin wel ervan.

681
00:40:42.544 --> 00:40:47.388
<v Nicky Boon>Volgens mij heeft Mathijs eerder al de gevleugelde uitspraak shit in, shit out.

682
00:40:47.976 --> 00:40:48.666
<v Kishen Simbhoedatpanday>Ja, we zien beginnen.

683
00:40:48.666 --> 00:40:52.009
<v Nicky Boon>Of garbage in, garbage out en iets netterder woorden.

684
00:40:53.302 --> 00:40:56.896
<v Nicky Boon>Ja, ik denk dat dat een beetje het antwoord is op als je niet wil zorgen dat

685
00:40:56.896 --> 00:40:59.496
<v Nicky Boon>je datakwaliteit hoog genoeg is om die modellen op te doen.

686
00:41:00.832 --> 00:41:02.376
<v Kishen Simbhoedatpanday>Zien we dat ook veel in de praktijk?

687
00:41:03.043 --> 00:41:05.936
<v Nicky Boon>Nou, ik denk dat we dat wel bijvoorbeeld... Ook buiten Stedin trouwens ook.

688
00:41:05.956 --> 00:41:09.946
<v Nicky Boon>Ja, bij die eerdere modellen bijvoorbeeld ook van, ik refereer nog maar graag

689
00:41:09.946 --> 00:41:15.280
<v Nicky Boon>terug aan een jaar geleden toen wij met Microsoft Copilot wat eerdere versies aan het klooien waren.

690
00:41:16.630 --> 00:41:21.586
<v Nicky Boon>Of soms als je AI-modellen bepaalde vragen, die is van, nou ja,

691
00:41:21.586 --> 00:41:24.606
<v Nicky Boon>misschien weet ik veel wat obscuurder zijn of waar ze gewoon oude informatie

692
00:41:24.606 --> 00:41:29.388
<v Nicky Boon>nog voor gebruiken voor een wat goedkoper model, dat die informatie gewoon niet op orde is.

693
00:41:29.670 --> 00:41:33.146
<v Nicky Boon>Dus je ziet dat eigenlijk direct terugkomen en dus ook om het wel een beetje

694
00:41:33.146 --> 00:41:34.840
<v Nicky Boon>binnen ons werkveld te houden met die,

695
00:41:35.618 --> 00:41:39.336
<v Nicky Boon>code zoals nu, dus die modellen die meer context hebben, zoals bijvoorbeeld

696
00:41:39.336 --> 00:41:43.566
<v Nicky Boon>wij gebruiken dan veel GitHub Copilot ook en dat zit in onze Visual Studio Code

697
00:41:43.566 --> 00:41:45.676
<v Nicky Boon>en die heeft toegang tot een repository en soms

698
00:41:46.056 --> 00:41:50.436
<v Nicky Boon>heb ik informatie nodig over meerdere repositories, kan ik die allemaal erin

699
00:41:50.436 --> 00:41:51.873
<v Nicky Boon>gooien en heeft die al die context.

700
00:41:52.709 --> 00:41:55.136
<v Nicky Boon>Dan kost het wel een hoop van betokens vaak om dat goed uit te lezen,

701
00:41:55.136 --> 00:41:55.966
<v Nicky Boon>maar dat is even wat anders.

702
00:41:56.626 --> 00:42:00.576
<v Nicky Boon>Maar dan merk je gewoon dat hij is ervan, omdat hij tot veel meer van de relevante

703
00:42:00.576 --> 00:42:03.976
<v Nicky Boon>informatie beschikking heeft, dat hij tot een veel beter antwoord kan komen

704
00:42:03.976 --> 00:42:09.456
<v Nicky Boon>dan wanneer je gewoon zegt, hé, dit is mijn add-or, dit is mijn probleem, hier is mijn code.

705
00:42:10.011 --> 00:42:13.196
<v Nicky Boon>En dan gaat hij misschien uit luiheid, pakt hij gewoon, want die dingen zijn

706
00:42:13.196 --> 00:42:16.106
<v Nicky Boon>natuurlijk ook zo lui mogelijk, omdat ze zo snel mogelijk willen antwoorden,

707
00:42:16.526 --> 00:42:20.586
<v Nicky Boon>pakt hij het eerste antwoord wat hij heeft gevonden op een oud Reddit-forum.

708
00:42:21.548 --> 00:42:24.626
<v Nicky Boon>Wat helemaal niet relevant is voor jou. En dat brengt hij dan natuurlijk met,

709
00:42:24.626 --> 00:42:28.575
<v Nicky Boon>hey, goede vraag. Ik heb hier een supergoed antwoord. Dit werkt met een raketje erbij.

710
00:42:29.386 --> 00:42:33.426
<v Nicky Boon>En dan werkt het niet, omdat hij gewoon niet tot die datakwaliteit eronder eigenlijk

711
00:42:33.426 --> 00:42:34.636
<v Nicky Boon>veel lager is van dat model.

712
00:42:35.158 --> 00:42:42.577
<v Kishen Simbhoedatpanday>Ja, dus eigenlijk kunnen we ook wel zeggen dat AI-problemen zijn over het algemeen dataproblemen.

713
00:42:42.936 --> 00:42:47.016
<v Nicky Boon>In deze context wel. Er zijn denk ik ook nog wel wat andere contexten te schetsen.

714
00:42:47.016 --> 00:42:48.973
<v Nicky Boon>Maar in deze context, ja.

715
00:42:49.613 --> 00:42:52.656
<v Mathijs Visscher>Ja, het houdt ook een beetje van wat je met AI bedoelt. Soms wordt er ook mee

716
00:42:52.656 --> 00:42:57.723
<v Mathijs Visscher>bedoeld dat bedrijven voorspelmodellen gebaseerd op hun data willen bouwen.

717
00:42:58.586 --> 00:43:03.036
<v Mathijs Visscher>Bijvoorbeeld bij Stedin gaan voorspellen waar het licht gaat uitvallen.

718
00:43:03.036 --> 00:43:06.426
<v Mathijs Visscher>Omdat er te veel stoom op het net. En dat ze dan misschien hier en daar een,

719
00:43:07.086 --> 00:43:09.585
<v Mathijs Visscher>zonnepanelenpark kunnen uitzetten op afstand of zo. Weet je, dat soort dingen.

720
00:43:10.141 --> 00:43:12.666
<v Mathijs Visscher>Ja, je kan je voorstellen als je je data engineering niet goed doet.

721
00:43:12.666 --> 00:43:14.350
<v Mathijs Visscher>En er zit heel veel foutieve data in.

722
00:43:14.559 --> 00:43:17.776
<v Mathijs Visscher>Ja, dan kan je AI model nog zo goed zijn. maar die gaat dan echt niet kunnen

723
00:43:17.776 --> 00:43:19.487
<v Mathijs Visscher>voorspellen waar het licht gaat uitvallen.

724
00:43:20.170 --> 00:43:25.486
<v Mathijs Visscher>En ja, het klinkt minder sexy. Het is toch data engineering.

725
00:43:26.368 --> 00:43:30.656
<v Mathijs Visscher>Ja, je wil AI, je wil gewoon spannende dingen doen. Dus databranden combineren

726
00:43:30.656 --> 00:43:33.286
<v Mathijs Visscher>en opschonen. Ja, niemand houdt van poetsen, toch? Nee, klopt.

727
00:43:34.746 --> 00:43:38.946
<v Kishen Simbhoedatpanday>Ja, daarom. Daarom dat we ook dachten om dit onderwerp gewoon even in onze podcast

728
00:43:38.946 --> 00:43:42.814
<v Kishen Simbhoedatpanday>een keer de revue te laten passeren om even de aandacht ervoor weer te geven.

729
00:43:43.209 --> 00:43:47.516
<v Mathijs Visscher>Nou ja, je hoort ook, dat is volgens mij zelfs een van onze afdeling objectives

730
00:43:47.516 --> 00:43:50.509
<v Mathijs Visscher>om meer AI te gebruiken of zo.

731
00:43:50.625 --> 00:43:52.773
<v Nicky Boon>Ja, dat bedoel je ze graag managers natuurlijk.

732
00:43:52.906 --> 00:43:54.296
<v Kishen Simbhoedatpanday>Ja, precies. Wij willen AI.

733
00:43:54.296 --> 00:43:56.128
<v Mathijs Visscher>Wij willen AI, ja. Wat dan?

734
00:43:57.341 --> 00:44:04.947
<v Saber Karmous>Ik vind het sowieso niet irritant, want AI is natuurlijk een enorm grote vakgebied.

735
00:44:05.955 --> 00:44:09.079
<v Saber Karmous>Nu wordt AI synoniem aan LLM gebruik.

736
00:44:09.615 --> 00:44:12.545
<v Saber Karmous>Dat is eigenlijk wat er nu vooral is. Als je dan in willekeurig iemand buiten,

737
00:44:12.545 --> 00:44:14.657
<v Saber Karmous>dan is het oh, chat, GPT of misschien klaar.

738
00:44:16.070 --> 00:44:18.357
<v Saber Karmous>Maar het is natuurlijk veel breder. Dus machine learning, ik bedoel,

739
00:44:18.554 --> 00:44:21.725
<v Saber Karmous>tien jaar geleden was machine learning helemaal hot.

740
00:44:22.340 --> 00:44:25.788
<v Saber Karmous>En nu is het nog steeds AI, maar LLMs.

741
00:44:26.340 --> 00:44:29.425
<v Saber Karmous>Maar vinden jullie dat niet irritant of zo? Of hebben jullie zoiets van,

742
00:44:29.425 --> 00:44:33.699
<v Saber Karmous>nee, jullie weten niet waar jullie het over hebben. Want dit is zeg maar ML,

743
00:44:34.049 --> 00:44:37.384
<v Saber Karmous>dit is AI en dit is, of ze is AI, LLM modelgebruik.

744
00:44:39.315 --> 00:44:42.799
<v Saber Karmous>Hebben jullie dat nooit? Of hebben jullie zoiets van, oh nee, we go with the flow.

745
00:44:43.635 --> 00:44:47.245
<v Mathijs Visscher>Ja, LLM is een onderdeel van AI.

746
00:44:47.295 --> 00:44:47.803
<v Saber Karmous>Ja, ja.

747
00:44:49.663 --> 00:44:56.411
<v Mathijs Visscher>En ja, dus wat de meeste mensen thuis zien is inderdaad hun appje GCPT op de telefoon.

748
00:44:56.411 --> 00:45:00.651
<v Mathijs Visscher>Dus ja, tuurlijk dat is oké, maar het is natuurlijk artificial intelligence

749
00:45:00.651 --> 00:45:07.351
<v Mathijs Visscher>betekent niks anders dan een computer die dingen beslist of dingen voorspelt

750
00:45:07.351 --> 00:45:10.816
<v Mathijs Visscher>of dingen kan zonder dat jij hoeft te helpen, zeg maar.

751
00:45:11.483 --> 00:45:14.221
<v Mathijs Visscher>Dingen kan leren, dat soort dingen. Dat is natuurlijk heel breed.

752
00:45:15.435 --> 00:45:19.713
<v Mathijs Visscher>Wat ik voornamelijk irritant vind is dat je als team een objective krijgt van

753
00:45:20.050 --> 00:45:22.161
<v Mathijs Visscher>gebruik meer AI, maar dat is natuurlijk geen doel op zich.

754
00:45:23.010 --> 00:45:28.961
<v Mathijs Visscher>Wat is het doel wat je wil bereiken? Efficiënte werken, innoveren of iets van. Ja, klopt.

755
00:45:29.221 --> 00:45:33.821
<v Mathijs Visscher>Dus AI is geen doel. Het is gewoon een verzameling van tools,

756
00:45:34.941 --> 00:45:36.114
<v Mathijs Visscher>van computers die dingen kunnen.

757
00:45:37.409 --> 00:45:40.481
<v Mathijs Visscher>Dat vind ik wel, dat is irritant. Ja, dat mensen denken dat AI is LLM.

758
00:45:40.581 --> 00:45:41.511
<v Mathijs Visscher>En dan denk ik, ja, nee, oké.

759
00:45:41.511 --> 00:45:42.501
<v Saber Karmous>Dat maakt niet uit.

760
00:45:42.501 --> 00:45:44.701
<v Nicky Boon>Er zijn grotere problemen in de wereld.

761
00:45:45.781 --> 00:45:46.541
<v Saber Karmous>Ja, dat is zeker zo.

762
00:45:47.181 --> 00:45:50.813
<v Kishen Simbhoedatpanday>Ja. Ja, oké. Ik had hier ook nog een vraag over...

763
00:45:51.609 --> 00:45:55.871
<v Kishen Simbhoedatpanday>Ja, wat maakt data engineering nou zo belangrijk voor AI? Maar volgens mij hebben

764
00:45:55.871 --> 00:45:57.761
<v Kishen Simbhoedatpanday>we dit eigenlijk al een beetje beantwoord.

765
00:45:58.046 --> 00:46:00.641
<v Kishen Simbhoedatpanday>Ik bedoel, de data quality, toch?

766
00:46:01.641 --> 00:46:04.826
<v Kishen Simbhoedatpanday>Dus je moet ervoor zorgen dat je datasturing ook goed op orde hebt.

767
00:46:05.267 --> 00:46:05.517
<v Mathijs Visscher>Ja.

768
00:46:07.444 --> 00:46:10.594
<v Saber Karmous>Wat ik merk, maar dat is voor software development in het algemeen,

769
00:46:10.594 --> 00:46:14.064
<v Saber Karmous>wat wij, bijvoorbeeld stel iemand bouwt, stel Kishen maakt iets.

770
00:46:14.644 --> 00:46:18.984
<v Saber Karmous>En dat is echt supergoed. Nee, die heeft de poolrequest gemaakt, ik wil gaan reviewen.

771
00:46:19.544 --> 00:46:23.984
<v Saber Karmous>En ik moet die, ik ben met mijn eigen werk ook bezig. En dan wil ik zijn werk

772
00:46:23.984 --> 00:46:28.984
<v Saber Karmous>reviewen. Maar vroeger, dan ging ik niet helemaal zijn brain's uitchecken,

773
00:46:29.444 --> 00:46:32.829
<v Saber Karmous>te zorgen dat mijn data in de juiste state komt en dat ik de juiste dingen heb.

774
00:46:33.125 --> 00:46:36.344
<v Saber Karmous>Terwijl nu kun je dat wel. Nu kun je gewoon tegen colloot van oké,

775
00:46:36.644 --> 00:46:42.233
<v Saber Karmous>zorgen dat je dit kunt testen en ik wil het gewoon draaien vanuit een bepaalde folder.

776
00:46:42.981 --> 00:46:47.844
<v Saber Karmous>En al die stappen die deed je niet, misschien uit luiheid, want het kost veel tijd.

777
00:46:49.764 --> 00:46:54.164
<v Saber Karmous>Merken jullie dat ook bij data engineering?

778
00:46:54.164 --> 00:47:00.294
<v Saber Karmous>Dus dat je met bepaalde LLM-modellen dat je data genereert, zodat je even heel

779
00:47:00.294 --> 00:47:03.274
<v Saber Karmous>snel kunt zien van oké, deze hypothese

780
00:47:03.274 --> 00:47:06.664
<v Saber Karmous>komt wel over een moment wat ik had verwacht. Of deden jullie dat al?

781
00:47:07.264 --> 00:47:11.104
<v Nicky Boon>Nou, ik denk wel, ik heb misschien nog wel van vanmorgen een graal voorbeeld

782
00:47:11.104 --> 00:47:14.803
<v Nicky Boon>waar we dus op een van onze patronen ook een refactor hadden gedaan.

783
00:47:15.264 --> 00:47:17.404
<v Nicky Boon>Ik zal niet teveel op de details neergaan, want dat is helemaal niet interessant

784
00:47:17.404 --> 00:47:19.044
<v Nicky Boon>natuurlijk. Zowel voor jullie als voor de luisteraar.

785
00:47:19.504 --> 00:47:22.484
<v Nicky Boon>Maar waar ik dus ook aan, in dit geval GitHub-koop uit, heb ik gevraagd van,

786
00:47:22.484 --> 00:47:26.347
<v Nicky Boon>hey, ik heb helemaal geen zin om dit te testen, maar goed dat jij er bent.

787
00:47:28.089 --> 00:47:33.088
<v Nicky Boon>Kan jij voor mij een script genereren en even die data klaarzet,

788
00:47:34.244 --> 00:47:38.374
<v Nicky Boon>moet aan deze eisen voldoen, check wat allemaal nu veranderd is en schrijf het

789
00:47:38.374 --> 00:47:41.667
<v Nicky Boon>uit met elke keer een stukje tekst wat je nu test.

790
00:47:42.085 --> 00:47:45.994
<v Nicky Boon>Maak testcases en print weer uit wat er wel of niet goed is te gaan.

791
00:47:45.994 --> 00:47:49.814
<v Nicky Boon>en zo heb ik gewoon in een minuut dat hele script dat ik stap voor stap kunnen

792
00:47:49.814 --> 00:47:53.934
<v Nicky Boon>doorlopen of alle functionaliteiten nog steeds hetzelfde waren als dat ik verwacht

793
00:47:53.934 --> 00:47:55.344
<v Nicky Boon>dat ik hem die eisen meegegeven.

794
00:47:55.344 --> 00:47:55.801
<v Kishen Simbhoedatpanday>Precies.

795
00:47:56.368 --> 00:47:59.584
<v Nicky Boon>En anders, als ik dat helemaal zelf had moeten testen dan was ik nooit natuurlijk

796
00:47:59.584 --> 00:48:01.104
<v Nicky Boon>in een half uurtje of een uurtje klaar geweest.

797
00:48:01.697 --> 00:48:04.814
<v Nicky Boon>Dus ik gebruik het daar wel graag voor. Tegelijkertijd moet ik wel ook zeggen

798
00:48:04.814 --> 00:48:07.857
<v Nicky Boon>dat wat we ook af en toe al zien binnen het team is dat,

799
00:48:09.107 --> 00:48:12.814
<v Nicky Boon>Die modellen hebben er soms ook wel een handje van om veel code te refactoren.

800
00:48:12.814 --> 00:48:18.844
<v Nicky Boon>Omdat ze dan weer een nieuwe skill ergens is aangezet. Of misschien het laatste

801
00:48:18.844 --> 00:48:21.901
<v Nicky Boon>van het laatste. Waar wij dan helemaal geen verstand meer per se van hebben.

802
00:48:22.285 --> 00:48:25.444
<v Nicky Boon>Dat het soms ook wel moeilijker wordt juist om te reviewen. Omdat de PR's ook

803
00:48:25.444 --> 00:48:26.454
<v Nicky Boon>wel groter zijn geworden.

804
00:48:26.454 --> 00:48:31.924
<v Nicky Boon>Omdat je best veel tegelijk kan doen. Dus dat het ook wel belangrijk is om of

805
00:48:31.924 --> 00:48:34.684
<v Nicky Boon>ergens in een integratietest goed die change nog op te pakken.

806
00:48:34.684 --> 00:48:39.254
<v Nicky Boon>Of dus wel goed dat ook daadwerkelijk zelf gaan testen. Waar je vroeger misschien

807
00:48:39.254 --> 00:48:43.174
<v Nicky Boon>makkelijker, ja, had iemand dertig regels code aangepast, kon je het nog wel lezen.

808
00:48:43.174 --> 00:48:43.536
<v Saber Karmous>Ja, ja, ja.

809
00:48:43.899 --> 00:48:45.414
<v Nicky Boon>Dat is wel, ja, ik merk dat dat wel echt...

810
00:48:46.393 --> 00:48:47.954
<v Saber Karmous>Ik denk dat dat er al van meenig is.

811
00:48:47.954 --> 00:48:48.256
<v Nicky Boon>Ja.

812
00:48:49.023 --> 00:48:54.444
<v Mathijs Visscher>Ja, en om daar nog op aan te vullen, we zijn nu wel, dus de data-engineers die

813
00:48:54.444 --> 00:48:58.854
<v Mathijs Visscher>het platform gebruiken, gebruiken eigenlijk nog relatief weinig NLM's.

814
00:48:58.854 --> 00:49:00.092
<v Mathijs Visscher>natuurlijk ze gebruiken ze wel...

815
00:49:00.492 --> 00:49:03.504
<v Mathijs Visscher>maar echt de kracht... dus eigenlijk wat Nicky zegt... dus in een soort van

816
00:49:03.504 --> 00:49:06.154
<v Mathijs Visscher>hybride vorm... dat dus de NLM een soort van...

817
00:49:07.254 --> 00:49:11.395
<v Mathijs Visscher>de context snappen... en voor jou een soort van test script gaan genereren. Want ik geloof wel...

818
00:49:12.173 --> 00:49:16.416
<v Mathijs Visscher>Gewoon volledig die agents alles laten testen. Uiteindelijk is dat ook aan het

819
00:49:16.416 --> 00:49:17.526
<v Mathijs Visscher>einde van de rit een stuk duurder.

820
00:49:18.046 --> 00:49:20.386
<v Mathijs Visscher>Je kan beter dat een agent er maar één keer over na hoeft te denken.

821
00:49:20.386 --> 00:49:23.106
<v Mathijs Visscher>Eén keer een testscript maakt. Dat je dat testscript gewoon steeds kan hergebruiken.

822
00:49:23.106 --> 00:49:23.966
<v Saber Karmous>Dat is altijd nog goedkoper.

823
00:49:23.966 --> 00:49:25.386
<v Mathijs Visscher>Dan dat je de hele tijd de agent alles laat testen.

824
00:49:25.386 --> 00:49:25.809
<v Saber Karmous>Klopt, ja.

825
00:49:26.135 --> 00:49:29.436
<v Mathijs Visscher>Maar daar zijn we nu druk mee om daar beter over na te denken.

826
00:49:29.436 --> 00:49:35.108
<v Mathijs Visscher>Hoe kan een data engineer de huidige technieken met agent beter in zijn werk gaan toepassen?

827
00:49:35.445 --> 00:49:38.416
<v Mathijs Visscher>Dat wordt ook steeds meer van ons als data platform engineer.

828
00:49:38.416 --> 00:49:41.426
<v Mathijs Visscher>Wordt dat ook steeds meer onder deur van ons werk. van hoe kunnen wij ook agents

829
00:49:41.426 --> 00:49:44.186
<v Mathijs Visscher>ontwikkelen die de detentie neerweer kunnen gebruiken om bijvoorbeeld een soort

830
00:49:44.186 --> 00:49:47.866
<v Mathijs Visscher>test te maken, snelle ETL te kunnen bouwen, et cetera, et cetera.

831
00:49:47.866 --> 00:49:51.086
<v Saber Karmous>Ja. Oh, ja, ja, ja.

832
00:49:51.086 --> 00:49:51.166
<v Kishen Simbhoedatpanday>Ja.

833
00:49:51.166 --> 00:49:54.496
<v Saber Karmous>Ja, nou ja, dat wordt bij ons ook weleens gezegd van ja, soms is het gewoon

834
00:49:54.496 --> 00:49:55.822
<v Saber Karmous>automatiseren en geen AI.

835
00:49:56.378 --> 00:49:59.486
<v Saber Karmous>Want dan, dus precies wat jij zegt, je maakt de script om het te automatiseren

836
00:49:59.486 --> 00:50:02.126
<v Saber Karmous>en dan gebruik je iedere keer dat script en niet iedere keer opnieuw AI.

837
00:50:02.126 --> 00:50:05.816
<v Saber Karmous>Want dan, dat kost je gewoon tokens. En dat is ook niet zo slim,

838
00:50:05.816 --> 00:50:09.086
<v Saber Karmous>omdat het ook niet deterministisch is. Je krijgt niet altijd hetzelfde resultaat.

839
00:50:09.086 --> 00:50:10.276
<v Mathijs Visscher>Exact, precies.

840
00:50:10.276 --> 00:50:11.252
<v Saber Karmous>Dus dat, ja.

841
00:50:11.884 --> 00:50:15.716
<v Kishen Simbhoedatpanday>Ja, want iets wat je net beschreven was, volgens mij, Nicky,

842
00:50:15.716 --> 00:50:19.048
<v Kishen Simbhoedatpanday>je had het net over, dus dat je die testen zeg maar laat genereren.

843
00:50:19.477 --> 00:50:22.676
<v Kishen Simbhoedatpanday>Maar dat klinkt een beetje als regressietesten, toch? Dus je bouwt iets volgens

844
00:50:22.676 --> 00:50:24.646
<v Kishen Simbhoedatpanday>specs en je kijkt of dat nog steeds hetzelfde wordt.

845
00:50:24.646 --> 00:50:25.066
<v Nicky Boon>Ik zie het wel, ja.

846
00:50:25.486 --> 00:50:32.236
<v Kishen Simbhoedatpanday>Iets wat, zou je ook, weet je wel, ik hou ook heel erg van nadenken over niet

847
00:50:32.236 --> 00:50:35.706
<v Kishen Simbhoedatpanday>alleen maar de regressie, maar ook dingen die er eventueel daarnaast nog fout

848
00:50:35.706 --> 00:50:38.476
<v Kishen Simbhoedatpanday>zouden kunnen gaan. Dus ook naar de failure scenario's, gaten,

849
00:50:38.476 --> 00:50:39.639
<v Kishen Simbhoedatpanday>edge cases en dat soort dingen.

850
00:50:40.726 --> 00:50:43.646
<v Kishen Simbhoedatpanday>Passen jullie ook dat soort dingen toe tijdens jullie, noem het maar even,

851
00:50:43.646 --> 00:50:45.956
<v Kishen Simbhoedatpanday>definiëren van wat er getest zou moeten worden?

852
00:50:45.956 --> 00:50:49.816
<v Nicky Boon>Ja, ik denk dat een van de dingen waar ik zelf het meest blij mee ben,

853
00:50:49.816 --> 00:50:52.526
<v Nicky Boon>wat we afgelopen maanden vrij goed hebben ingericht, is,

854
00:50:53.046 --> 00:50:56.349
<v Nicky Boon>goede integratietest, waar we gewoon altijd dat onze eigen code,

855
00:50:56.570 --> 00:51:00.146
<v Nicky Boon>ook omdat, nou ja, die context al geschetst, maar wij maken in principe code

856
00:51:00.146 --> 00:51:03.594
<v Nicky Boon>die weer door andere engineers gebruikt wordt. Dus op het moment dat we die code...

857
00:51:04.035 --> 00:51:07.617
<v Nicky Boon>uit het development gaan trekken... en richting een hogere omgeving gaan pushen... dat we eerst...

858
00:51:08.341 --> 00:51:12.087
<v Nicky Boon>...allemaal scenario's gaan checken van... ...hé, onze core functionaliteiten...

859
00:51:12.087 --> 00:51:14.307
<v Nicky Boon>...doen die nog wat verwachten? Kunnen we nog deployen?

860
00:51:14.867 --> 00:51:17.907
<v Nicky Boon>Werken alle ingestion patronen nog? Kunnen we nog tabellen wegschrijven?

861
00:51:17.907 --> 00:51:20.077
<v Nicky Boon>Etcetera. Al die functionaliteiten die wij beschikbaar maken...

862
00:51:20.107 --> 00:51:21.807
<v Nicky Boon>...dat die nog steeds werken...

863
00:51:22.767 --> 00:51:26.807
<v Nicky Boon>...voordat er honderd engineers... ...aan ons, nou ja, digitale bureautje staan.

864
00:51:26.807 --> 00:51:30.567
<v Nicky Boon>Ja, precies. Wat hebben jullie nu weer ongetest? Op de productie gezet.

865
00:51:31.540 --> 00:51:34.830
<v Nicky Boon>Dus we zijn er zeker mee bezig. Ook omdat, ja, we dragen natuurlijk...

866
00:51:35.322 --> 00:51:37.507
<v Nicky Boon>...zonder het groter te maken dan het is... Maar we dragen natuurlijk bepaalde

867
00:51:37.507 --> 00:51:40.204
<v Nicky Boon>verantwoordelijkheid dat andere mensen hun werk kunnen uitvoeren.

868
00:51:40.936 --> 00:51:44.117
<v Nicky Boon>En dat moet je ook wel serieus nemen. En als we dat niet doen,

869
00:51:44.117 --> 00:51:46.827
<v Nicky Boon>worden we ook altijd wel redelijk hard gestraft. Wat betreft TurkTorin engineers.

870
00:51:47.367 --> 00:51:48.667
<v Nicky Boon>Die zijn dan terecht ook pissig.

871
00:51:48.667 --> 00:51:49.527
<v Saber Karmous>Ja, dat snap ik.

872
00:51:49.927 --> 00:51:55.127
<v Mathijs Visscher>Maar dat is best wel lastig, zo'n framework. Want als je gewoon een app bouwt,

873
00:51:55.447 --> 00:51:59.444
<v Mathijs Visscher>bijvoorbeeld een app waarop je, weet ik veel, auto's kan kopen, zeg maar wat.

874
00:51:59.629 --> 00:52:03.767
<v Mathijs Visscher>Dan is het best wel duidelijk wat de scope is. Gewoon, je moet er advertenties op kunnen zetten.

875
00:52:04.127 --> 00:52:08.607
<v Mathijs Visscher>Er moet geüpdatet kunnen worden. Dus dat kan ook een agent of misschien gewoon

876
00:52:08.607 --> 00:52:12.151
<v Mathijs Visscher>allemaal integratieversie je schrijft, kun je best wel makkelijk daar allemaal doorheen gaan.

877
00:52:12.603 --> 00:52:16.567
<v Mathijs Visscher>Het lastige aan een data platform is, is dat het software is waar weer andere

878
00:52:16.567 --> 00:52:18.567
<v Mathijs Visscher>data engineers eigenlijk software in gaan schrijven.

879
00:52:19.087 --> 00:52:23.987
<v Mathijs Visscher>En dat is die mogelijkheden die een data engineer heeft, ondanks dat we standaarden

880
00:52:23.987 --> 00:52:26.280
<v Mathijs Visscher>hebben en dat we al best wel veel hebben afgeschremd van wat ze kunnen,

881
00:52:26.576 --> 00:52:29.667
<v Mathijs Visscher>kunnen ze nog steeds oneindig veel, want je hebt geen idee wat ze voor code gaan bouwen.

882
00:52:29.667 --> 00:52:32.817
<v Mathijs Visscher>En dat maakt zo'n integratie framework best wel ingewikkeld,

883
00:52:32.817 --> 00:52:36.127
<v Mathijs Visscher>Want je moet echt heel erg, en daarom zei ik ook in het begin van het gesprek

884
00:52:36.127 --> 00:52:39.747
<v Mathijs Visscher>van, je moet eigenlijk data engineer of liever moet je data engineer zijn geweest

885
00:52:39.747 --> 00:52:40.927
<v Mathijs Visscher>voordat je de platform engineer wordt.

886
00:52:40.927 --> 00:52:46.077
<v Mathijs Visscher>Je moet een beetje in zijn huid kruipen om te mimieken wat hij straks gaat doen.

887
00:52:46.077 --> 00:52:46.700
<v Kishen Simbhoedatpanday>Vies, ja.

888
00:52:48.164 --> 00:52:52.596
<v Kishen Simbhoedatpanday>Oké, nou, we zijn alweer bijna een uurtje voorbij inmiddels samen.

889
00:52:52.596 --> 00:52:53.756
<v Saber Karmous>Ja, klopt, helemaal.

890
00:52:53.756 --> 00:52:56.226
<v Kishen Simbhoedatpanday>Ik heb nog twee vragen, die zou ik nog wel willen stellen.

891
00:52:56.226 --> 00:52:57.936
<v Saber Karmous>Mag ik dat? Nee, joh.

892
00:52:57.936 --> 00:52:58.376
<v Kishen Simbhoedatpanday>Ja, wil het doen?

893
00:52:58.436 --> 00:53:01.056
<v Saber Karmous>Ja, nee, nee. Oké, dankjewel samen, dankjewel samen.

894
00:53:02.506 --> 00:53:07.016
<v Kishen Simbhoedatpanday>Eigenlijk voor jullie beiden. Stel dat jullie vandaag mochten kiezen om vanaf

895
00:53:07.016 --> 00:53:08.576
<v Kishen Simbhoedatpanday>scratch te beginnen, gewoon vanaf nul.

896
00:53:10.153 --> 00:53:10.736
<v Nicky Boon>In mijn leven?

897
00:53:10.736 --> 00:53:11.756
<v Mathijs Visscher>Ja, ja, ja.

898
00:53:11.816 --> 00:53:13.976
<v Kishen Simbhoedatpanday>Oh, ja, ja, nou, je leven is een beetje overdreven misschien.

899
00:53:13.976 --> 00:53:15.276
<v Mathijs Visscher>Als je nu opnieuw geboren wordt.

900
00:53:15.276 --> 00:53:19.936
<v Kishen Simbhoedatpanday>Zou je dan weer psychologie? Nee. Nee, gewoon natuurlijk in de data-engineering

901
00:53:19.936 --> 00:53:21.599
<v Kishen Simbhoedatpanday>wereld. Wat zouden jullie kiezen?

902
00:53:22.238 --> 00:53:26.256
<v Kishen Simbhoedatpanday>Als je helemaal vanaf scratch zou mogen beginnen. Ja, gewoon als platform.

903
00:53:26.896 --> 00:53:28.848
<v Kishen Simbhoedatpanday>Je wil een data-platform gaan maken. Wat zou je kiezen?

904
00:53:30.656 --> 00:53:31.456
<v Mathijs Visscher>Wat een gewetensvraag.

905
00:53:32.866 --> 00:53:35.816
<v Kishen Simbhoedatpanday>Nou zit onze productmanager te luisteren. Ja, zit mij te luisteren.

906
00:53:38.150 --> 00:53:39.826
<v Kishen Simbhoedatpanday>Of zullen we deze vragen even skippen?

907
00:53:39.826 --> 00:53:42.826
<v Nicky Boon>Nee, ja. Het is ook lastig.

908
00:53:42.826 --> 00:53:47.636
<v Nicky Boon>Omdat het zo afhankelijk van de tijd is natuurlijk. De hele tijd nu.

909
00:53:47.636 --> 00:53:50.766
<v Nicky Boon>Wij zijn nu dan toevallig, of het is niet zo toevallig, want dat heeft iemand

910
00:53:50.766 --> 00:53:55.288
<v Nicky Boon>voor ons besloten. Maar we zijn nu dat hele dataplatform op Microsoft Fabric aan het maken.

911
00:53:56.696 --> 00:54:01.221
<v Nicky Boon>Het eerlijke antwoord op dit moment in de tijd is dat ik daar nu niet zelf voor zou kiezen.

912
00:54:01.838 --> 00:54:04.876
<v Nicky Boon>Maar dat kan zo zijn dat als je dat over een half jaar of over een jaar aan

913
00:54:04.876 --> 00:54:07.356
<v Nicky Boon>me vraagt, dat ik een heel andere antwoord daarop geef. Daarom vind ik het ook

914
00:54:07.356 --> 00:54:11.136
<v Nicky Boon>moeilijk om daar nu echt goed antwoord op te geven, vind ik.

915
00:54:11.136 --> 00:54:14.536
<v Mathijs Visscher>Het is in potentie de beste keuze, alleen nu waarschijnlijk nog niet.

916
00:54:14.996 --> 00:54:20.814
<v Nicky Boon>Ja, daarom vind ik het ook moeilijk om echt antwoord te geven op deze vraag. Behalve dat gewoon...

917
00:54:22.465 --> 00:54:25.876
<v Nicky Boon>Ik ben wel vooral blij dat ik vanaf het begin veel met Python heb gewerkt.

918
00:54:25.876 --> 00:54:30.186
<v Nicky Boon>Want dat is gewoon blijven terugkomen. Dat zal ook nog jaren er zijn.

919
00:54:30.186 --> 00:54:33.030
<v Nicky Boon>En dat het gewoon goed is om goede sequelskills te hebben.

920
00:54:34.285 --> 00:54:36.967
<v Nicky Boon>Ik zou dat in ieder geval weer doen. Omdat ik merk dat dat me gewoon heel erg helpt.

921
00:54:38.748 --> 00:54:41.524
<v Mathijs Visscher>Ik zou denk ik als ik nu zou moeten kiezen voor Databricks gaan.

922
00:54:41.524 --> 00:54:45.734
<v Mathijs Visscher>En mogelijk over een tijdje dat Fairbreak een logischere keuze is.

923
00:54:47.113 --> 00:54:53.474
<v Kishen Simbhoedatpanday>Oké. En dan mijn laatste vraag. Wat is nou, dat is heel leuk om te delen aan

924
00:54:53.474 --> 00:55:00.729
<v Kishen Simbhoedatpanday>onze luisteraars. Wat is jullie ergste dataramp die jullie ooit hebben meegemaakt in je carrière?

925
00:55:00.839 --> 00:55:02.944
<v Kishen Simbhoedatpanday>Dat je echt dacht, wow, dit was echt shit.

926
00:55:02.944 --> 00:55:06.454
<v Nicky Boon>Ik heb wel een leuke hier in mijn echte eerste week bij Stedin.

927
00:55:06.454 --> 00:55:07.534
<v Nicky Boon>Ik denk dat jij al weet wat ik bedoel.

928
00:55:09.874 --> 00:55:13.334
<v Nicky Boon>Ja, ik werkte hier denk ik een week of twee weken op een van onze frameworks.

929
00:55:13.334 --> 00:55:14.914
<v Nicky Boon>Die draait allemaal Docker containers.

930
00:55:15.354 --> 00:55:19.528
<v Nicky Boon>En daar moest de image of zo worden aangepast, als ik me niet vergis. Het is even geleden.

931
00:55:20.236 --> 00:55:22.254
<v Mathijs Visscher>Ja, de versioning van de containers of zo.

932
00:55:22.254 --> 00:55:27.965
<v Nicky Boon>Ja, nou goed, iets op die containers. En het is vrijdagmiddag, eind van de dag.

933
00:55:28.395 --> 00:55:32.314
<v Nicky Boon>Het is een heel erg dom werk, wat je gewoon even in al die containers moet aanpassen.

934
00:55:33.434 --> 00:55:36.164
<v Nicky Boon>Dat zou je goed moeten testen. Maar je denkt ook van ja, sorry.

935
00:55:36.164 --> 00:55:43.294
<v Nicky Boon>Ik ben geen debiel. Ik kan dit wel. Ik kan wel een paar cijfertjes aanpassen.

936
00:55:43.294 --> 00:55:44.897
<v Nicky Boon>En gewoon dat ze committen. En dat gaat wel goed.

937
00:55:45.009 --> 00:55:47.492
<v Nicky Boon>En ik ging ook op vakantie. Vrijdagmiddag.

938
00:55:48.774 --> 00:55:51.794
<v Nicky Boon>Niet getest. Alles gewoon naar productie gooit. Er was over het weekend alles

939
00:55:51.794 --> 00:55:55.494
<v Nicky Boon>eruit geklapt. Toen begon ik zeg maar mijn vakantie maandag met een appje van Mathijs.

940
00:55:55.834 --> 00:55:58.797
<v Nicky Boon>Wist je nog dat we dachten dat dit wel even snel kon?

941
00:55:59.654 --> 00:56:03.084
<v Nicky Boon>Alles eruit geklapt. Al die verladingen die plaatsgevonden over het weekend.

942
00:56:03.084 --> 00:56:06.714
<v Nicky Boon>Ik zou zeggen dat wat me nu te binnen schiet... wel een vrij domme actie is.

943
00:56:07.580 --> 00:56:09.534
<v Kishen Simbhoedatpanday>Dus wat was je learning point? Het was wel leerzaam.

944
00:56:09.534 --> 00:56:09.717
<v Saber Karmous>Ja.

945
00:56:10.440 --> 00:56:11.096
<v Nicky Boon>Altijd even testen.

946
00:56:11.212 --> 00:56:11.734
<v Kishen Simbhoedatpanday>Altijd even testen.

947
00:56:11.754 --> 00:56:14.674
<v Nicky Boon>Ja, en niet... Dat is iets... Dat heb ik ook wel...

948
00:56:15.294 --> 00:56:18.714
<v Nicky Boon>Nou, dat komt deels natuurlijk... omdat nu ook echt... Wat ik eerder zei...

949
00:56:18.734 --> 00:56:21.631
<v Nicky Boon>verantwoordelijk zijn ook voor andermans werk. Dat je...

950
00:56:22.148 --> 00:56:24.434
<v Nicky Boon>En ik probeer het ook wel vaak... ons in het team erin te hamen.

951
00:56:24.434 --> 00:56:25.979
<v Nicky Boon>Ik heb het afgelopen week ook nog gezegd.

952
00:56:26.694 --> 00:56:30.314
<v Nicky Boon>Het moet niet altijd het doel zijn... om zo snel mogelijk je feature af te hebben.

953
00:56:30.314 --> 00:56:32.045
<v Nicky Boon>Of zo snel mogelijk naar productie te gaan...

954
00:56:33.067 --> 00:56:36.317
<v Nicky Boon>Dat, behalve als het nodig is, nog iets eruit ligt. En je bent een hotfix bezig.

955
00:56:36.317 --> 00:56:40.097
<v Nicky Boon>Maar zorg dat het goed is. Want ja, je kan wel een halve dag eerder zijn.

956
00:56:40.097 --> 00:56:41.977
<v Nicky Boon>Maar als het eruit klapt, heb je er alleen maar meer werk van.

957
00:56:41.977 --> 00:56:46.277
<v Nicky Boon>En gezeikt. Dus zeg maar ja, gewoon goed testen. Goed erover nadenken.

958
00:56:46.277 --> 00:56:48.217
<v Nicky Boon>Zorg dat je compleet bent. Niet gaas willen zijn.

959
00:56:49.157 --> 00:56:51.667
<v Mathijs Visscher>Eigenlijk zijn die kleine changes, zijn het gevaarlijkst. Dat is wel een soort

960
00:56:51.667 --> 00:56:53.199
<v Mathijs Visscher>van, dat heb ik op meerdere momenten al gemerkt.

961
00:56:53.564 --> 00:56:56.136
<v Mathijs Visscher>Dat je denkt, oh, doe het even snel. Want dan denk je ook van,

962
00:56:56.368 --> 00:56:59.477
<v Mathijs Visscher>ik hoef geen syntaxchecking te doen of zo. En dan kom je erachter. Oh, crap.

963
00:56:59.817 --> 00:57:02.097
<v Nicky Boon>Ja, ergens. die foto's men vergeten.

964
00:57:03.477 --> 00:57:03.868
<v Saber Karmous>Cool.

965
00:57:04.437 --> 00:57:07.967
<v Kishen Simbhoedatpanday>En jij, Mathijs? Ja, jij maakt nooit data op mijn... Oh, jawel?

966
00:57:07.967 --> 00:57:12.317
<v Mathijs Visscher>Ik sluit me niet volledig aan. Dat was veruit de grootste slipper, hè.

967
00:57:13.417 --> 00:57:14.977
<v Nicky Boon>En nog met z'n tweeën hebben we er ook naar gekeken.

968
00:57:17.057 --> 00:57:18.817
<v Mathijs Visscher>Ja, hij kon een maandag oplossen, want hij was op vakantie.

969
00:57:21.137 --> 00:57:22.797
<v Kishen Simbhoedatpanday>Of never deploy on Friday, toch?

970
00:57:23.277 --> 00:57:25.137
<v Nicky Boon>Dat heb ik bij vorige opdrachten ook wel gehad.

971
00:57:25.997 --> 00:57:29.517
<v Saber Karmous>Ik heb daar wel... Ik snap die regel, ik snap waar het van na komt.

972
00:57:30.059 --> 00:57:33.821
<v Saber Karmous>Ik ben van, je moet op ieder moment kunnen deployen, maar daar moet je heel veel voor inrichten.

973
00:57:34.500 --> 00:57:38.387
<v Saber Karmous>En in sommige momenten, als er allerlei processen bij zijn en een systeem is

974
00:57:38.387 --> 00:57:40.527
<v Saber Karmous>beschikbaar en zo, dan snap ik dat dat niet altijd kan.

975
00:57:41.857 --> 00:57:45.147
<v Saber Karmous>Maar in principe zou je zo goed moeten kunnen testen, zeg maar,

976
00:57:45.147 --> 00:57:48.787
<v Saber Karmous>dat je het altijd kunt deployen. Maar dat kan niet altijd, dat weet ik ook wel.

977
00:57:48.787 --> 00:57:51.397
<v Saber Karmous>Maar ik probeer dat wel vast te houden.

978
00:57:51.397 --> 00:57:52.387
<v Nicky Boon>Het is een mooie streven.

979
00:57:52.387 --> 00:57:54.957
<v Saber Karmous>Ja, als streven, ja. Dus het is niet altijd realistisch.

980
00:57:55.517 --> 00:57:58.937
<v Nicky Boon>Nee, maar het is toch, ja, als je dan op vrijdag om vier uur er iets uitklapt.

981
00:57:58.937 --> 00:58:01.077
<v Saber Karmous>Dan ga je overhazen proberen te fixen.

982
00:58:01.077 --> 00:58:03.827
<v Nicky Boon>Zowel je eigenlijk ook gewoon weekend wil. En dan, nou ja, jullie weten dat

983
00:58:03.827 --> 00:58:06.277
<v Nicky Boon>ook. Als je dan overhazen iets gaat doen, wordt het vaak erger.

984
00:58:07.517 --> 00:58:10.157
<v Mathijs Visscher>Even nog jouw user story afronden, net voordat je op vakantie ging.

985
00:58:10.157 --> 00:58:11.247
<v Nicky Boon>Dat moet je ook eigenlijk gewoon niet doen.

986
00:58:11.247 --> 00:58:13.937
<v Mathijs Visscher>Nee, dat is ook een vrij slecht argument om iets heel snel af te maken.

987
00:58:13.937 --> 00:58:16.697
<v Nicky Boon>Ja, je kan beter zeggen van, hé, ik draag even over.

988
00:58:16.697 --> 00:58:18.257
<v Kishen Simbhoedatpanday>Ja, op die manier. Ja, precies.

989
00:58:18.257 --> 00:58:20.667
<v Nicky Boon>Als het geen hazen heeft, ik laat een weekje liggen als je een weekje weg bent.

990
00:58:20.667 --> 00:58:21.161
<v Saber Karmous>Ja, ja, ja.

991
00:58:22.729 --> 00:58:25.677
<v Kishen Simbhoedatpanday>Nou, goed, joh. Nou, dat waren mijn twee laatste vragen.

992
00:58:25.677 --> 00:58:31.437
<v Saber Karmous>We gaan naar het laatste deel. Naar de tips. Tipjes. Ik heb geen tips.

993
00:58:31.757 --> 00:58:33.227
<v Kishen Simbhoedatpanday>Wat? Jij niet?

994
00:58:33.227 --> 00:58:35.507
<v Saber Karmous>Ik heb er niet over nagedacht. Jij hebt wel over nagedacht. Nou,

995
00:58:35.507 --> 00:58:36.385
<v Saber Karmous>ik heb er misschien wel een.

996
00:58:36.832 --> 00:58:37.217
<v Kishen Simbhoedatpanday>Ja, kom.

997
00:58:37.237 --> 00:58:40.217
<v Saber Karmous>Dat is niet een goede tip, want ik heb het nog niet uitgelezen.

998
00:58:40.217 --> 00:58:44.328
<v Saber Karmous>Ik heb een omnibus gekocht van X-Men. Van Marvel.

999
00:58:45.204 --> 00:58:50.243
<v Saber Karmous>Dat is wel een heel zwaar boek. Letterlijk zwaar. Het is niet te onderdreen te komen.

1000
00:58:51.015 --> 00:58:58.567
<v Saber Karmous>X-Men Gold & Blue. Dat is een era, zeg maar, dat is in de jaren negentig,

1001
00:58:58.657 --> 00:59:03.697
<v Saber Karmous>dat echt een reeks X-Men was uitgekomen strips, die heel erg goed waren.

1002
00:59:03.697 --> 00:59:05.197
<v Saber Karmous>Die zijn gebundeld in Omnibus.

1003
00:59:06.225 --> 00:59:11.130
<v Saber Karmous>En die heb ik gekocht. En daar ben je pas op pagina 20 van de,

1004
00:59:11.293 --> 00:59:15.177
<v Saber Karmous>weet ik veel, 900 of zo. Dus dat is mijn tip.

1005
00:59:16.574 --> 00:59:16.996
<v Kishen Simbhoedatpanday>Oké.

1006
00:59:17.873 --> 00:59:21.196
<v Kishen Simbhoedatpanday>Nicky, heb jij misschien een boek of een film?

1007
00:59:21.816 --> 00:59:25.636
<v Saber Karmous>Je mag alles tippen trouwens. Want aan het einde doen we altijd gewoon tips.

1008
00:59:25.636 --> 00:59:29.786
<v Saber Karmous>Het mag een serie zijn, een boek, technologie, hardware, whatever.

1009
00:59:29.786 --> 00:59:33.936
<v Saber Karmous>Of een uitje, een festival. Alles is goed, zeg maar. Dat hoeft niet met software

1010
00:59:33.936 --> 00:59:36.697
<v Saber Karmous>ontwikkeling te maken te hebben. Maar ja.

1011
00:59:37.150 --> 00:59:40.536
<v Nicky Boon>Nee, dat scheelt ook wel. Ik ben ook niet zo iemand die in mijn vrije tijd nog heel veel...

1012
00:59:40.576 --> 00:59:43.906
<v Nicky Boon>Probeer zo min mogelijk dan met mijn werkwezig. Ik probeer tijdens werktijd

1013
00:59:43.906 --> 00:59:46.856
<v Nicky Boon>het goed te doen. Ik vind het ook leuk om er met collega's over te hebben.

1014
00:59:46.856 --> 00:59:49.524
<v Nicky Boon>Maar buiten werk is het wel goed.

1015
00:59:50.117 --> 00:59:52.109
<v Nicky Boon>God, een tip voor de luisteraars.

1016
00:59:52.887 --> 00:59:56.936
<v Nicky Boon>Ik ben, ik lees sowieso graag, maar misschien omdat jij al een leestip had,

1017
00:59:56.936 --> 00:59:58.836
<v Nicky Boon>toch dan een ander medium.

1018
00:59:59.241 --> 01:00:02.296
<v Nicky Boon>Ik ben met mijn vriendin weer Breaking Bad aan het herkijken.

1019
01:00:02.296 --> 01:00:05.116
<v Nicky Boon>Voor de mensen die het lang niet hebben gezien, of als je het nog nooit hebt

1020
01:00:05.116 --> 01:00:08.194
<v Nicky Boon>gezien, ga het absoluut kijken. Maar als je het ook lang niet hebt gezien,

1021
01:00:08.838 --> 01:00:12.516
<v Nicky Boon>het is nog steeds de moeite om te kijken. Het is tijdloos, het is geniaal.

1022
01:00:13.222 --> 01:00:14.900
<v Nicky Boon>Zit er weer helemaal in.

1023
01:00:15.022 --> 01:00:16.663
<v Kishen Simbhoedatpanday>Goed zo, dat was zeker tof.

1024
01:00:17.344 --> 01:00:21.076
<v Mathijs Visscher>Ja, ik ga toch wel een nerd. Nicky zei, ik probeer zo min mogelijk werkachtige

1025
01:00:21.076 --> 01:00:23.256
<v Mathijs Visscher>dingen in mijn vrije tijd te doen. Ik doe het wel heel veel.

1026
01:00:24.465 --> 01:00:28.216
<v Mathijs Visscher>Dan zit ik thuis aan mijn homelab, zit ik te knut. Dan denk ik,

1027
01:00:28.216 --> 01:00:30.466
<v Mathijs Visscher>ja, heb ik net heel de dag op het scherm gezeten. Wat doe ik?

1028
01:00:30.466 --> 01:00:33.376
<v Mathijs Visscher>Ik zit gewoon in plaats van wat achter een kit op kopen. Dan zit ik nu achter

1029
01:00:33.376 --> 01:00:35.367
<v Mathijs Visscher>klaald. Maar voor de rest allemaal hartstikke leuk.

1030
01:00:35.884 --> 01:00:40.273
<v Mathijs Visscher>Nee, als je oude hardware hebt, een oude laptop of een oude computer.

1031
01:00:40.722 --> 01:00:41.793
<v Mathijs Visscher>En dat staat te verstoffen.

1032
01:00:42.246 --> 01:00:45.716
<v Mathijs Visscher>Ga gewoon eens op onderzoek uit wat je ermee kan.

1033
01:00:45.716 --> 01:00:50.796
<v Mathijs Visscher>Ik heb laatst een oude Raspberry Pi omgebouwd tot audio-servertje.

1034
01:00:50.796 --> 01:00:56.046
<v Mathijs Visscher>Dus daar zit mijn Spotify Connect op en mijn Airplay. Dus ik heb nu aan de oude

1035
01:00:56.046 --> 01:00:59.876
<v Mathijs Visscher>stereo, waar ook de platenspeler aan zit...

1036
01:01:00.196 --> 01:01:00.576
<v Kishen Simbhoedatpanday>Nice.

1037
01:01:00.956 --> 01:01:03.751
<v Mathijs Visscher>Kan ik ook radio naar streamen en ook Spotify naar streamen.

1038
01:01:04.896 --> 01:01:07.926
<v Mathijs Visscher>En is ook veiliger dan dat je een oude Chromecast eraan hangt...

1039
01:01:07.956 --> 01:01:10.270
<v Mathijs Visscher>die deprecated is en geen software-updates meer krijgt.

1040
01:01:11.296 --> 01:01:13.144
<v Mathijs Visscher>En dit blijft gewoon lekker up-to-date omdat het open-source is.

1041
01:01:13.968 --> 01:01:17.856
<v Mathijs Visscher>Ga lekker daar. Maar laat het niet verstoffen. Bouw er iets moois van.

1042
01:01:18.156 --> 01:01:18.763
<v Kishen Simbhoedatpanday>Ja, cool.

1043
01:01:18.978 --> 01:01:19.466
<v Saber Karmous>Goeie te.

1044
01:01:19.466 --> 01:01:20.139
<v Kishen Simbhoedatpanday>Heel tof.

1045
01:01:22.048 --> 01:01:23.533
<v Saber Karmous>Nou ja, ik heb hem al gegeven.

1046
01:01:23.533 --> 01:01:24.263
<v Kishen Simbhoedatpanday>Ik was de eerste.

1047
01:01:24.263 --> 01:01:25.933
<v Saber Karmous>Je had even de tijd.

1048
01:01:28.973 --> 01:01:34.314
<v Kishen Simbhoedatpanday>Ik zit nog steeds te denken, joh. Meer slapen. Nou, ik heb thuis een Sonos systeem.

1049
01:01:35.183 --> 01:01:38.613
<v Kishen Simbhoedatpanday>Ik heb volgens mij zeven of acht van die krengen in mijn hele huis.

1050
01:01:38.613 --> 01:01:42.913
<v Kishen Simbhoedatpanday>En wat mij opviel is dat, ja, dit gaat echt over netwerken, maar goed.

1051
01:01:43.483 --> 01:01:48.939
<v Kishen Simbhoedatpanday>Dat mijn KPN super wifi netwerk gewoon echt niet lekker ging met Sonos.

1052
01:01:49.113 --> 01:01:52.703
<v Kishen Simbhoedatpanday>Dus op een gegeven moment als je dan de ene zodoende apparaat aan wil zetten

1053
01:01:52.703 --> 01:01:56.073
<v Kishen Simbhoedatpanday>en je wil hem dan groeperen, dat liep gewoon elke keer stuk.

1054
01:01:56.413 --> 01:02:00.463
<v Kishen Simbhoedatpanday>Dan deed hij de ene kamer wel, de andere kamer niet en dan kon Spotify daar

1055
01:02:00.463 --> 01:02:02.211
<v Kishen Simbhoedatpanday>ook niet goed mee omgaan. Ellende.

1056
01:02:02.948 --> 01:02:06.795
<v Kishen Simbhoedatpanday>Nou, ik heb best wel een week zitten uitzoeken. Ja, het werkt gewoon niet.

1057
01:02:06.795 --> 01:02:09.565
<v Kishen Simbhoedatpanday>Dus de mensen van KPN, als ze luisteren...

1058
01:02:10.018 --> 01:02:12.245
<v Kishen Simbhoedatpanday>Ik hoop dat jullie het een keertje gaan oplossen... maar ik geloof er niet echt

1059
01:02:12.245 --> 01:02:14.385
<v Kishen Simbhoedatpanday>zoveel mee in... want het zit er al best wel een tijdje. Ja,

1060
01:02:14.385 --> 01:02:17.485
<v Kishen Simbhoedatpanday>ik ben overgestapt naar UniFi. UniFi-netwerk.

1061
01:02:18.598 --> 01:02:22.305
<v Kishen Simbhoedatpanday>Dus dat zou ik echt wel... mensen die daar in die hoek gewoon problemen hebben...

1062
01:02:22.365 --> 01:02:24.879
<v Kishen Simbhoedatpanday>met groeperingen en dat soort dingen van apparaten.

1063
01:02:25.181 --> 01:02:28.885
<v Mathijs Visscher>Ik had hetzelfde met Ziggo... dat die Liffy Verstek zegt... Ik heb toen van...

1064
01:02:29.581 --> 01:02:32.665
<v Mathijs Visscher>Aruba heet dat eerst. Dat is nu volgens mij HP Enterprise geworden.

1065
01:02:33.265 --> 01:02:35.785
<v Mathijs Visscher>Maar gewoon, ja, wel voor een vermogen. Want het is natuurlijk niet goedkoop.

1066
01:02:35.785 --> 01:02:36.024
<v Kishen Simbhoedatpanday>Nee.

1067
01:02:36.280 --> 01:02:41.155
<v Mathijs Visscher>Maar goede access points gekocht. En dat maakt echt een wereld van verschil. Ja, zoveel stabieler.

1068
01:02:41.155 --> 01:02:45.405
<v Kishen Simbhoedatpanday>Ik was volgens mij voor twee, misschien driehonderd euro was ik klaar. Maar goed, ja, weet je.

1069
01:02:45.845 --> 01:02:48.597
<v Kishen Simbhoedatpanday>Het is nu al waard. Ik heb het nu geïnstalleerd. En ik merk inderdaad,

1070
01:02:48.835 --> 01:02:52.685
<v Kishen Simbhoedatpanday>het heeft iets met die multipackaging te maken of zo. Wat niet standaard aanstaat

1071
01:02:52.685 --> 01:02:55.783
<v Kishen Simbhoedatpanday>of zo bij die systemen. Andere systemen van KPN of Ziggo waarschijnlijk ook.

1072
01:02:56.735 --> 01:03:01.025
<v Kishen Simbhoedatpanday>Maar dat schook me ineens de binnenman. Ja, dus iedereen overnijntje.

1073
01:03:01.025 --> 01:03:01.685
<v Mathijs Visscher>Daar kan je lang mee doen.

1074
01:03:03.005 --> 01:03:04.979
<v Kishen Simbhoedatpanday>Even een investering, maar dan is het goed.

1075
01:03:05.129 --> 01:03:05.663
<v Saber Karmous>Cool.

1076
01:03:08.165 --> 01:03:11.305
<v Saber Karmous>Ik heb verder nog geen andere tips. Dat was het, denk ik, toch?

1077
01:03:11.305 --> 01:03:11.776
<v Kishen Simbhoedatpanday>Ja, hè?

1078
01:03:12.171 --> 01:03:19.334
<v Saber Karmous>Mooi. Dit was deze aflevering. Dank je wel voor het te gast zijn en dat we hier mochten zijn.

1079
01:03:19.711 --> 01:03:20.845
<v Kishen Simbhoedatpanday>Ja, dat sowieso.

1080
01:03:20.845 --> 01:03:28.115
<v Saber Karmous>We mochten mooi besteden deze opname doen. Je kunt op codeklets.nl alles vinden.

1081
01:03:28.115 --> 01:03:32.198
<v Saber Karmous>Jullie krijgen eigen pagina's, Dan kunnen we je daar ook mee vinden.

1082
01:03:32.685 --> 01:03:34.745
<v Saber Karmous>De aflevering komt natuurlijk online.

1083
01:03:35.445 --> 01:03:36.945
<v Saber Karmous>Als show notes met tips en alles.

1084
01:03:37.845 --> 01:03:41.533
<v Saber Karmous>Zoals het altijd werkt. Dus dat, ja, die zijn vindbaar.

1085
01:03:42.275 --> 01:03:45.583
<v Kishen Simbhoedatpanday>Komen jullie ook naar Slack?

1086
01:03:45.943 --> 01:03:48.443
<v Saber Karmous>Die is heel rustig. Slack is wel heel rustig.

1087
01:03:48.443 --> 01:03:50.213
<v Kishen Simbhoedatpanday>Rustig. We kunnen wel wat liefde gebruiken.

1088
01:03:50.213 --> 01:03:51.967
<v Saber Karmous>Ja, dat is waar. Maar goed.

1089
01:03:51.967 --> 01:03:54.023
<v Mathijs Visscher>Een paar leuke memes kunnen we wel even verplaatsen.

1090
01:03:54.023 --> 01:03:55.023
<v Saber Karmous>Ja, dat zou ik wel.

1091
01:03:55.023 --> 01:03:58.843
<v Kishen Simbhoedatpanday>Dat doen jullie altijd heel goed, dus dank je wel. Dus kom voor de memes.

1092
01:03:58.843 --> 01:04:01.523
<v Saber Karmous>Ja, kom naar de Slack voor de memes.

1093
01:04:02.523 --> 01:04:03.503
<v Mathijs Visscher>Die je dan zelf moet posten.

1094
01:04:03.503 --> 01:04:05.901
<v Saber Karmous>Ja, dat is wel een goeie. Hé, dank je wel.

1095
01:04:06.029 --> 01:04:07.625
<v Kishen Simbhoedatpanday>Dank je wel. Doei, doei, doei.
