Mitt första talk för dagen blev "stream data processing for fun and profit" med David Ostrovsky. David pratade om stream processing, dvs att hantera meddelanden som kommer från en eller flera datakällor och göra något när ett meddelande kommer in. Tänk er LINQ fast utspritt över flera maskiner där varje kodsnutt/steg kan skala individuellt. 

Det finns en uppsjö olika verktyg kring stream processing där några av de mest kända är Storm, Spark och Kafka. Alla dessa är skrivna i Java. Vill man köra Microsofts stack så finns istället Microsoft Orleans. 

De olika verktygen funkar lite olika men i stort kan man dela in dem i två kategorier. Continous, som processar meddelanden när de kommer, och micro batching, som håller meddelanden och levererar en batch när ett speciellt tidsintervall passerat. 

Som demo visade David upp kod för att läsa tweets från Twitter, köra natural language processing på varje tweet och sedan spara detta i Couchbase och Elastic för mer analys. 

Föredraget höll hög kvalité och man märkte att han gjort detta förut. Nördskämten duggade tätt vilket så klart uppskattas! T ex så ursäktade han sin javakod med "Think of it as broken C#". Funny cause it's true. ;) 

Comment