Vrijdag 21 september organiseerde Aurai (eerder Young Mavericks) in samenwerking met de Open State Foundation een Junior Hackathon op het Marineterrein. Tijdens de Junior Hackathon kregen geïnteresseerden de kans om onder begeleiding van data scientists van Aurai een hele dag te werken aan een case, een ideale manier om meer te leren over het werk van een data scientist en het data science programma van Aurai!
Aan de slag met PoliFLW data
De data bestond uit een half miljoen nieuwsberichten van politieke partijen van de website PoliFLW.nl. Deze websites verzameld nieuwsberichten van Facebook-pagina’s en websites van politieke partijen van VVD Maastricht tot GroenLinks Groningen. Deze data is via een open data API geschikt voor gebruik in andere toepassingen. De data is verder in te delen op politicus, partij en gemeente en met machine-learning wordt ook de objectiviteit en polariteit gemeten. Een ideale dataset voor een hackathon. Welke inzichten zijn er bijvoorbeeld uit de data te halen over politieke verhoudingen, woordgebruik en verschillen per gemeente?
Wat zijn de resultaten?
Na een korte introductie begonnen de deelnemers met het inladen van de data en met een aantal van tevoren vastgestelde opdrachten. Zodra de teams dit gedaan hadden begonnen zij aan de grote uitdaging: onderzoeken of het mogelijk is om op basis van de content van een artikel te voorspellen of een artikel aan een bepaalde stroming of aan een bepaalde politieke partij kan worden toegewezen. De teams kwamen ondanks de beperkte tijd die zij hadden tot mooie resultaten, waarbij de jury uiteindelijk unaniem een winnaar aanwees. Het winnende team had de taken goed verdeeld en hebben voorzichtige stappen gezet in text mining. Ze werden tot winnaar verkozen omdat zij een originele invalshoek kozen met de meest voorkomende woorden in de artikelen en het sentiment per artikel als uitgangspunten.
Analyse op sentiment
Het team wilde onderzoeken of het sentiment van een artikel positief, negatief of neutraal was. De classificatie van dit sentiment was namelijk nog niet aan alle artikelen toegekend: “We wilden dit doen door te kijken naar de artikelen die dit al wel hebben en op basis van de meest voorkomende woorden in deze set kijken of we dit konden linken aan de artikelen die nog geen sentiment hebben. Verder hebben we gekeken welke partij het meest positief is in haar berichtgeving.”, aldus data scientist Deborah, die het winnende team begeleidde. Het enthousiasme van de deelnemers was de hele dag groot en na afloop werd er door de deelnemers en organisatoren nagepraat onder het genot van een drankje. Al snel werd duidelijk dat de Junior Hackathon voor herhaling vatbaar is!