Lev Manovich' lezing over Culturele Analytiek in Paradiso

Er is zeven miljoen uur aan video in het archief van de Zweedse omroepen. Het aantal foto's dat is geupload naar Flickr is meer dan alle objecten van kunstmusea in de wereld. Google Books indexeert boeken van bibliotheken over de gehele wereld; de website ARTstor bevat bijna een miljoen afbeeldingen van kunstobjecten.

Wanneer de mensheid in de toekomst onze sporen wil lezen, hoe kunnen ze dat dan nog doen met zo'n schijnbaar oneindige stroom aan data? Tegelijk met de verhoging van de culturele productie, is er ook een groei van software die mogelijkheden kan bieden tot analyse. Cultuuranalyse kan en zal daardoor meer en meer gaan over het herkennen van patronen in datastromen, maar deze methodes zijn niet alleen van toepassing op de huidige cultuurproductie en de toekomstige interesse in onze hedendaagse samenleving, maar biedt ook de mogelijkheid om patronen van cultuur uit het verleden te analyseren. Er is niet langer een fascinatie voor specifieke voorbeelden, maar voor patronen.

Het wordt daarbij steeds moeilijker om de bron van nieuws te achterhalen, het wordt tenslotte direct over het wereldwijde web verspreid. Ideeën en tendensen verworden tot wereldwijde fenomenen, zoals Manovich laat zien aan de hand van een grafiek die de opkomst van de Biënnale op globale schaal laat zien. Ideeën die opgedaan worden op het web kunnen gemakkelijk gereproduceerd worden, voor zover licenties dat toelaten. Welk werk is in deze globale context dan nog relevant, of uniek? Of hoe kan je nog videokunstenaar zijn in een wereld met drie miljard mobiele telefoons?

Culturele relevantie is de belangrijkste verschuiving in dit decennium, na de ontwikkeling van internet in de jaren '90. Hoe kunnen we globale digitale cultuur bevatten met zoveel nieuw materiaal? Vroeger kon je naar de 'hotspots' in de wereld gaan om te weten wat er speelt, maar hoe kun je weten wat er omgaat in tienduizenden steden over de hele wereld? We hebben daarvoor een radicaal nieuwe methode nodig om globale trends in kaart te brengen. Daarvoor is iets anders nodig, namelijk het gereedschap om culturele informatie te analyseren. Visualisatie van informatie zorgt er bijvoorbeeld voor dat nieuwe patronen in cultuur kunnen worden gevonden; deze gereedschappen kunnen toegepast worden op de huidige cultuurproductie, maar ook op reeds bekende werken om nieuwe theoretische vragen te genereren.

Enkele voorbeelden van deze informatie-visualisaties zijn; visualisaties van de wijzingsgeschiedenis op Wikipedia door IBM die onder andere aantonen dat er niet alleen coöperatie, maar ook conflict aanwezig is binnen het netwerk; Lee Byron's visualisatie van zijn persoonlijke luistergedrag; en 'Listening Post' van Ben Rubin en Mark Hansen, een geanimeerde visualisatie waarvoor tekstfragmenten worden gebruikt uit duizenden openbare Internet chatruimtes.

De wereld wordt hierdoor gereduceerd tot een set pixels, waarvan de resolutie nog moet groeien. Door deze groei van resolutie zal iedereen naar verwachting in 2030 kunnen worden gerepresenteerd door middel van een eigen 'spoor'. De bewegingen van miljarden mensen kunnen daardoor worden gevisualiseerd. Daarvoor is wel data nodig; het verzamelen van culturele data is al gestart. In 'The Geography of Buzz' vertellen Elizabeth Currid en Sarah Williams over hun onderzoek naar kunst, cultuur en het sociale milieu in New York en Los Angeles aan de hand van zesduizend geo-gecodeerde evenementen en driehonderdduizend foto's uit Getty Images. Een ander voorbeeld is het onderzoek 'Mapping the World's Photos' van David Cranball, Lars Backstrom, Dan Huttenlocher en Jon Kleinberg, waarin geo-gecodeerd fotomateriaal van Flickr, in totaal vijfendertig miljoen foto's, werd gevisualiseerd.

Manovich ziet hier een verschuiving van 'nieuwe media' naar 'meer media'. Door visualisaties te maken, patronen te analyseren en vervolgens conclusies hieruit te trekken kan cultuur op nieuwe manieren worden onderzocht. Dit is 'Cultural Analytics' (culturele analytiek): Het gebruik van datamining en interactieve visualisaties van grote datasets met culturele informatie, in geesteswetenschappelijke context. Het verschil tussen deze aanpak en vorigen is dat deze methodologie gebruik maakt van computationele analyse om nieuwe metadata te genereren – in het bijzonder op de gebieden van beeldverwerking en computer visie.

De uitdaging voor culturele analytiek zit in de semantiek. Manovich laat het voorbeeld zien van software die hiermee kan werken, ImageJ. Deze software geeft de mogelijkheid om metadata te abstraheren uit, bijvoorbeeld, schilderijen. Door het herkennen van patronen in de schilderijen, kunnen objecten uit verschillende tijden met elkaar worden vergeleken. Denk bijvoorbeeld aan een vergelijk tussen realisme en modernisme, gebaseerd op de mate van contrast of 'skew'. Wat je vervolgens kunt doen is deze informatie visualiseren in een tijdskader, waardoor culturele progressie over tijd zichtbaar kan worden gemaakt. Ook tijdperiodes in verschillende landen kunnen met elkaar worden vergeleken. Wat van belang is om deze data te visualiseren, is de mogelijkheid om het op beeldschermen met hoge resolutie te laten zien. Overigens biedt ook software als Adobe Photoshop al de mogelijkheid voor meerdere, gecoördineerde aanzichten waarbij data gelijktijdig, op verschillende manieren kan worden bekeken.

Culturele analytiek is echter niet gelimiteerd tot statische beelden, het kan ook worden toegepast op bewegende beelden, denk hierbij aan film en games. Voor games kan bijvoorbeeld gameplay en beelden van mensen die games spelen worden geanalyseerd. Er is al onderzoek waarin een grote groep mensen dezelfde game speelt gedurende veertig uur, wat resulteert in duizenden uren beeldmateriaal. Je kunt vervolgens het beeldmateriaal analyseren - de frames van de video - en in een tijdlijn verschillen in gameplay analyseren. Voor film geldt hetzelfde en hierbij kunnen ook, net als bij bijvoorbeeld schilderijen, waarden als contrast worden geanalyseerd over tijd. Uit dit soort analyses is bijvoorbeeld te abstraheren dat Betty Boop cartoons en hedendaagse muziekvideos structurele overeenkomsten hebben. Of dat films uit verschillende landen, verschillende kleurcontrasten gebruiken; meer groen in Frankrijk, meer blauw in de Verenigde Staten en meer rood in de voormalige Sovjet Unie.

Wat culturele analytiek laat zien is dat er buiten een smal canon kan worden gedacht. Hierdoor worden patronen zichtbaar die niemand eerder heeft gezien. Er wordt niet meer alleen gekeken naar een klein voorbeeld van cultuur, maar naar de gehele distributie; de gehele culturele productie. Google geeft ons al relevante resultaten in zoekopdrachten gebaseerd op 'datamining', waarom zouden we deze mogelijkheden niet gebruiken voor grote, culturele datasets?

Lees ook het interview van Annet Dekker en Niels Kerssens met Lev Manovich in het kader van Archive 2020.