Een lek in het programma OpenReview dat moest zorgen voor de anonimiteit van beoordelaars en auteurs van artikelen voor een congres over kunstmatige intelligentie blijkt het mogelijk gemaakt te hebben dat de identiteit van auteurs en beoordelaars ‘op straat’ kwam te liggen, tot groot ongenoegen van de beoordelaars. Volgens sommigen staat dat beoordelingssysteem toch al onder grote druk door de stortvloed aan artikelen op het terrein van ki.Normaal gesproken weten de auteurs van een wetenschappelijk artikel niet wie hun artikel beoordeelt en omgekeerd kennen de beoordelaars de auteurs niet. Dat is een belangrijke pijler onder het beoordelingssysteem van wetenschappelijke artikelen en bijdragen aan congressen, bedoeld om te voorkomen dat er teksten naar buiten komen die de toets der (wetenschappelijke) kritiek niet kunnen doorstaan. Dat betekent niet dat dat systeem (vaak peer review genoemd) feilloos is, maar geeft wel enige garantie.
Eind november vernamen organisatoren van het ki-congres ICLR dat OpenReview lek was, waarna dat een uur later hersteld werd, maar toen was het al te laat. Van zo’n 10 000 artikelen bedoeld voor het congres van volgend jaar zou de identiteit van auteurs en beoordelaars bekend zijn gemaakt via het web.

De organisatoren dreigden met straf, zoals uitsluiting van de congressen, als daarvan gebruik zou worden gemaakt, maar het kwaad was al geschied. Sommige beoordelaars zouden zijn bedreigd, maar dat zou niet zijn gebeurd door auteurs van de artikelen maar door derden.
Dit fenomeen is relatief nieuw op dit terrein en zou de eerste smet op het blazoen van OpenReview zijn, voor zover bekend. OpenReview zou voor zo’n 3200 wetenschappelijke congressen worden gebruikt. Daarvan zouden zo’n vijftig congressen met soortgelijke problemen zijn geconfronteerd.

Bron: Science