goede theorie geeft steun aan beleid. ('Niets zo praktisch als een goede theorie', wordt wel
gezegd.) Maar theorievorming is geen sinecure, zeker niet als het gaat om nieuwe, complexe
problemen. In zo'n geval moet een goede beleidsevaluatie in elk geval inzicht opleveren in de
lokale situatie:
- beschrijven wat daar gebeurt;
- verklaren waarom dat gebeurt;
- aanknopingspunten benoemen voor verbetering.
4.3 Een alternatief voor het experiment
Beleidsevaluaties worstelen met een evaluatiemodel dat van oorsprong ontwikkeld is voor de
natuurwetenschappen: het laboratoriumexperiment of 'zuiver experiment'. Het principe van
zo'n experiment staat kort beschreven in box 4.1
Box 4.1: principe van een laboratoriumexperiment
j Het laboratoriumexperiment is een onderzoeksopzet waarmee men de effectiviteit van een be
paalde ingreep wil vaststellen. Het principe werkt als volgt:
vertrekpunt is een experimentgroep en een controlegroep;
deze twee groepen zijn in alle opzichten identiek;
bij de experimentgroep neemt men een maatregel en bij de controlegroep niet;
men meet in de experimentgroep de situatie voor en na de maatregel;
het verschil tussen voor- en nameting is het bruto-effect van de maatregel;
men meet in de controlegroep de situatie voor en na de maatregel (ideaal gesproken is die
verandering nul);
het bruto-effect min het verschil dat men meet bij de controlegroep is het netto-effect van
de maatregel.
Het experimentele model is in zuivere vorm niet geschikt voor onderzoek in een complexe
omgeving. Kort gezegd is het probleem dat men dan nooit zonder meer kan concluderen dat
gemeten veranderingen niet door iets anders zijn veroorzaakt dan door de genomen maatregel.
Om aan dat probleem tegemoet gekomen zijn diverse varianten op het laboratoriumexperi
ment ontworpen (de zogenoemde praktijk- of quasi-experimenten). Het probleem is daarmee
evenwel nooit goed opgelost. Dat heeft te maken met het doel van een experimentele opzet:
het ontdekken van wetmatighedenzoals: maatregel X leidt altijd tot gevolg Y, of maatregel X
leidt onder omstandigheid Z altijd tot gevolg Y.
In deze experiment-achtige benadering beschouwt men de werkelijkheid in feite als
een black box: men stopt er aan de ene kant iets in (maatregel) en kijkt wat er aan de andere
kant uitkomt (effect), zonder te willen doorgronden wat er precies gebeurt in die black box,
zonder te willen begrijpen 'hoe het werkt'. Juist omdat men niet kijkt naar wat er in die black
box gebeurt, is het zo lastig om te concluderen dat een bepaalde verandering is veroorzaakt
door (een effect is van) de maatregel. Men heeft immers het spoor van maatregel naar veran
dering niet gevolgd. Hoe beter men dat spoor weet te volgen, dus hoe beter men kijkt naar de
processen die zich na de maatregel afspelen, hoe minder noodzaak voor een experimenteel
design. Men weet dan immers vrij nauwkeurig hoe de maatregel uitpakt, 'hoe het werkt', en
heeft dus geen experimenteel design meer nodig om bepaalde veranderingen aan die maatre
gel te kunnen toeschrijven. Wie zich in de materie verdiept, kan vanuit de praktijk overtui
gend aantonen hoe een maatregel uitpakt en tot welke veranderingen dat leidt. Wat onderzoek
betreft, komen we dan eerder terecht in het design van de casestudy.
6
Op vergelijkbare wijze hebben Pawson en Tilley (1997) gepleit voor meer aandacht
voor de context waarin een beleidsmaatregel wordt genomen en voor meer aandacht voor de
mechanismen waardoor de effecten tot stand komen. Tilley (1993) paste dat eerder ook toe op
cameratoezicht. In een debat tussen Nederlandse wetenschappers over cameratoezicht staat
ook de vraag centraal wat de waarde is van experimentele designs (thema in Tijdschrift voor
Veiligheid en Veiligheidszorg nr. 2005-2, te verwachten).
Het grote nadeel van een casestudy is dat bevindingen niet zomaar kunnen worden ge
generaliseerd. Wat 'hier en nu' geldt, in deze unieke situatie, hoeft niet ook elders te gelden.
Maar dat is voor het evalueren van een proef met cameratoezicht geen bezwaar. Gemeentelijk
veiligheidsbeleid draait immers primair om het verbeteren van de lokale veiligheid 'hier en
nu' en niet om ontdekken van universele wetmatigheden.
Er zijn dus goede redenen om een evaluatie van een proef met cameratoezicht niet te
baseren op een experimenteel maar op een casestudy-design. In plaats van op zoek naar wet
matigheden gaat men dan op zoek naar inzicht in de lokale situatie en naar aanknopings
punten om daar tot verbeteringen te komen. Inzicht in 'hoe en waarom het hier nu werkt'
komt dan in later stadium wel weer ten goede aan inzichten met een bredere geldigheid. Niet
alleen het lokale veiligheidsbeleid maar ook de wetenschap profiteert. Door de fixatie op ex
perimentele designs ontbreekt het namelijk aan studies die de mechanismen in kaart brengen.
Een evaluatie met casestudies heeft zo gezien dan ook weer landelijke (en wetenschappelijke)
meerwaarde. Het kan de discussie over het nut van cameratoezicht nieuwe impulsen geven.
4.4 Effectiviteit en effecten
In een beleidsevaluatie hebben onderzoekers altijd aandacht voor de doelen die met het beleid
worden nagestreefd. Ze kijken dan naar effectiviteit. Liever gaan we echter uit van het neutra
lere begrip effecten. Dan is het onderzoek gericht op de vraag welke gevolgen een maatregel
heeft, los van de vraag of die gevolgen zijn gewenst. Natuurlijk houdt men dan oog voor be
doelde effecten. Maar ook is er dan aandacht voor ongewenste effecten en neutrale nevenef
fecten. Naar welke effecten de aandacht in een evaluatieonderzoek zal uitgaan, dient te wor
den vastgesteld aan de hand van:
verwachtingen van betrokkenen in Leeuwarden;
bevindingen uit eerder onderzoek.
5. Effecten van cameratoezicht: wat weten we eigenlijk?
5.1 Bescheiden kennispositie
Over de effecten van cameratoezicht is niet veel met zekerheid te zeggen. Soms lijkt het de
gewenste gevolgen te hebben, soms niet en soms van beiden wat. Over effecten op langere
termijn is nog helemaal niets bekend. In het buitenland is de kennispositie niet anders (bv.
Wilson en Sutton 2003; Gill en Spriggs 2005; Geelhoed, te verwachten).
Er zijn ook in Nederland diverse onderzoeken gedaan naar de effecten van cameratoe
zicht. We hebben het dan over cameratoezicht in de openbare ruimte, voor het terugdringen
van criminaliteit, speciaal uitgaansgeweld. Geelhoed (2005, te verwachten) geeft een over
zicht van evaluatieonderzoeken in twaalf Nederlandse gemeenten: Amsterdam, Apeldoorn,
Arnhem, Bergen op Zoom, Breda, Den Haag, Ede, Groningen, Maastricht, Rotterdam, Utrecht
en Zwolle. Ze komt tot de conclusie dat 'de evaluaties minstens zoveel vragen oproepen als
dat ze beantwoorden'.
Om te beginnen heeft Geelhoed nogal wat kritiek op de kwaliteit van de onderzoeken.
Vaak ontbreekt bij aanvang al een probleemanalyse. Ook rammelt er vaak iets aan de opzet,
de gegevensbronnen die onderzoekers gebruiken, de uitvoering en de verantwoording. De ma-
7
