Abstract

Het beoordelen van ontwerpalternatieven en ontwerp(deel)oplossingen is iets wat ontwerpers continu doen. Ontwerpdenken bestaat uit het reflectief heen en weer bewegen tussen vraag en oplossing. De manier waarop mogelijke oplossingen gewogen worden, blijven vaak impliciet. De ontwerper kiest de oplossingen en het is de vraag hoe de gekozen oplossing naar andere betrokkenen geëxpliciteerd kan worden en op basis van welke criteria de keuze gemaakt is. De multi criteria analyse (MCA) techniek stelt ontwerpers in staat om ontwerpalternatieven expliciet en systematisch te evalueren. De techniek bestaat uit de opeenvolgende stappen van: het definiëren van de evaluatiecriteria, het meten van de criteria, het standaardiseren van de metingen, het wegen van de criteria en de ranking van de evaluatieresultaten. De techniek helpt de ontwerper om het (heen-en-weer) denken te organiseren en om andere perspectieven bij ontwerpkeuzes en besluitvorming te betrekken.

Kernbegrippen

Ontwerpbeoordeling, ontwerpkeuzes, ex-ante evaluatie, MCA, verantwoording, haalbaarheid

Introductie

Ontwerpen is kiezen, en keuzes maken kan op verschillende manieren. Soms “weet” je gewoon dat iets in een bepaald geval de juiste keuze is. De kans is groot dat deze keuze onbewust is gebaseerd op eerdere ervaringen (Gladwell 2005). Die ervaringen expliciet maken, en wanneer deze meer systematisch beschreven zijn, kan helpen om je keuze te onderbouwen. Er is als het ware een schaal van “op je onderbuik gevoel afgaan”, via “informed” tot “evidence-based” ontwerpkeuzes maken. Een van de meest vergaande manieren van een op data, informatie en/of kennis berustende keuze maken, is via een multi criteria analyse. Hierbij wordt op verschillende meetaspecten, de criteria, een score bepaald voor een ontwerpvariant. De scores voor alle varianten worden bij elkaar opgeteld, al dan niet gewogen, en de best scorende variant wordt gekozen als ontwerptoepassing.

Doel van dit hoofdstuk is om te verduidelijken dat, wanneer je denkt in alternatieven, het waardevol is om het beoordelingsproces meer expliciet, verantwoord en transparant te maken. MCA is daarvoor een zeer bruikbare techniek. Dit hoofdstuk staat achtereenvolgens stil bij de techniek van de MCA op zich, legt een link met enkele ontwerpopgaven, gaat in op voor- en nadelen van de techniek, reflecteert op de bijdrage van de techniek aan het komen tot ontwerpbeslissingen, en geeft ten slotte praktische tips voor het gebruik.

Ex-ante evalueren van ontwerpalternatieven: MCA

Een MCA methode leent zich goed om een afweging te maken in complexe ontwerp beslissingen. Doordat het een beslissing is over een ontwerp – en de uitvoering/realisatie nog moet gebeuren – , kun je zeggen dat het een ex-ante vorm van onderzoek is. De MCA is een expliciete manier van een afweging maken doordat je verschillende criteria evalueert, deze in overzicht zet en het besluit baseert op de uitkomst uit die criteria die opgenomen zijn. Voor grotere en meer complexe ontwerpprojecten leent een MCA zich goed omdat het overzicht kan geven in de complexiteit: het zet de varianten systematisch naast elkaar, en het maakt de evaluatiecriteria expliciet, evenals de scores per criterium.

Om een MCA te kunnen maken moeten de volgende stappen doorlopen worden: het definiëren van de evaluatiecriteria, het meten van de criteria, het standaardiseren van de metingen, het wegen van de criteria en de ranking van de evaluatieresultaten.

De eerste stap is het definiëren van de evaluatiecriteria. Die criteria moeten een relatie hebben met het onderwerp waar het ontwerp betrekking op heeft. Het kan dus deels teruggrijpen op het gegeven programma van eisen (PvE), maar ook op andere criteria. Als het over een PvE gaat, kan een vloeroppervlak één van eisen zijn, en dus één van de evaluatiecriteria. Een aantal specifieke duurzaamheidscriteria staan wellicht niet in het PvE, maar kunnen wellicht wél opgenomen worden in de MCA. De criteria zijn bij voorkeur onafhankelijk van elkaar (zie hoofdstuk 6.1) zodat onzuiverheden in de beoordeling en weging te voorkomen.

De tweede stap, het meten van de criteria, klinkt voor de hand liggend, maar is niet altijd eenvoudig. Denk bijvoorbeeld aan een ontwerp voor een nieuwe gevel. Het “meten” van het percentage zonlicht doorlatend geveloppervlak is relatief eenvoudig. De isolatiewaarde bepalen kan dat ook zijn, maar als je een nieuw materiaal wilt toepassen, of een nieuwe combinatie van materialen is dat al lastiger.

De derde stap, het standaardiseren van de metingen, maakt het mogelijk om criteria vergelijkbaar te maken. Een eenvoudig voorbeeld zou kunnen zijn dat je het zonlicht doorlatend oppervlak altijd in percentages wilt uitdrukken. En bijvoorbeeld ook de afwijking van het PvE in een percentage. In het beste geval zorg je dat alle criteria met een gelijksoortige waarde gemeten of weergegeven worden. In de praktijk wordt er bij veel MCA’s voor gekozen om de metingen uit te drukken in een aantal punten. Bijvoorbeeld op een schaal van 0-3 punten: als het doel gehaald is 2 punten, als er meer dan het doel gehaald wordt 3 punten en als het doel met een bepaalde foutmarge niet is gehaald 1 punt, of wanneer het nog slechter is, geen punten.

De vierde stap, het wegen van de criteria, kan heel belangrijk zijn wanneer specifieke doelen belangrijker zijn dan andere. Een budget overschrijding is in principe onmogelijk, dus zwaarwegend. Maar kan wellicht, wanneer er bijvoorbeeld door een hogere isolatie waarde veel energie bespaard zal worden, wel verantwoord worden. Om criteria te kunnen wegen heb je in de vorige stap gezorgd dat elk criterium een “gelijksoortige” uitkomst heeft. Hier kun je dan vervolgens een wegingsfactor toepassen op elk criterium: budget weegt 2 maal zo zwaar als isolatie waarde en zonlicht toetreding maar 0,8.

De vijfde en laatste stap is de ranking van de evaluatieresultaten, je moet immers een keuze maken. Je wilt de best presterende variant kiezen. En daarom wil je de scores op kunnen tellen nadat je ze hebt gewogen. Daarvoor moeten alle scores ook uitgedrukt worden in gelijksoortige waarden, idealiter wil nadat je ze gewogen hebt ook op kunnen tellen. Het ligt voor de hand om de ontwerpvariant met de meeste punten te kiezen voor verdere uitwerking. Echter, soms zijn er nog andere redenen – emotionele, persoonlijke, politieke – waarom niet altijd de best scorende variant wordt doorontwikkeld. Besluitvorming is immers geen 100% rationele, objectieve exercitie.

Een voorbeeld, gebaseerd op de criteria die genoemd werden, is in tabel 17.3.1 opgenomen. De tabel laat ook gelijk enkele complicaties zien die zorgen dat je de MCA als methode wellicht wilt herzien. Bij de zonlicht toetreding zijn beide gevels anders opgebouwd: beide gebruiken wel een PCM (Phase Change Material), alleen in andere mate. Omdat ze allebei 40% van hun gevel “transparant” maken, scoren ze gelijk. Maar 10% PCM verschil doet wel iets met de binnenruimte en de zonlichttoetreding. Het doet ook iets voor de isolatie waarde, de R-waarde van de gevel met hoger percentage PCM is hoger. Maar in ruil daarvoor krijg je als gebruiker vaak minder “helder” uitzicht. Kortom, zijn de scores voor deze twee varianten wel gelijk? Een tweede punt is dat het budget wel zwaarder weegt, maar dat dit effect op de budget overschrijding van de 2e variant geen effect heeft omdat het gewicht op de score geen invloed heeft. Als gevolg hiervan kies je in dit voorbeeld wel voor de dure variant. Als je de punten anders zou geven, bijvoorbeeld 2 punten voor de lage overschijding of wanneer je in variant 1 de R-waarde 1 punt geeft, dan kies je opeens voor de goedkope variant. De manier waarop je de weging en de score vormgeeft heeft dus een groot effect op de uitkomst. Merk ook op dat in het voorbeeld enkele criteria sterk met elkaar samenhangen.

Een voorbeeld uit de praktijk is het gebruik van de milieueffectrapportage (m.e.r.) bij grote projecten (figuur 17.3.1). “Milieueffectrapportage brengt de milieueffecten van een plan in beeld voordat de overheid daar een besluit over neemt. De verwachte effecten worden beschreven in een milieueffectrapport. Zo kan de overheid die het besluit neemt de milieueffecten bij haar afwegingen betrekken. Het doel van m.e.r. is om het milieu een volwaardige plaats te geven in de besluitvorming over plannen en projecten. Denk aan het plaatsen van windturbines, de aanleg van wegen of een nieuw bedrijventerrein. Initiatiefnemers beschrijven de verwachte effecten voor het milieu in een milieueffectrapport. Voor een zorgvuldige afweging bevat het rapport ook alternatieve oplossingen met bijbehorende milieueffecten. De verantwoordelijke overheid – Rijk, provincie, gemeente, waterschap – neemt het rapport mee in haar overwegingen.” (Commissie m.e.r., 2020). In een m.e.r. worden de effecten van het project op verschillende aspecten beoordeeld, zoals luchtkwaliteit, landschapsversnippering, geluidsoverlast, externe veiligheid, en dergelijke.

In ontwerpopgaven, zeker wanneer het aantal betrokken belanghouders toeneemt, kan een MCA een behulpzaam instrument zijn om de verschillende partijen inzicht en overzicht te verschaffen. Stedelijke opgaven, zoals in BK3ON3 of BK6ON5, lenen zich hier uitermate goed voor. Maar ook voor de evaluatie van eigen ontwerpstudies, bijvoorbeeld bij massastudies, kan een ontwerper de varianten naast elkaar leggen, even afstand nemen, en systematisch(er) een oordeel vellen over criteria zoals: relatie met de omgeving, inpasbaarheid in de omgeving, bezonning, zichtlijnen, toegankelijkheid en routes, omvang en kwaliteit restruimtes, en dergelijke.

_{p.m. Figuur 17.3.2 voorbeeld MCA bij inzet massastudie.} 

Voor- en nadelen van het gebruiken van de MCA techniek

De MCA methode is geschikt voor complexe vraagstukken, maar wordt daarmee ook snel zelf complex. Zoals in het voorbeeld van tabel 17.3.1 al aan de orde kwam is het opzetten van een MCA qua punten en weging ingewikkeld en wil je de methode zelf ook testen. De m.e.r. is een uitgebreid getest en gestandaardiseerd instrument en daaraan ontleent het ook een flink deel van haar waarde. In de complexiteit zit ook gelijk het probleem: je kunt niet elke ontwerpkeuze dezelfde systematische aandacht geven. Kleine, snelle MCA’s met een beperkt aantal criteria, eenvoudig puntensysteem en platte weging is gedurende het ontwerpproces vaak geschikter. De aanpak in een MCA is sterk omdat het gebaseerd is op een systematische, evidence-based opzet: de punten ken je toe op basis van een onderbouwde meting of schatting. Keuzes worden beter uitlegbaar en beter bekritiseerbaar. Bij BK4MA2-BK4ON4 is bijvoorbeeld het toepassen van het woningwaarderingpuntenstelsel (WWS) een voorbeeld van een input die goed in een MCA opgenomen zou kunnen zijn.

Reflectie

De multi criteria analyse techniek stelt ontwerpers in staat om ontwerpalternatieven expliciet en systematisch te evalueren. De techniek bestaat uit de opeenvolgende stappen van: het definiëren van de evaluatiecriteria, het meten van de criteria, het standaardiseren van de metingen, het wegen van de criteria en de ranking van de evaluatieresultaten.

Draagt een MCA nu bij aan het komen tot een ontwerpbeslissing? In de praktijk van de ontwerpen tijdens de BSc opleiding kan dit meevallen. Ten minste in expliciete zin: zelden zien we formele MCA benaderingen toegepast worden. Toch neem je in ontwerpprojecten aan de lopende band beslissingen die je soms verder onderzoekt dan in andere gevallen. Een deel van de tijd vertrouw je op je ervaring en gevoel (Gladwell 2005) en dat is soms wel, maar soms ook minder terecht. De uitleg die je kunt geven bij die keuze staat in ieder geval wél onder druk: vaak kun je maar slecht de argumenten onder woorden brengen die je hersens al lang afgewogen hebben. Dat je het niet onder woorden kan brengen, maakt de beslissing niet minder legitiem, maar wel ingewikkeld te verantwoorden. Wanneer je denkt aan de gevelopties uit tabel 17.3.1: wellicht koos je voor de eerste variant omdat je echte transparantie liet prevaleren, maar net zo legitiem is de keuze voor een hogere isolatiewaarde van de gevel. Een MCA kan helpen deze afweging expliciet te maken en de verschillende perspectieven ten opzichte van elkaar te wegen.

praktische tips

• Pas op met geven van ingewikkelde scores. Een MCA is het eenvoudigst toe te passen als de waarden van de criteria eenduidig te meten zijn: vierkante meters, aantallen, percentages, etc. Tegelijkertijd zit er in de benadering van waardes in de toekomst ook een onzekerheidsmarge. Nog moeilijker is het wanneer een criterium niet absoluut meetbaar is, bijvoorbeeld “aanpasbaarheid in de toekomst” of “flexibiliteit”. In MCA’s is het gebruikelijk (omdat de score wel “telbaar” moet zijn) om ook dergelijke criteria een numerieke waarde te geven. Kies daarvoor wel een relevante schaal, en probeer de schalen in de MCA niet te variëren: bijvoorbeeld geen 3 punts, 5 punts en 10 puntsschaal door elkaar. Creëer ook geen schijnnauwkeurigheid: als je twee varianten afweegt op een “vaag” criterium, kun je uitleggen waarom de een een 4 en de ander een 7 krijgt? Waarom geen 5 en 8? Of 1 en 4? (Zie ook hoofdstuk 6.2 over meetniveaus.)
• Pas op met het toekennen van gewichten. Het geven van verschillen in gewicht aan criteria is soms van belang maar houdt tegelijkertijd in dat er “waarde” toegekend wordt aan de verschillende criteria. Zeker bij meerdere belanghouders, kan de waarde van een criteria per belanghouder verschillen. Zie ook hoofdstuk 15.3 over actoren, hoofdstuk 16.1 over waarden en hoofdstuk 16.2 over ethiek. Idealiter is er dus onder de belanghouders wel overeenstemming over de toe te kennen gewichten. Dat is een ontwerpopgave op zich waarvoor een “decision room” (Van Loon et al 2008) een geschikte methode kan zijn.
• Pas op met teveel aspecten. Hoewel een MCA juist bedoeld is om veel aspecten af te wegen, zorgt een groot aantal af te wegen aspecten ervoor dat de kans groot is dat de varianten gelijk zullen scoren. Immers, de kans dat een variant het structureel beter doet op meer criteria dan een andere, neemt af als het aantal criteria toeneemt.
•  In een ontwerpproces moeten zoveel ontwerpkeuzes gemaakt worden, dat je, bij wijze van spreken, niet meer aan ontwerpen toekomt, wanneer je alles zou expliciteren. Je wilt voorkomen dat je een MCA te vaak expliciet gaat uitwerken, dat zou het proces vertragen.
• Maak plaats voor een “emotie” score of voor emotie in het besluitvormingsproces. Uit onderzoek naar het beoordelen van prijsvraagontwerpen (Gehner 2008), werd duidelijk dat er bij dergelijke juryprocessen behoefte was om een meer op emotie gebaseerde voorkeur mee te kunnen wegen. Wanneer die score geen deel uitmaakte van de MCA probeerden juryleden de scores op andere analyse punten zo te beïnvloeden tot hun emotionele voorkeur uit de ranking naar voren kwam.

Bronnen

Commissie m.e.r. (2020). Wat is m.e.r. Geraadpleegd 3 juli 2020 https://www.commissiemer.nl/ .

Gehner, E. (2008). Knowingly taking risk, investment decision making in real estate development. Utrecht: Eburon. https://repository.tudelft.nl/islandora/object/uuid:4ad6a43e-1655-428e-b983-aff7d55e48e4/datastream/OBJ/download

Gladwell, M. (2005). Blink, Thinking without Thinking. Little, Brown and Company.

Van Loon, P.P., Heurkens, E., & van Bronkhorst, S. (2008). De Urban Decision Room, Een Stedebouwkundig Sturingsinstrument. Delft: University Press.