Đề tài A methodology for validation of integrated systems models with an application to coastal-zone management in south-west sulawesi

è, M. and Cortés, U., 2004. Designing and building real environmental decision support systems. Environmental Modelling & Software 19, 857-873. Popper, K.R., 1959. The logic of scientific discovery. Hutching and Son Company. London, UK. References 118 Randers, J., 1980. Elements of the System Dynamics Method. The MIT Press, Cambridge, Massachusetts. Reckhow, K. H., Clements, J. T. and Dodds, R. C., 1990. Statistical evaluation of mechanistic water-quality model. J. Env. Eng., 116, 250-268. Refsgaard, J.C and Henriksen, H.J., 2004. Modelling guidelines-terminology and guiding principles. Advance in Water Resources 27, 71-82. Refsgaard, J.C., Henriksen, H.J., Harrar, W.G., Scholten, H. and Kassahun, A., 2005. Quality assurance in model based water management – review of existing practice and outline of new approaches. Environmental Modelling & Software 20, 1201-1215. Renema, W. and Troelstra, S.R., 2001. Larger foraminifera distribution on a mesotrophic carbonate shelf in SW Sulawesi (Indonesia). Palaeogeography, Palaeoclimatology, Palaeoecology 175, 125-146. Rosnay, J.D., 1979. The Macroscope A new world scientific system. Translated from the French by Robert Edwards. Harper & Row, Publishers New York, Hagerstown, San Francisco, London. ( Rotmans, J. and de Vries, B., 1997. Perspectives on Global Change: The TARGETS Approach. Cambridge University Press, Cambridge, UK. Rykiel, E.J., 1996. Testing ecological models: the meaning of validation. Ecological Modelling 90, 229-244. Saila, S.B., Kocic, V.Lj. and McManus, J.W., 1993. Modelling the effects of destructive fishing practices on tropical coral reefs. Marine Ecology Progress Series 94, 51-60. Saltelli, A. and Scott, M. 1997. Guest Editorial: The role of sensitivity analysis in the corroboration of models and its link to model structural and parametric uncertainty. Reliability Engineering and System Safety 57, 1-4. Sargent, R. G., 1984. A Tutorial on Verification and Validation of Simulation Models. Proceedings of the 1984 Winter Simulation Conference, 115-121. Sargent, R. G., 1991. Simulation model verification and validation. Proceedings of the 1991 Winter Simulation Conference, 37-47. Schaefer, M.B., 1954. Some aspects of the dynamics of populations important to the management of the commercial marine fisheries Bull. I ATTC / Bol. CIAT 1, 27-56. Scholten H., Van der Tol, M.W.M. and Smaal, A.C., 1998. Models or measurements? Quantitative validation of an ecophysiological model of mussel growth and reproduction. Paper presented at the ICES Annual Science Conference, Cascais, Portugal. References 119 Scholten, H. and Cate, A.J.U., 1999. Quality assessment of the simulation modeling process. Computers and Electronics in Agricultures 22, 199-208. Scholten, H. and Van der Tol, M.W.M., 1994. Towards a metrics for simulation model validation. In: Predictability and nonlinear modeling in natural sciences and economics. Grassman, J. and Van Straten, G.(Eds.) Kluwer Academic Publishers, Dordrecht, The Netherlands, 398-410. Schreider, S.Y. and Mostovaia, A.D., 2001. Model sustainability in DSS design and scenario formulation What are the right scenarios?. Environment International 27, 97- 102. Schwab, P., Cerutti, F. and von Reibnitz, C., 2003. Foresight-using scenarios to shape the future of agriculture research. Foresight 5 (1), 55-61. Scrase, J.I. and Sheate, W.R., 2002. Integration and Integrated Approach to Assessment: What do they mean for the environment?. Journal of Environmental Policy & Planning 4, 275-294. SCS., 1971. Sediment sources, yields, and delivery ratios. In National Engineering Handbook, Section 3: Sedimentation. U.S. Department of Agriculture, Soil Conservation Service. Shafer, G., 1976. A mathematical Theory of Evidence. Princeton University Press, Princeton, New Jersey. Shannon, C. E., 1948. A Mathematical Theory of Communication. The Bell System Technical J. 27, 379-423 and 623-656, July and Oct. 1948. Shannon, E. R., 1975. System Simulation: the art and science. Prentice-Hall, Englewood Cliffs, New Jersey. Shannon, E.R., 1981. Tests for verification and validation of computer simulation models. Proceedings of the 1998 Winter Simulation Conference, 573-577. Stergiou, K.I. and Christou, E.D., 1996. Modelling and forecasting annual fisheries catches: comparison of regression, univariate and multivariate time series methods. Fisheries Research 25, 105-138. Sterman, J.D., 2002. All models are wrong: reflections on becoming a system scientist. System Dynamics Review 18, 501-531. Suriamihardja, D.A. et al., 2001. Study of Integrated Management on Jeneberang Watershed, Phase 2. Final Report made by the cooperation program between Canadian International Development Agency and Center for Environmental Study, Hasanuddin University, Makassar, Indonesia. References 120 Tarantola, S., Jesinghaus, J. and Poulamaa, M., 2000. Global Sensitivity Analysis: A Quality Assurance Tool in Environmental Policy Modelling. In: A. Saltelli, K. Chan, & E.M. Scott, (eds.), Sensitivity Analysis. Wiley, Chichester, pp. 385-397. Thornton, P.K., 1996. A note on Regression Real-world Data on Model Output. Agricultural systems (50), 411-414. Turner, R. K., 2000. Integrated natural and socio-economic science in coastal management. J. Marine Systems 25, 447-460. Uljee I., Engelen, G. and White, R., 1996. RAMCO Demo guide. Modelling and Simulation Research Group, Research Institute for Knowledge Systems b.v. P.O. Box 463, 6200 AL Maastricht, The Netherlands. Van Asselt, M.B.A. and Rotmans, J., 2002. Uncertainty in Integrated Assessment Modelling: From Positivism to Pluralism. Climate Chang 54, 75-105. Van Asselt, M.B.A., 2000. Perspectives on Uncertainty and Risk: The PRIMA Approach to Decision Support. Kluwer Academic Publishers. Boston/Dordrecht/London. Van Ast, J.A., 1999. Trends Towards Interactive Water Management; Developments in International River Basin Management. Phys. Chem. Earth (B) 24 (6), 597-602. Van der Fels-Klerx, H.J., Horst, H.S. and Dijkhuizen, A.A., 2000. Risk factors for bovine respiratory disease in dairy youngstock in The Netherlands: the perception of experts. Livestock Production Science 66, 35-46. Van der Heijden, K., 1996. Scenarios: The Art of Strategic Conversation. John Wiley & Sons. Chichester. Van Gigch, J.P., 1974. Applied General Systems Theory. Harper & Row Publishers. N.Y. Van Oostenbrugge, J.A.E, Poos, J.J., Van Densen., W.L.T. and Machiels, M.A.M., 2002. In search of a better unit effort in the coastal liftnet fishery with lights for small pelagics in Indonesia. Fisheries Research 59, 43-56. Van Tongeren, O.F.R., 1995. Data analysis or simulation model: a critical evaluation of some methods. Ecological modeling 78, 51-60. Veldkamp, A. and Lambin, E.F., 2001. Editorial: Predicting land-use change. Agriculture, Ecosystems and Environment 85, 1-6. Von Bertalanffy, L. (1968). General systems theory: Foundations, development, applications. New York: Braziller. Von Reibnitz, U., 1988. Scenario techniques. McGraw-Hill, Hamburg. References 121 Walker, W.E., Harremoes, P., Rotmans, J. et al., 2003. Defining Uncertainty: A Conceptual Basis for Uncertainty Management in Model-Based Decision Support. Integrated Assessment 4 (1), 5-17. WCC, 1993. World Coast Conference 1993, Preparing to meet the coastal challenges of the 21st century, Conference Report, Noordwijk, The Netherlands, 1-5 November 1993. Ministry of Transport, Public Works and Water Management. National Institute for Coastal and Marine Management, Coastal Zone Management Centre (RIKZ). WCED,1987. Our Common Future. The report of the World commission on environment and Development, Oxford University Press, Oxford, UK. White, R. and Engelen, G., 1997. Cellular automata as the basis of integrated dynamic regional modelling. Environment and Planning B: Planning and Design. 4, 235-246. Wiener, N. 1948. Cybernetics or Control and Communication in the Animal and the Machine, Hermann et Cie, Paris, The MIT Press, Cambridge (Mass.), Wiley and Sons, New York. Wischmeier, W.H. and Smith, D.D., 1965. Predicting rainfall-erosion losses from cropland east of the Rocky Mountains: Guide for Selection of Practices for Soil and Water Conservation. Agriculture Handbook No. 282. Washington. U.S. Printing Office. Wischmeier, W.H. and Smith, D.D., 1978. Predicting rainfall-erosion losses. Agriculture Handbook No. 537. U.S. Department of Agriculture. Washington D.C. Wismadi, A., 2003. Validation of Urban Growth Modelling by GIS and Earth Observation Data Case Study: RaMCo Model for Makassar, Indonesia. Master Thesis. International Institute for Geo-Information Science and Earth Observation (ITC), Enschede, The Netherlands. Zadeh L.A., 1973. Outline of a New Approach to the Analysis of Complex Systems and Decision Process. IEEE Trans. Systems, Man, Cybernetics, SMC-3, 28-34. Zio, E. and Apostolakis, G.E., 1997. Accounting for Expert-To-Expert Variability: A Potential Source of Bias in Performance Assessments of High-Level Radioactive Waste Repositories. Ann. Nucl. Energy 24 (10), 751-762. Zio, E., 1996. On the use of the analytical hierarchy process in the aggregation of expert judgments. Reliability Engineering and System Safety 53, 127-138. References 122 Symbols A A(t) a, b, c Aavailable Ai(t) An(t) Ave. Ai(t) B(t) C c(t) C(t) Ce(t) di(X) E E(t) E(t)uncorrected EMSY f(V) Fi k computed soil loss per unit area area of mixed agriculture or rice culture at the year t regression coefficient of fisheries models total available land in the study area allocated land demand for land-use type i area of ‘nature’ land-use type at the year t average of the ranking of a factor/process given by all experts/stakeholders in combining expert’s opinion computed land demand for land-use type i fish biomass at time t cover management factor in USLE equation system control variable at time t; production cost per unit area of mixed agriculture or rice catch rate at time t catch rate at equilibrium biomass elementary effect attributable to the input xi in the Morris design gross Erosion in sediment equation total number of trips at year t measured as the number of trips belonging to a “reference” fleet which has no engine; also the fishing effort at time t for fisheries model computations number of fishing trips obtained from statistical data fishing effort corresponding to Maximum Sustainable Yield a dimensionless function whose value ranging form 0 to 1, reflecting the irrigation of the storage lake to compute rice yield frequency distribution of elementary effects of factor xi number of factors considered in the Morris analysis; a parameter corresponding to the unfished equilibrium stock size in fisheries Symbols 124 K KFi L LIi LS m MSY n N(t)inboard N(t)nonpow N(t)outboard p P p(t) PTi q r R R2 S s s(t) SDR SKi Std. Sy t U(t), CPUE(t) Ue(t) wi X soil erodibility factor fields of expertise, expert i has knowledge about slope length factor level of interest of expert i on a certain set of questions the production of slope length factor and slope steepness factor power factor in USLE equation maximum sustainable yield number of the inference rules number of inboard-engine fishing trips at year t number of nonpower fishing trips at year t numbers outboard-engine fishing trips at year t number of levels chosen for each factor in the Morris design support practice factor price per tonne of mixed agriculture or rice professional title of expert i on a certain set of questions parameter to describe the effectiveness of each unit of effort number of elementary effects to construct a frequency distribution Fi; also the intrinsic rate of fish population growth rainfall factor percentage of variance explained by regression slope steepness factor slope percentage in USLE system state variable at time t sediment delivery ratio source of knowledge of expert i on a certain set of questions standard deviation of the ranking of a factor given by all experts/stakeholders for combining expert’s opinion sediment yield time catch per unit effort (CPUE) at time t catch per unit effort (CPUE) at time t under equilibrium assumption weight assigned to the expert i a vector containing k inputs or factors (x1,...xi,…xk) Symbols 125 x x(t) x1 x2 x3 x4 xi xi1 xip y y(t) y(X) YEi yir ynir yrice Z(t) Zn(t) Zn,tot Ztot α ∆ ∆A(t) ∆An(t) λ Aggregated ranking of a factor given by all experts/stakeholders in weight average method for combining expert’s opinion system input variable at time t numerical value of food crop price in the fuzzy set numerical value of cash crop price in the fuzzy set numerical value of production cost in the fuzzy set numerical value of public investment in the fuzzy set input or factor i in Morris design; ranking of a factor/process with regard to its relatively influential importance, given by the expert i minimum values of the uncertainty range of factor xi maximum values of the uncertainty range of factor xi values of a fuzzy output in the numerical domain system output variable at time t; yield of mixed agriculture which can accommodate technological changes in RaMCo output as a function of the input vector X in Morris analysis years of experience of expert i on a certain set of questions maximum yields of rice culture with irrigation maximum yields of rice culture without irrigation yield of rice culture sum of suitability for mixed agriculture or rice culture over all cells occupied by mixed agriculture or rice culture at the year t sum of geographical suitability for ‘nature’ land-use type over all cells occupied by mixed agriculture or rice culture at the year t extended sum of geographical suitability for ‘nature’ land-use type over all cells on the map extended sum of geographical suitability for mixed agriculture or rice culture over all cells on the map spatial growth coefficient of rice culture, mixed agriculture or nature predetermined increment of factors in the Morris design rate of change of the area of mixed agriculture (rather than rice) and rice culture in RaMCo at year t rate of change of the area of ‘nature’ land-use type in RaMCo field slope length in USLE Symbols 126 µ1(x1) µ2(x2) µ3(x3) µ4(x4) µAND µCONS(y ) µiCONS(y) µI µOUT(y) η(t) σi δn(t) membership value for the food crop price corresponding to numerical value x1 membership value for the cash crop price corresponding to numerical value x2 membership value for the production cost corresponding to numerical value x3 membership value for the public investment corresponding to numerical value x4 membership value for the rule antecedent membership function of the fuzzy rule consequent membership function of the fuzzy rule consequent i mean of the frequency distribution Fi in Morris analysis aggregated membership function of n inference rules spatial fraction of rice fields which can be irrigated the standard deviation of the frequency distribution Fi area of reforestation at the year t Acronyms and abbreviations AMSL Ave. BOD CCA CEDRS CPUE GOF H IA IAM ISM(s) ISW ITC KF L LI M MF(s) MOV(s) MSY RaMCo RIKS SA SD SDR Above Mean Sea Level Average Biological Oxygen Demand Constrained Cellular Automata Catch and Effort Data Recording System Catch per Unit Effort Goodness-Of-Fit High Integrated Assessment Integrated Assessment Modelling Integrated Systems Model(s) Integrated Water System International Institute for Geo-information Science and Earth observation Knowledgeable Fields Low Level of Interest Medium Membership Functions Management Objective Variables Maximum Sustainable Yield Rapid Assessment Model for Coastal zone Management Research Institute for Knowledge System Sensitivity Analysis System Dynamics Sediment Delivery Ratio Acronyms and abbreviations 128 SE(s) SK Std. SUA UK UNHAS US USLE W&H Model YE Scientific experts Source of Knowledge Standard deviation Sensitivity and Uncertainty Analyses United Kingdom Hasanuddin University United State Universal Soil Loss Equation Walters and Hilborn Model Years of Experience Summary The history of validation, verification or evaluation of scientific models is probably as long as that of science itself. Nevertheless, the controversial debate pertaining to the terminology and methodology used to determine the truthfulness, usefulness, trustworthiness and validity of scientific models has not ended yet. The shift of model purpose from describing nature to supporting the human process of regulating and controlling nature is an obvious necessity, because making predictions for open systems is arguably not possible. Describing nature and providing a fit to measurements is necessary but not sufficient. New conditions and future situations, which the model is intended to describe, should be taken into account in order to draw conclusions about the validity of the model. Integrated Systems Models (ISMs) have been developed over decades to support the planning and management of natural resources and the environment. The development of these models is based on the concepts of systems approach and integrated approach. However, the lack of a generally accepted definition of model validity and model validation, the inherent complexity of ISMs, the poor predictive value of historical data related to the natural-human system, the scarcity of field data and the high level of aggregation of ISMs make the validation of ISMs an extremely difficult task (Chapter 1). These problems raise a number of important questions, such as: to what extent can such models contribute to our knowledge and ability to manage the environment? Do they have added value in comparison with conventional process models? Centred in these questions are the two questions: how can the validity of an ISM be defined? How can this validity be determined? This thesis is aimed at answering these two questions. The Rapid Assessment Model for Coastal-zone Management (RaMCo), which was developed by a Dutch-Indonesian multidisciplinary team, serves as a case study to achieve the objective of the thesis. The theoretical justification for this choice is that RaMCo contains the typical characteristics of an Integrated Systems Model. First, RaMCo has the ability to take into account the interactions of socio-economic developments, biophysical conditions and policy options. Second, the model includes linkages between many processes pertaining to different scientific fields, such as marine pollution, land-use change, urbanisation, catchment hydrology, coastal hydrodynamics, fisheries, and regional economic development. A practical justification for choosing this model is that validation did not take place during the project. In addition, the availability of new measured data (from 1996 until now) allows for the application of the quantitative techniques which are suitable for the validation of ISMs. In Chapter 1, the principles and concepts of the systems approach, system dynamics modelling and integrated approach are explained in the context of integrated water Summary 130 management. These concepts, together with the review of the purposes of ISMs (Chapter 2), form the background that leads to a definition of validity and validation of ISMs. The fundamental characteristic of the integrated systems modelling approach, which differs from traditional modelling, is the focus on model structure, the interaction between system elements and the behaviour (patterns) of the system. The function of an ISM can range from data base and library - for which validation is less important - to systems analysis and decision support, for which validation prior to any practical application is of vital importance. In the light of the concepts of system modelling and the purposes of ISMs, the validity of ISMs is proposed to pertain to four aspects: the soundness and completeness of the model structure, the plausibility and the correctness of model behaviour. Soundness of the model’s structure is understood to mean that the model’s structure should be based on valid reasoning and be free from logical flaws. Completeness of the structure means that the model includes all elements relevant to the defined problems and their underlying causes which concern the decision-makers and stakeholders. Plausibility of model behaviour means that the model behaviour should not contradict general scientific laws and established knowledge. Behaviour correctness is understood as the extent to which computed behaviour and measured behaviour are in agreement. Therefore, the validity of an Integrated Systems Model is defined as the soundness and completeness of the model structure together with the plausibility and correctness of the model behaviour. As a consequence, the validation of ISMs is defined as the process of determining the model validity as defined above. In view of the definition of model validity and the problems related to the validation of ISMs just mentioned, a conceptual framework and a detailed procedure for the validation of ISMs have been established. These reflect the philosophical position taken in this thesis, which lies somewhere between objectivism (in the sense that there is an ultimate truth) and relativism (one model is as good as any other) and beyond rationalism and empiricism. In the conceptual framework for ISM validation (Fig. 2.2, Chapter 2), three types of systems are distinguished: the real system, the model system and the hypothesised system. The real system includes the components, their interactions, the causal linkages between those components and the resulting behaviour of the system in reality. The model system is the system built by the modellers to simulate the real system, which may be used to support the decision-making process. The hypothesised system is the counterpart of the real system, which is constructed for the purpose of model validation. It is created from readily available data, available knowledge of the system experts (scientific researchers and decision-makers) and the experience of stakeholders. With this classification, we can carry out two categories of validation tests: empirical and rational. These tests are selected and designed to answer three research questions: how can the validity of the ISM elements and structure be determined? How can the validity of ISM future behaviour be determined qualitatively? How can the validity of ISM quantitative behaviour be determined if measured data are available to a limited extent? A realisation of the conceptual framework in the form of a general validation procedure is organised in sixteen steps, ordered in four phases (Fig. 2.3, Chapter 2). Phase 1 is aimed at specifying the inputs, parameters, sub-models and clusters of processes that are relevant to the Management Objective Variables (MOVs) of concern. This is done by Summary 131 using screening sensitivity analysis. Phase 2 is related to collecting and evaluating validation data from the field, expert knowledge, experience of stakeholders and literature. A special aspect is the formulation of system experts’ hypotheses with which validation can be carried out in the absence of field data. Phase 3 is the testing phase, where the concepts of performance criteria and validity criteria are important. A set of appropriate tests for ISM validation is selected, developed and applied. The procedure ends with Phase 4, assessing and reporting. This general procedure helps to reduce the workload and overcome the problem of the complexity of ISMs. To determine the validity of the model elements and structure, it is necessary to find an appropriate approach to solve several typical problems, such as the lack of field data for model calibration and validation, the uncertainty of these data and the differences in perception between resource managers, stakeholders and modellers about the problems of concern. The ultimate purpose of this validation is to obtain an ISM with a complete set of relevant elements (key issues and causally linked components) that are important to stakeholders and decision-makers, and a sound structure. A validation procedure, which has the above-mentioned characteristics, is described in Chapter 3. The approach is based on the Morris sensitivity analysis, a simple expert elicitation technique, and Monte Carlo analysis to facilitate three validation tests, namely Parameter-Verification, Behaviour-Anomaly and Policy Sensitivity. Two management variables, the living coral reef area and the total pollution load into the coastal waters, expressed in the Biological Oxygen Demand (BOD), are selected as case examples. The application of this validation procedure shows that omitting poison fishing limits the ability of RaMCo as a discussion tool for describing the future state of the living coral. To determine qualitatively the validity with respect to the system’s future behaviour, it is necessary to find an appropriate approach to solve a number of particular problems. The system under consideration is open, which is characterised by the uncertain future exogenous variables, for example the effect of an advance in fishing techniques or the changing subsidy policy for rice culture. Human behaviour is complex and therefore the social sciences are largely qualitative by nature. This limits the predictive value of historical data for describing the future state of the system. Agreement between simulated behaviour and historical data does not guarantee agreement between the simulated behaviour and future data. The purpose of this validation approach is to obtain a model which serves well as a tool for facilitating discussions between system experts about the future behaviour of the system. The model should be sound and complete enough to reflect the system experts’ consensus about the behaviours of the system, under a chosen set of possible socio-economic and policy scenarios. Chapter 4 describes such an approach. Within this approach, expert knowledge is elicited in the form of qualitative scenarios. These qualitative scenarios are translated into quantitative projections using fuzzy set theory, which is very suitable to deal with the ambiguity and imprecision related to humanistic systems. Trend line comparison between the behaviour projections made by the model and projections based on expert knowledge can reveal structural faults of the model. This is demonstrated by the example discussed in Chapter 4. Due to the too coarse aggregation level of the land-use model (reflected by a lack of erosion-sensitive land-use types), RaMCo fails to describe the consequences of possible future changes in socio-economic factors and policy options on the sediment yield to a storage lake. Summary 132 In order to determine the validity of the model behaviour quantitatively, i.e. if quantitative observations are available, an appropriate approach has been formulated to address two problems: the uncertainty of the data for the model calibration and validation, and the problem of defining quantitative criteria for measuring the validity of an ISM. The ultimate purpose of this kind of validation is to obtain a model which can provide a correct trend and a reasonable magnitude of change in the key management variables under a selected combination of measures and scenarios. This means that the ISM should be good enough to provide plausible and accurate behaviour to satisfy these requirements. Chapter 5 is devoted to the development of a procedure for this purpose, which is tested for the fisheries model of RaMCo. This model is chosen as a case example because the empirical data needed for quantitative validation are easier to obtain for a small-scale model. Residual analysis is proposed to examine the pattern replication ability of the model. The Mitchell (1997) test is used to test the predictive accuracy, and the extreme behaviour test is adopted to test the plausibility of the model behaviour. The example given in Chapter 5 demonstrates that a good fit between observed data and predicted data does not guarantee the plausibility of a model. When the model lacks plausibility, it fails to be a useful tool for policy formulation. Summarising, this thesis presents a methodology to validate Integrated Systems Models, with three innovative aspects. An appropriate procedure has been established to test the completeness and the soundness of the model structure and elements based on sensitivity and uncertainty analyses. A new approach has been developed to test integrated models using qualitative scenarios, dealing with the problem of uncertain future conditions and the qualitative nature of social sciences and human behaviour. Finally, a procedure has been formulated to test the validity of the quantitative model behaviour when measured data are only available to a limited extent. Although the proposed methodology has been applied to validate RaMCo, it is expected to be applicable to other ISMs which have the same characteristics as RaMCo. These characteristics include: model complexity, the inclusion of social science, the lack of and large uncertainty of field data for model calibration and validation and the high level of aggregation. The proposed methodology is not only applicable to the validation of ISMs but it can also contribute to the quality assurance guidelines for integrated modelling. The two approaches proposed in Chapter 3 and Chapter 4, which allow for the participation of system experts and stakeholders during the model design, can be used to select and refine the conceptual model and to calibrate a site-specific model. The quantitative testing procedure, which is described in Chapter 5, can be applied to validate process models, such as ecological models, hydrological models and hydrodynamic models. Nevertheless, this thesis is not expected to provide a full guideline for ISM validation with a complete set of tests. Taking the philosophical standpoint, it does not matter how many tests a model has passed, the very next test and/or next data may falsify a model. The tests proposed in this thesis can be considered as the minimum necessary prior to any practical application of an ISM. Samenvatting Waarschijnlijk zijn de validatie, verificatie, en evaluatie van wetenschappelijke modellen net zo oud als de wetenschap zelf. Desalniettemin is er nog geen einde gekomen aan de controverse m.b.t. de terminologie en methodologie voor het bepalen van het waarheidsgehalte, de bruikbaarheid, betrouwbaarheid en validiteit van wetenschappelijke modellen. De accentverschuiving van het doel van modellen van beschrijving van de natuur naar de ondersteuning van de regulering en beheersing daarvan is duidelijk noodzakelijk, omdat het aantoonbaar onmogelijk is om voorspellingen te doen over open systemen. Het beschrijven van de natuur en bereiken van overeenstemming met metingen is noodzakelijk, maar niet voldoende. Nieuwe omstandigheden en toekomstige veranderingen, welke het model dient te beschrijven, zouden in acht genomen moeten worden om tot een oordeel te komen over de validiteit van een model. Reeds gedurende een aantal decennia zijn er Integrale Systeem Modellen (ISMs) ontwikkeld om de beleidsvorming en het beheer van natuurlijke hulpbronnen en het milieu te ondersteunen. De ontwikkeling van deze modellen is gebaseerd op concepten ontleend aan de systeembenadering en integrale benadering. Desondanks leiden het gebrek aan een algemeen geaccepteerde definitie van model validiteit en model validatie, de complexiteit die inherent is aan ISMs, de slechte voorspellingswaarde van historische gegevens m.b.t. het natuur-mens systeem, de schaarsheid van veldgegevens en het hoge aggregatieniveau van ISMs ertoe dat de validatie van ISM's een zeer moeilijke taak is (Hoofdstuk 1). Deze problemen roepen een aantal belangrijke vragen op, zoals: "In welke mate kunnen dergelijke modellen een bijdrage leveren aan onze kennis en ons vermogen om de natuur te beheren?", "Hebben deze modellen een toegevoegde waarde in vergelijking met conventionele procesmodellen?". Besloten in deze vragen zijn de twee onderliggende vragen: "Hoe kan de validiteit van een ISM worden gedefinieerd?", "Hoe kan deze validiteit worden bepaald?". Het doel van dit proefschrift is een antwoord te vinden op deze twee vragen. Het Rapid Assessment Model for Coastal-Zone Management (RaMCo) is ontwikkeld door een nederlands-indonesisch, multidisciplinair team, en dient als gevalsstudie voor dit proefschrift. De theoretische rechtvaardiging voor deze keuze is dat RaMCo de typische kenmerken van een Integraal Systeem Model heeft. In de eerste plaats biedt RaMCo de mogelijkheid om de interacties tussen sociaal-economische ontwikkelingen, biofysische omstandigheden, en beleidsopties in beschouwing te nemen. In de tweede plaatszijn in het model dwarsverbanden tussen vele processen, zoals de vervuiling van zeewater, verandering van landgebruik, verstedelijking, de hydrologie van stroomgebieden, de kusthydrodynamica, de visserij, en regionale economische ontwikkeling, opgenomen. Een practische rechtvaardiging voor de keuze voor dit model Samenvatting 134 isdat gedurende het project geen validatie plaatsvond. Daarnaast biedt de beschikbaarheid van nieuwe meetgegevens (vanaf 1996 tot nu toe) de mogelijkheid om kwantitatieve technieken, die geschikt zijn voor de validatie van ISMs, toe te passen. In Hoofdstuk 1 worden de principes en concepten van de systeembenadering, systeemdynamisch modelleren en de integrale aanpak uiteengezet tegen de achtergrond van integraal waterbeheer. Samen met een overzicht van de functies van ISMs (Hoofdstuk 2) vormen deze concepten de achtergrond, van waaruit een definitie van validiteit en validatie van ISMs is ontwikkeld. Het fundamentele kenmerk van de benadering van integrale systeemmodellering, die verschilt van de traditionele wijze van modelleren, is dat de nadruk ligt op modelstructuur, de wisselwerking tussen systeemelementen en het gedrag(spatroon) van het systeem. De functie van een ISM kan variëren van gegevensopslag en bibliotheek, waarvoor validatie minder belangrijk is, tot een systeemanalyse en beslissingsondersteuning, waarvoor validatie voorafgaand aan enige practische toepassing van het model van wezenlijk belang is. In het licht van de concepten uit de systeemmodellering en de doelen van ISMs wordt voorgesteld de validiteit van ISMs te koppelen aan vier aspecten: de juistheid en compleetheid van de modelstructuur, de aannemelijkheid en correctheid van het modelgedrag. Onder de juistheid van een model wordt verstaan dat de modelstructuur gebaseerd is op geldige redeneringen en gevrijwaard is van logische tekortkomingen. Compleetheid van de structuur betekent dat het model alle elementen omvat, welke relevant zijn voor de gedefinieerde problemen en onderliggende oorzaken, die voor besluitvormers en belanghebbenden van belang zijn.. Aannemelijkheid van modelgedrag betekent dat het modelgedrag niet in strijd mag zijn met de regels der wetenschap en gevestigde kennis. Onder de correctheid van het modelgedrag wordt de mate waarin het berekende en het waargenomen gedrag overeenstemmen verstaan. Daarom wordt de validiteit van een Integraal Systeem Model gedefinieerd als de juistheid en compleetheid van de modelstructuur, samen met de aannemelijkheid en correctheid van het modelgedrag. Daaruitvolgend wordt de validatie van ISMs gedefinieerd als het proces dat leidt tot een bepaling van de modelvaliditeit. Met het oog op de definitie van modelvaliditeit en de zojuist genoemde problemen met betrekking tot de validatie van ISMs, zijn een conceptueel raamwerk en een gedetailleerde procedure voor de validatie van ISMs opgezet. Deze weerspiegelen het filosofische uitgangspunt van dit proefschrift, dat zich ergens tussen het objectivisme (in de zin dat er een ultieme waarheid is) en het relativisme (het ene model is net zo goed als enig ander model), en voorbij rationalisme en empirisme, bevindt. Binnen het conceptuele raamwerk (Fig 2.2, Hoofdstuk 2), worden drie soorten systemen onderscheiden: het werkelijke systeem, het modelsysteem, en het gehypothetiseerde systeem. Het werkelijke systeem omvat de bestaande componenten met hun interactiesen causale verbanden tussen deze componenten, en het daaruit volgende gedrag van het systeem, zoals dat in werkelijkheid bestaat. Het model systeem is het systeem, dat door de modelontwikkelaars geconstrueerd is om het werkelijke systeem te simuleren, en kan worden ingezet om de besluitvorming te ondersteunen. Het gehypothetiseerde systeem is de tegenhanger van het werkelijke systeem, en is geconstrueerd voor modelvalidatie. Het is gebaseerd op eenvoudig beschikbare gegevens, de beschikbare kennis van systeemdeskundigen (wetenschappers en besluitnemers) en de ervaring van belanghebbenden. Met deze indeling kunnen we twee categorieën van validatietoetsen, Samenvatting 135 empirische en rationele, uitvoeren. Deze testen zijn gekozen en ontworpen om drie onderzoeksvragen te beantwoorden: "Hoe kan de validiteit van de elementen en structuur van een ISM worden bepaald?", "Hoe kan kwalitatief de validiteit van het toekomstgedrag als beschreven door een ISM worden bepaald?", en "Hoe kan de validiteit van het kwantitatieve modelgedrag worden bepaald, indien meetgegevens in beperkte mate beschikbaar zijn?". Een realisatie van het conceptueel raamwerk binnen een algemene validatie procedure is gevormd rond zestien stappen, die in vier fasen zijn geordend (Fig 2.3, Hoofstuk 2). De eerste fase is erop gericht de ingangsvariabelen, parameters, submodellen, en clusters van processen te specificeren, die relevant zijn voor de betreffende Management Doel Variabelen (MDVs). Dit gebeurt door een gevoeligheidsanalyse op basis van screening. De tweede fase houdt verband met het verzamelen en waarderen van validatiegegevens op basis van veldbezoek, expertkennis, de ervaring van belanghebbenden, en literatuur. Een bijzonder aspect is het formuleren van systeemhypotheses door experts, waarmee validatie zonder veldgegevens mogelijk wordt. De derde fase betreft het toetsen, waarbij de concepten van doelmatigheidscriteria en validiteitscriteria belangrijk zijn. Voor de validatie van Integrale Systeem Modellen zijn een aantal geschikte toetsen uitgekozen, ontwikkeld, en toegepast. De procedure eindigt met de vierde fase, die bestaat uit het waarderen en rapportage. Deze algemene procedure draagt bij aan de verlichting van de werklast en aan de aanpak van het probleem van de complexiteit van ISMs. Teneinde de validiteit van de elementen en structuur van modellen te bepalen, is het noodzakelijk een geschikte benadering te vinden, waarmee een aantal kenmerkende problemen, zoals het gebrek aan veldgegevens voor de calibratie en validatie van modellen, de onzekerheid van deze gegevens, en het verschil in perceptie tussen de beheerders van hulpbronnen, belanghebbenden en de modelontwikkelaars met betrekking tot de problemen, die van belang zijn. Het uiteindelijke doel van deze validatie is te komen tot een ISM met een complete verzameling relevante elementen (hoofdkwesties en de oorzakelijk gekoppelde componenten), die voor belanghebbenden en besluitvormers een rol spelen, en een juiste structuur. In Hoofdstuk 3 wordt een validatie procedure met bovengenoemde eigenschappen beschreven. De benadering is gebaseerd op de gevoeligheidsanalyse volgens Morris, een eenvoudige techniek om informatie aan experts te onttrekken, en Monte Carlo analyse, waarmee drie validatietoetsen, namelijk Parameterverificatie, Gedragsanomalie, en Beleidsgevoeligheid, kunnen worden uitgevoerd. Twee beheersvariabelen, het oppervlak levend koraalrif, en de totale uitstoot van afvalstoffen in de kustwateren, uitgedrukt in de Biologische Zuurstofbehoefte (BZB), zijn als voorbeeld uitgekozen. De toepassing van deze validatie procedure toont aan dat het weglaten van gifvisserij het vermogen van RaMCo om als discussieinstrument voor de beschrijving van de toekomstige toestand van het levend koraal te dienen beperkt. Teneinde kwalitatief de validiteit van een model met betrekking tot het toekomstgedrag te bepalen, is het noodzakelijk een geschikte benadering te vinden, waarmee een aantal bijzondere problemen kunnen worden opgelost. Het beschouwde systeem is open, en wordt gekenmerkt door onzekere, toekomstige, exogene variabelen, bijvoorbeeld het effect van een vooruitgang in visvangsttechniek of een veranderd subsidiebeleid t.a.v. de rijstcultuur.Het menselijk gedrag is complex en daarmee is de beschrijving daarvan door de sociale wetenschappen grotendeels kwalitatief van aard. Dit beperkt de Samenvatting 136 voorspellende waarde van historische gegevens voor het beschrijven van de toekomstige systeemtoestand. Overeenstemming tussen het gesimuleerde gedrag en historische waarnemingen waarborgt niet een overeenstemming tussen het gesimuleerde gedrag en toekomstige waarnemingen. Het doel van deze validatiemethode is een model te verkrijgen, dat goed als instrument kan dienen ter vereenvoudiging van discussies tussen systeemexperts met betrekking tot het toekomstige gedrag van het systeem. Het model dient voldoende correct en compleet te zijn om de overeenstemming weer te geven, die onder deskundigen bestaat over de gedragspatronen van het systeem onder een gekozen verzameling mogelijke sociaal-economische en politieke scenarios. Hoofdstuk 4 beschrijft een dergelijke aanpak. Binnen deze aanpakwordt kennis in de vorm van kwalitatieve scenarios aan experts onttrokken. Deze kwalitatieve scenarios worden vertaald in kwantitatieve projecties door middel van de theorie van vage verzamelingen. Deze is zeer geschikt om de dubbelzinnigheid en onnauwkeurigheid, die samenhangen met menselijke systemen, aan te pakken. Structurele fouten van het model kunnen worden blootgelegd door de trendcurves tengevolge van het geprojecteerde modelgedrag te vergelijken met de projecties op basis van expertmeningen. Het voorbeeld dat in Hoofdstuk 4 wordt beschreven vormt een voorbeeld hiervan. Tengevolge van het te hoge aggregatieniveau van het landgebruiksmodel (weerspiegeld door het ontbreken van erosiegevoelige landgebruiksklassen) is RaMCo niet in staat om de gevolgen van toekomstige veranderingen in sociaal-economische factoren en beleidskeuzes op de sedimentvracht naar een stuwmeer te beschrijven. Teneinde de validiteit van het modelgedrag kwantitatief te beschrijven, d.w.z. indien kwantitatieve waarnemingen beschikbaar zijn, is een geschikte methode geformuleerd, waarmee twee problemen kunnen worden aangepakt: de onzekerheid die samenhangt met de calibratie en validatie van modellen en het probleem dat samenhangt met de definitie van kwantitatieve criteria om de validiteit van ISMs te meten. Het uiteindelijke doel van dit type validatie is een model te verkrijgen, dat een correcte trend en een redelijke orde van grootte in de verandering van belangrijke beheersvariabelen kan geven, indien een bepaalde combinatie van maatregelen en scenarios wordt toegepast. Dit betekent dat het ISM zo goed dient te zijn dat aannemelijk en nauwkeurig gedrag wordt vertoond, zodat aan deze eisen voldaan kan worden. Hoofdstuk 5 is gewijd aan de ontwikkeling van een procedure hiervoor, die getoetst wordt methet visserijmodel van RamCo. Dit model is gekozen als voorbeeld omdat het voor kleinschalige modellen eenvoudiger is om de empirische gegevens, die nodig zijn voor kwantitatieve validatie, te vezamelen. Binnen deze methode wordt residuele analyse voorgesteld om het vermogen van het model om gedragspatronen te reproduceren, onderzocht. De Mitchell (1997) toets is ingezet om de voorspellende nauwkeurigheid te toetsen, en de extreme gedrags toets is gebruikt om de aannemelijkheid van het modelgedrag te toetsen. Het voorbeeld, dat in dit hoofdstuk wordt beschreven, toont aan dat een goede overeenstemming tussen waargenomen en voorspelde gegevens de aanemelijkheid van een model niet garandeert. Indien het model tekort schiet in aannemelijkheid is het niet bruikbaar als instrument voor beleidsvoorbereiding. Samengevat wordt in dit proefschrift een methodologie voor de validatie van Integrale Systeem Modellen gepresenteerd, met drie vernieuwende aspecten. Op basis van gevoeligheids- onzekerheidsanalyses is een geschikte procedure voor het toetsen van de compleetheid en juistheid van de modelstructuur en elementen opgezet. Daarnaast is een nieuwe benadering ontwikkeld om integrale modellen met kwalitatieve scenarios te Samenvatting 137 toetsen, waarmee het probleem van onzekere toekomstige omstandigheden en de kwalitatieve aard van de sociale wetenschappen en het menselijk gedrag kan worden aangepakt. Tenslotte is een procedure geformuleerd om de validiteit van het kwantitatieve modelgedrag te toetsen indien meetgegevens beperkt beschikbaar zijn. Hoewel de voorgestelde methodologie is toegepast om RaMCo te valideren is de verwachting dat deze inzetbaar zal zijn voor andere ISMs, die dezelfde kenmerken hebben als RaMCo. Deze kenmerken zijn: model complexiteit, de rol van de sociale wetenschappen, het gebrek aan en de grote onzekerheid omtrent de veldgegevens voor de modelcalibratie en modelvalidatie, en het hoge aggregatieniveau. De voorgestelde methodologie is niet alleen toepasbaar voor de validatie van ISMs, maar kan ook een belangrijke bijdrage leveren aan richtlijnen ter waarborging van de kwaliteit van het integraal modelleren. De twee benaderingen die in Hoofdstuk 3 en Hoofdstuk 4 worden voorgesteld om systeemexperts en belanghebbenden bij de modelontwikkeling te betrekken, kan worden ingezet om het conceptuele model te kiezen en te verfijnen, alsmedeeen locatieafhankelijk model te calibreren. De kwantitatieve procedure voor het toetsen, die in Hoofdstuk 5 wordt beschreven, kan worden toegepast om andere soorten modellen, zoals ecologische, hydrologische, en hydrodynamische modellen, te valideren. De verwachting is echter niet dat dit proefschrift een volledige richtsnoer voor de validatie van ISMs biedt met een complete verzameling toetsen. Filosofisch beschouwd maakt het geen verschil hoeveel toetsen een model doorstaat, de eerstvolgende toets en/of gegevens kunnen een model falsifiëren. De toetsen, die in dit proefschrift worden voorgesteld, zouden moeten worden beschouwd als het minimum dat noodzakelijk is, voorafgaand aan enige practische toepassing van een ISM. Samenvatting 138 About the author Nguyen Tien Giang was born in Hanoi, Vietnam. He received his Engineering Degree, with distinction, majoring in Hydrology and Environment from Hanoi Water Resources University in 1997. His bachelor thesis was entitled ‘Water balance in the Upper Serepok Basin for socio-economic development up to the year 2010’. From 1997 to 1998 he worked as a lecturer at the Faculty of Hydro-meteorology and Oceanography of the University of Science, Hanoi National University. He enrolled at the Asian Institute of Technology (AIT), in Bangkok, Thailand to follow a master programme, and majored in Water Resource Development (1998-2000). The fund for this two-year study period was granted by the Danish International Development Agency (DANIDA). The topic of his master thesis was ‘Sediment transport balance and bank erosion in the Son Tay curved bend, Red River, Vietnam’. He was awarded the M.E. degree in April, 2000, with an excellent grade for his thesis. After completing the master programme, he received a grant from the Japan International Cooperation Agency (JICA) and worked at AIT for one year (2000-2001) as a research assistant in the department of Water Engineering and Management at the School of Civil Engineering. His research was involved with the development of a Two- dimensional Riverbed Evolution Model constructed in general non-orthogonal curvilinear coordinate system. In August, 2001 he joined the group of Water Engineering and Management as a PhD student, at Twente University, Enschede, The Netherlands. The PhD programme has been funded by both the Netherlands Foundation for the Advancement of Tropical Research (WOTRO) and the University of Twente. Four years of working mainly with integrated systems models, uncertainty and sensitivity analyses, fuzzy logics, expert elicitation and regression analysis have resulted in this thesis. After the completion of this PhD research, he will return to Vietnam and work at the Faculty of Hydro-meteorology and Oceanography as a lecturer.