DT-20-02-162.pdf 729.86 KB 358 downloads
Constructie en validatie van de Gewaarwordingenlijst ...Samenvatting
Er bestaan geen betrouwbare instrumenten waarmee men psychose-achtige verschijnselen bij patiënten in kaart kan brengen zonder uitgebreide interviews met hen te houden. Dit vormt een lacune in onderzoek en praktijk. De auteurs beschrijven een eerste aanzet tot de constructie van een compacte Gewaarwordingenlijst (gl) die door cliënten en behandelaars kan worden ingevuld, alsook door deelnemers aan psychologisch onderzoek. De lijst meet psychose-achtige verschijnselen en is geschikt voor screening ten behoeve van deelname aan onderzoek. De gl is betrouwbaar en de convergente validiteit is redelijk tot goed. In de klinische praktijk kan de gl worden gebruikt als een indicatie voor behandelaars om psychotische symptomen uit te vragen. Normscores voor de normale bevolking en de populatie van ‘patiënten met psychosen’ zijn weergegeven. De wijze van toepassing in onderzoek en in de klinische praktijk wordt besproken aan de hand van de positieve en negatieve predictiviteit van de test. De auteurs doen aanbevelingen voor toekomstig onderzoek, opdat de lijst geschikt kan worden gemaakt voor algemeen gebruik.
Inleiding
Appelo en Van der Gaag (1998) omschrijven een psychose als een toestand waarin iemand het contact met de werkelijkheid heeft verloren en in een waanwereld leeft. In vergelijking met andere psychische stoornissen komen psychosen weinig voor. De prevalentie van psychosen is ongeveer 1%, terwijl bijvoorbeeld depressieve stoornissen bij 10% van de bevolking voorkomen (Bebbington & Nayani, 1995). Het ziektebesef van mensen met een psychotische stoornis is vaak minimaal (Cuesta & Peralta, 1994). Het blijkt voor hen moeilijk zich psychotische episoden te herinneren, mede doordat de hallucinogene symptomen vaak ego-dystoon zijn en daardoor niet worden gerapporteerd (Van Boheemen, 1998). De waan-achtige symptomen worden daarentegen niet als symptomen beleefd, doordat ze ego-syntoon zijn. Ook het sociaal stigma dat rust op psychotische stoornissen kan bijdragen aan onderrapportage (Pulver & Carpenter, 1983). Er lijkt echter voldoende reden om de populaire opvatting dat patiënten met schizofrenie geen inzicht of ziektebesef hebben, in twijfel te trekken. Zo toonden Cutting en Dunne (1989) aan dat patiënten bij wie de psychose in remissie is met een interval van een halfjaar, consistent rapporteren over de symptomen die ze hebben ervaren. Verder blijkt dat het merendeel van de patiënten goed in staat is aan te geven welke veranderingen optreden voorafgaand aan de psychose (Van Meijel, Van der Gaag, Kahn, & Grypdonck, 1998). Doordat ook bij andere ziektebeelden de taxatie van de werkelijkheid vertekend kan zijn, is de afgrenzing van psychotische stoornissen ten opzichte van andere psychische ziektebeelden niet eenvoudig (Van den Bosch, 1994). Een toenemend aantal clinici neigt ertoe psychosen niet op te vatten als behorend bij een zelfstandige diagnostische categorie, maar eerder als verschijnselen die kunnen horen bij verschillende psychische en somatische aandoeningen.
De dsm-iv (American Psychiatric Association, 1994) onderscheidt positieve en negatieve psychotische symptomen. Positieve symptomen zijn: auditieve en visuele hallucinaties, wanen en incoherentie in denken. De negatieve symptomen bestaan uit affectieve vervlakking, zich passief/apathisch terugtrekken en moeite met abstract denken. Voor de diagnose ‘schizofrenie’ wordt op zowel positieve als negatieve symptomen gelet. Schizofrenie wordt tegenwoordig in drie hoofdstromen verdeeld: gestoord realiteitsbesef (wanen en hallucinaties), cognitieve desorganisatie (cognitieve functieproblematiek) en psychomotore armoede. Om andere psychotische stoornissen op te sporen is het voldoende alleen op positieve symptomen te letten (Van den Bosch, 1994). Tot op heden bestaan er weinig vragenlijsten die specifiek deze symptomen meten (Bebbington & Nayani, 1995; Dingemans, Van den Bosch, Kahn, & Schene, 1995; Søgaard & Søndergaard, 1996).
Voor het screenen op psychosen werd tot nu toe voornamelijk gebruikgemaakt van klinische interviews (Bebbington & Nayani, 1995). Voorbeelden hiervan zijn het Structured Clinical Interview for dsm-iii-r (scid; Spitzer, Williams, Gibbon, & First, 1992) en de Positive and Negative Syndrome Scale (panss; Kay, Opler, & Fiszbein, 1986). Voor de detectie van psychotische symptomen lijkt op dit moment de scid-panss (Von Knorring & Lindstrom, 1994) het meest geschikt (Dingemans et al., 1995). De scid-panss is een combinatie van het gestructureerd interview van de panss met de psychose-module van de scid. Daarnaast wordt ook de Brief Psychiatric Rating Scale als screeningsinstrument gebruikt (bprs; Overall & Gorham, 1962). Samen met de panss is de bprs de meest gebruikte Engelstalige test voor de kwantitatieve beoordeling van schizofrenie. Beide tests dienen te worden afgenomen door getrainde interviewers. Afname kost voor zowel de panss als voor de bprs dertig tot veertig minuten (Dingemans et al., 1995; Stern et al., 1998).
Naast deze lange gestructureerde interviews bestaan er geen geschikte meetinstrumenten om in korte tijd vast te stellen of men bij iemand alert moet zijn op psychotische symptomen. De enige vragenlijst tot dusverre is de Psychosis Screening Questionnaire (psq; Bebbington & Nayani, 1995). Deze bestaat uit twaalf vragen over de aanwezigheid van positieve psychotische symptomen in de afgelopen twaalf maanden. De korte ‘looptijd’ van deze lijst had tot gevolg dat personen met een psychose in remissie vaak niet konden worden geïdentificeerd met behulp van de psq (Jenkins et al., 1997).
In dit artikel doen wij verslag van de constructie van een nieuw kort screeningsinstrument voor psychosen. De betrouwbaarheid is vastgesteld door middel van psychometrisch onderzoek onder een grote groep studenten en een kleinere groep patiënten van wie bekend was dat zij symptomen van schizofrenie en/of psychotische verschijnselen hadden gehad. Voor vaststelling van de validiteit zijn deze groepen met elkaar vergeleken en is de samenhang onderzocht van de scores van de patiënten zelf met de scores van hun behandelaars over hen. Voor zowel de ‘normale’ populatie als voor de patiënten zijn normscores vastgesteld.
De Gewaarwordingenlijst
De Gewaarwordingenlijst komt voort uit het Interapy-project waarin cliënten via internet in behandeling zijn voor het verwerken van traumatische ervaringen (Lange, Van de Ven, Schrieken, Bredeweg, & Emmelkamp, 2000; Lange, et al., 2000; Van de Ven, Lange, Schrieken, Bredeweg, & Emmelkamp, 1999). Een grote mate van depressiviteit en het risico van psychotische verschijnselen zijn contra-indicatoren voor deelname aan deze behandeling. Derhalve worden screeningsinstrumenten gebruikt om aanmelders die last hebben van deze stoornissen, tijdig op te sporen. Voor depressie was een geschikt instrument voorhanden, de subschaal Depressie van de scl-90 (Arrindell & Ettema, 1986). Om personen met een geschiedenis van psychosen te kunnen uitsluiten, werd een nieuw instrument ontwikkeld: de Gewaarwordingenlijst (gl).
De gl is gericht op de positieve psychotische symptomen zoals weergegeven in de dsm-iv (American Psychiatric Association, 1994). Aangezien negatieve symptomen adequaat geïdentificeerd kunnen worden door screeningsinstrumenten voor neurotische symptomen (Dingemans et al., 1995), bevat de gl hiervoor geen items. Anders dan de Psychosis Screening Questionnaire vraagt de Gewaarwordingenlijst alleen naar gewaarwordingen van de persoon zelf en niet naar beoordelingen van anderen uit de omgeving van de persoon.
In overleg met behandelaars die veel schizofrene en psychotische patiënten in behandeling hadden, werden acht items opgesteld. Elk item heeft betrekking op een bepaald aspect van psychosen. Respondenten kunnen aangeven in hoeverre dit in de afgelopen periode van vijf jaar op hen van toepassing is geweest. De scoring verloopt per item van: 1 ‘helemaal niet’, 2 ‘een beetje’, 3 ‘nogal’, 4 ‘zeker’ tot 5 ‘heel erg’.
De vragen van de Gewaarwordingenlijst beginnen met: ‘In de afgelopen vijf jaar is het voorgekomen …’ Vervolgens komen de volgende items (tussen haakjes wordt het symptoom vermeld waarnaar het item verwijst):
- ‘… dat ik boodschappen doorkrijg van stemmen in of vlakbij mijn hoofd’ (imperatieve hallucinatie);
- ‘… dat ik me vanwege mijn capaciteiten verheven voel boven andere mensen’ (grootheidswaan);
- ‘… dat mijn gedachten een dag of langer zo snel door mijn hoofd gaan dat ze mijn concentratie bemoeilijken’ (aandachtsstoornis);
- ‘… dat ik stemmen hoor die andere mensen niet kunnen horen’ (auditieve hallucinatie);
- ‘… dat ik voor kortere of langere tijd niet weet waar ik mij bevind, met wie ik praat en/of welke dag het is’ (desoriëntatie);
- ‘… dat ik meen dat anderen mijn gedachten kunnen lezen, alsof ik voor ze open lig’ (gedachtenuitzending);
- ‘… dat ik dingen zie die mensen om mij heen niet kunnen zien’ (visuele hallucinatie);
- ‘… dat ik denk dat iedereen tegen mij samenspant’ (paranoïde waan).
Deelnemens
Normale populatie
De gl is bij 457 eerstejaars psychologiestudenten (154 mannen, 303 vrouwen) van de Universiteit van Amsterdam afgenomen in het kader van de verplichte ‘testweek’. De studenten waren gemiddeld 21 jaar oud (SD = 4.31).
Klinische populatie
De Vereniging voor chronisch psychotische en schizofrene patiënten (anoiksis) kreeg 50 vragenlijsten om onder hun leden te verspreiden. Hiervan stuurden 28 patiënten (24 mannen en 4 vrouwen) de ingevulde vragenlijst aan de onderzoekers terug. Een andere patiëntenvereniging, de vereniging Labyrint, kreeg op haar verzoek 15 lijsten. Hiervan werd geen enkele vragenlijst teruggestuurd. Daarnaast vonden we een aantal behandelaars in verschillende instellingen bereid om patiënten met psychotische verschijnselen of met de diagnose ‘schizofrenie’ te stimuleren de gl in te vullen. Aldus werden 33 patiënten (20 mannen en 13 vrouwen) bereid gevonden aan het onderzoek mee te werken. Voor elke patiënt vulden deze behandelaars de gl zelf ook in met de betreffende patiënt in gedachten. Het ging hier om patiënten die ooit psychotische of schizofrene verschijnselen hadden gehad. Alle patiënten werd gevraagd aan te geven of zij op dat moment onder behandeling waren en welke diagnose bij hen was gesteld. Zij konden kiezen uit: depressie, manisch depressieve stoornis, schizofrenie, psychotische stoornis, anders (zelf in te vullen) en onbekend. Alle gegevens werden strikt anoniem verwerkt. De gemiddelde leeftijd van de psychiatrische patiënten was 38 jaar (SD = 11.18). Tabel 1 geeft een overzicht van de diagnoses die volgens de patiënten bij hen waren gesteld.
* df: 62.66; p = .000 ** df: 65.71; p = .000 *** df: 64.39; p = .000 | |
diagnose | aantal deelnemers |
schizofrenie | 45 (74 %) |
psychotische stoornis | 8 (13 %) |
anders | 8 (13 %) |
De psychometrische karakteristieken van de gl
Betrouwbaarheid: interne consistentie
Van elk item werd, voor beide populaties, onderzocht in hoeverre het samenhing met de somscore op de zeven andere items. Op één na varieerden de ‘itemrest’-correlaties van r = .41 tot r = .69. Alleen item 2 (grootheidswaan) correleerde laag met de andere items (r = .28) en werd daarom niet verder in de analyses betrokken. Over de resterende 7 items werd een factoranalyse (principale componentenanalyse) uitgevoerd (Norusis, 1997). In de twee populaties werden dezelfde twee factoren gevonden. De eerste factor bestaat uit de items 1 (imperatieve hallucinatie) en 4 (auditieve hallucinatie). Deze factor (Auditieve Hallucinaties) verklaart voor de normale en klinische populatie respectievelijk 43.3% en 50.4% van de totale variantie (Eigenwaarde resp. 3.1 en 3.6). De interne consistentie van deze subschaal is α = .83 (normale populatie) en α = 86 (klinische populatie). De tweede factor bestaat uit de vijf andere items en kan beschouwd worden als een Algemene Psychosenfactor. Deze factor verklaart voor de normale en klinische populatie respectievelijk 16% en 13.7% van de variantie (Eigenwaarde resp. 1.2 en 1.3). De interne consistentie van deze subschaal is voor de normale en klinische populatie respectievelijk α = .68 en α = .78. Ten slotte is een factoranalyse uitgevoerd over de gegevens van de behandelaars. Voor hen was de eerste factor dezelfde als in de twee andere groepen, met een interne consistentie van α = .91. De andere items waren verdeeld over twee factoren. Voor een gedetailleerd overzicht zij verwezen naar Blankers en Slot (1999).
Wanneer we alle zeven items samenvoegen dan is de interne consistentie voor de normale populatie α = .73 en voor de patiëntenpopulatie α = 83.
Predictieve validiteit: verschillen tussen de groepen
Tabel 2 laat zien dat de scores tussen de normale groep en de groep patiënten sterk verschillen. Omdat de normale groep veel meer respondenten bevatte dan de groep patiënten, is bij de toetsing van de verschillen gebruik gemaakt van T-toetsen met correcties voor het aantal vrijheidsgraden (Norusis, 1997). Voor zowel de factoren apart als voor de totale gl blijken de verschillen sterk significant te zijn. De effectgroottes kunnen volgens de normen van Cohens d (Cohen, 1988) als zeer groot worden beschouwd. Opvallend is dat de Auditieve Factor het beste lijkt te discrimineren.
* df: 62.66; p = .000 ** df: 65.71; p = .000 *** df: 64.39; p = .000 | ||||||
normale populatie | klinische populatie | |||||
factoren | M | SD | M | SD | t-waarden | effectgrootte d |
auditieve hallucinatie | 2.23 | 0.80 | 4.63 | 2.52 | 7.45 * | 2.08 |
algemene kenmerken | 7.14 | 2.32 | 10.36 | 4.38 | 5.68 ** | 1.21 |
totale gl | 9.37 | 2.76 | 14.98 | 6.14 | 7.11 *** | 1.67 |
Criteriumvaliditeit: zelfrapportage en beoordeling door behandelaars
De scores van de 33 patiënten die via hun behandelaars waren geworven, werden vergeleken met de scores die de behandelaars over hen hadden gegeven. De overeenstemming bleek zeer hoog te zijn. Na correctie voor attenuatie (Van den Brink, 1998), was de correlatie r = .85 (p < 0.001).
Toepassing
Voor het vaststellen van de cut-off scores hebben wij de gemiddelden van beide groepen gecombineerd. Bij personen die boven het gemiddelde van de twee groepsgemiddelden uitkomen, moet een behandelaar of onderzoeker alert zijn op psychotische symptomatologie. Dit betekent dat een score van 13 op de totale gl reden tot zorg geeft. Datzelfde geldt voor een score van 4 op de Auditieve Factor en een score van 9 op de Algemene Factor. We kunnen dit ook uitdrukken in termen van specificiteit: Van het aantal mensen in de totale steekproef dat op basis van de Auditieve subschaal als ‘niet-psychotisch’ wordt geclassificeerd, zal 95% inderdaad geen psychotische verschijnselen van betekenis hebben gehad. De sensitiviteit is lager: Van degenen die op basis van de Auditieve Factor als ‘psychotisch’ worden geclassificeerd, zal bij 58% daadwerkelijk een verhoogde kans zijn dat zij in de afgelopen jaren psychotische verschijnselen hebben gehad. Wij hebben ons voor de berekeningen van deze cijfers gebaseerd op Westenberg en Koele (1993). In de beschouwing komen we op de implicaties terug.
Normscores
Ten slotte hebben we normscores vastgesteld, zodat de onderzoeker of diagnosticus kan beoordelen hoe respondenten zich verhouden tot de normale populatie of tot een populatie van patiënten waarbij sprake is van psychotische verschijnselen of schizofrenie. Vanwege de scheefheid van de verdeling der scores, zijn we in beide groepen uitgegaan van het gemiddelde met meer differentiatie naar boven dan naar beneden. Respondenten die meer dan één standaarddeviatie beneden het gemiddelde van hun groep scoren, worden als ‘lage scoorders’ beschouwd. De groep die tussen één standaarddeviatie onder en één standaarddeviatie boven het groepsgemiddelde scoort, wordt als ‘gemiddeld’ geclassificeerd. Wanneer men hoger dan één standaarddeviatie boven het gemiddelde scoort, krijgt men de classificatie ‘hoog’. In tabel 3 zien we per factor en voor de totale gl welke scores bij welke klasse horen. Doordat auditieve hallucinaties in de normale populatie nauwelijks voorkomen, is de gemiddelde score zo laag dat deze gedeeltelijk overlapt met die van de ‘lage score’.
* N = 8 | ||||||
normale populatie | klinische populatie | |||||
norm | auditieve | algemene | auditieve | algemene | ||
hallucinatie | psychose | totale gl | hallucinatie | psychose | totale gl | |
laag | 2 | 5-6 | 7-8 | 2-4 | 5-9 | 7-14 |
gemiddeld | 2-4 | 7-12 | 9-15 | 5-7 | 10-15 | 15-21 |
hoog | 5-10 | 13-25 | 16-35 | 8-10 | 16-25 | 22-35 |
Beschouwing
Het is mogelijk gebleken een korte vragenlijst te construeren die psychose-achtige verschijnselen en daarmee de kans op remissie redelijk betrouwbaar in kaart brengt. Voor een definitiever oordeel over het gebruik van de Gewaarwordingenlijst dient de test-hertestbetrouwbaarheid te worden onderzocht. Ook kan worden gedacht aan prospectief onderzoek; als een hoge score op de gl hoog correleert met een psychotisch toestandsbeeld in de toekomst, kan de lijst met meer zekerheid gebruikt worden om de kans op psychosen te meten.
De aanwijzingen over de validiteit van de Gewaarwordingenlijst zijn gunstig. De overeenstemming tussen de verwijzende behandelaars en de patiënten zelf geeft reden tot optimisme. Er lijkt geen onderrapportage te zijn van de kant van de patiënten. Zij scoren gemiddeld maar 2.66 lager op de totale gl dan hun behandelaars over hen. Voor Auditieve Hallucinaties is de onderrapportage 1.25 en voor Algemene Psychotische verschijnselen is deze 1.40. Het feit dat de onderrapportage door de patiënten zoveel geringer is dan verwacht door de meeste hulpverleners, is in overeenstemming met de bevindingen van Cutting en Dunne (1989). Als zelfbeoordelingsvragenlijst voor symptomen van psychotische aard lijkt de Gewaarwordingenlijst daarmee recht van bestaan te hebben.
De verschillen tussen de scores in de normale populatie en de groep van patiënten zijn groot. Hierbij moet wel rekening worden gehouden met het feit dat het bij de normale populatie gaat om een speciale groep, eerstejaars psychologiestudenten. Het gemiddelde leeftijdsverschil tussen de twee onderzochte populaties was aanzienlijk. De lage prevalentie van schizofrenie en/of psychotische stoornis in de studentengroep zal gedeeltelijk verklaard kunnen worden uit het feit dat de studenten gemiddeld betrekkelijk jong waren. Onderzoek met een bredere steekproef zal dit bezwaar kunnen ondervangen. Niettemin valt op dat ook in deze populatie wel degelijk ‘gescoord’ wordt. Binnen de normale populatie komen verschijnselen voor die, als zij wat sterker zouden zijn, als puur psychotisch zouden worden beschouwd. Dat geldt vooral voor de algemene psychotische verschijnselen (factor 2). Dit komt overeen met de conclusies van Van den Bosch (1994). Hij stelt dat de afbakening tussen psychose en normaliteit niet zo scherp is als de simpele opsomming van kenmerkende symptomen zou doen vermoeden. Ook ‘gezonde’ mensen kunnen weleens ervaringen of opvattingen hebben die doen denken aan hallucinaties of wanen. Honig et al. (1998) vonden bijvoorbeeld dat tien procent van de bevolking weleens stemmen hoort, bijvoorbeeld na een traumatische ervaring als het overlijden van een naaste. Voor het interpreteren van de ernst van hallucinatie- of waanachtige verschijnselen zijn dan de frequentie, de intensiteit, het overige functioneren en de sociale context van belang.
Opvallend is dat de ‘kleine schaal’ van maar twee items (Auditieve Hallucinatie) het beste discrimineert tussen de groepen, beter dan de andere subschaal en ook beter dan de totale gl. Dit impliceert dat bij het screenen voor researchdoeleinden, waar het zaak is het totale pakket aan vragen te minimaliseren, het nuttig kan zijn alleen de Auditieve subschaal te gebruiken. Wil men fijnmaziger diagnosticeren, dan heeft de totale gl de voorkeur. Enige voorzichtigheid bij het interpreteren van de scores op de gl is vooralsnog geboden. De items 1 en 4 zijn enigszins overlappend geformuleerd, omdat in beide omschrijvingen ‘stemmen’ voorkomen. ‘Stemmen’ komen bovendien ook voor bij mensen die denken helderziend te zijn of bij personen die menen de stem van een overledene te horen. Als in item 1 sterker de nadruk op de imperatieve kant van de hallucinatie wordt gelegd (bijv.: ‘ik heb opdrachten gekregen om iets te doen wat ik eigenlijk niet wil’) en in item 4 meer op de auditieve kant (‘ik heb geluiden gehoord die andere mensen niet konden horen’), worden deze bezwaren weggenomen. De formuleringen van de overige items raken aan stoornissen als dissociatieve stoornis of sociale fobie. Bij het afnemen van de gl aan een bredere steekproef dient men daarom te onderzoeken aan welke diagnostische criteria de respondenten nog meer voldoen. Zo kan worden uitgesloten dat het hebben van een andere stoornis een hoge score op de gl verklaart.
Als screeningsinstrument is de gl aan de voorzichtige kant. De conclusie ‘niet-psychotisch’ is in 95% van de gevallen juist. De conclusie ‘psychotisch’ is echter minder vaak juist. Van diegenen die op basis van de Auditieve Factor als ‘verhoogde kans op psychose’ worden geclassificeerd, zal 42% in werkelijkheid geen verhoogd risicio voor psychosen hebben. Voor screening ten behoeve van uitsluiting bij onderzoek zijn deze cijfers niet ongunstig. Per slot van rekening gaat het er dan om het risico te verkleinen dat personen met psychose-achtige symptomen participeren: beter ten onrechte uitsluiten dan ten onrechte laten meedoen. Voor de klinische praktijk stemmen de cijfers tot nadenken. Bij de conclusie ‘verhoogde kans op psychose’ zal de clinicus nader diagnostisch onderzoek moeten doen om vast te stellen of de conclusie wel correct is.
De normscores zijn berekend voor een populatie van normale studenten en voor een populatie van patiënten met psychotische verschijnselen. De laatste groep was gekozen ter validatie, voor vergelijking met de eerste groep. Het verdient aanbeveling ook normscores te verzamelen voor een groep van patiënten met gemengde psychische problemen.
Summary
To establish a history of psychosis and hence the risk of remission with patients or with participants in clinical research, clinicians and researchers are destined to use elaborate diagnostic interviews. We describe the construction of a short self report instrument on psychosis, the General Perceptions List, which can be completed by patients, clinicians and participants in clinical research. This instrument appears to be reliable and the internal consistency is sufficient to well. It is suited for screening before participation in research. Norm scores for the normal and ‘population of psychotic patients’ were established.
Referenties
American Psychiatric Association (1994). Diagnostic and Statistical Manual of Mental Disorders. Washington DC: American Psychiatric Association.
Appelo, M., & Gaag, M. van der (1998). Cognitieve gedragstherapie bij psychosen. Houten: Bohn Stafleu Van Loghum.
Arrindell, W.A., & Ettema, J.H.M. (1986). Handleiding van de SCL-90. Lisse: Swets & Zeitlinger.
Bebbington, P., & Nayani, T. (1995). The Psychosis Screening Questionnaire. International Journal of Methods in Psychiatric Research, 5, 11-19.
Blankers, M., & Slot, M. (1999). Validatie van twee korte screeningsinstrumenten, de Gewaarwordingenlijst (gl) en de QUSEP-Symptom List (QSL). Amsterdam: Programmagroep Klinische Psychologie, Universiteit van Amsterdam.
Boheemen, S.C. van (1998). Retrospectieve onderrapportage bij psychotische patiënten. Academisch Medisch Centrum Amsterdam: Intern rapport.
Bosch, R.J. van den (1994). Schizofrenie en andere psychotische stoornissen. In W. Vandereycken, C.A.L. Hoogduin & P.M.G.Emmelkamp (red.), Handboek Psychopathologie, deel 1 (hoofdstuk 4, pp. 115-163). Houten: Bohn Stafleu Van Loghum.
Brink, W.P. van den (1998). Modellen voor testscores. In W.P. van den Brink & G.J. Mellenbergh (red.), Testleer en testconstructie (hoofdstuk 2, pp. 49-92). Amsterdam: Boom.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences. New York: Lawrence.
Cuesta, M.J., & Peralta, V. (1994). Lack of Insight in Schizofrenia. Schizophrenia Bulletin, 20, 359-366.
Cutting, J., & Dunne, F. (1989). Subjective experience of schizophrenia. Schizo-phrenia bulletin, 15, 217-231.
Dingemans, P.M.A.J., Bosch, R.J. van den, Kahn, R.S., & Schene, A.H. (red.) (1995). Schizofrenie. Onderzoek en implicaties voor de behandeling. Houten: Bohn Stafleu Van Loghum.
Honig, A., Romme, M.A., Ensink, B.J., Escher, S.D.M.A.C., Pennings, M.H.A., & Vries, M.W. de (1998). Auditory hallucinations: a comparison between patients and non-patients. Journal of mental and nervous disease, 186, 646-651.
Jenkins, R., Bebbington, P., Brugha, T., Farell, M., Gill, B., Lewis, G., Meltzer, H., & Petticrew, M. (1997). The national psychiatric morbidity surveys of Great Britain – strategy and methods. Psychological Medicine, 27, 765-774.
Kay, S.R., Opler, L.A., & Fiszbein, A.(1986). Positive and negative syndrome scale (PANSS) rating manual. New York: Albert Einstein College of Medicine.
Knorring, L. von, & Lindstrom, E. (1994). Swedish experiences with the Structured Clinical Interview for the Positive And Negative Syndrome Scale for Schizophrenia (SCID-PANSS). European Psychiatry, 142, 207-212.
Lange, A., Schrieken, B., Ven, J-P. van de, Bredeweg, B., Emmelkamp, P.M.G., Kolk, J. van der, Lydsdottir, L., Massaro, M., & Reuvers, A. (2000). ‘INTERAPY’: The effects of a short protocolled treatment of post-traumatic stress and pathological grief through the Internet. Behavioural and Cognitive Psychotherapy, 28, 103-120.
Lange, A., Ven, J-P. van de, Schrieken, B., Bredeweg, B., & Emmelkamp, P.M.G. (2000). INTERAPY: internet-mediated protocolled treatment of psychological dysfunction. Journal of Telemedicine and Telecare, 6, 15-21.
Meijel, B. van, Gaag, M. van der, Kahn, R.S., & Grypdonck, M. (1998). Vroegsignalering en vroege interventie bij patiënten met schizofrenie. Maandblad Geestelijke Volksgezondheid, 4, 347-360.
Norusis, M.J. (1997). SPSS 7.5 Guide to Data Analyses. New Jersey: Prentice Hall.
Overall, J.E., & Goreham, D.R. (1962). The Brief Psychiatric Rating Scale. Psychological Reports, 10, 799-812.
Pulver, A.E., & Carpenter, W.T. (1983). Lifetime Psychotic Symptoms Assessed with the DIS. Schizophrenia Bulletin, 9, 377-382.
Søgaard, H.J., & Søndergaard, I. (1996). Determinants of decision-making in the screening procedure of a community psychiatric service. Acta Psychiatrica Scandinavica, 94, 156-162.
Spitzer, R.L., Williams, J.B.W., Gibbon, M., & First, M. (1992). The structured clinical interviews for DSM-III-R (SCID). I. History, rational and description. Archives of General Psychiatry, 49, 624-629.
Stern, R.G., Fudge, R., Sison, C.E., Allan, R.D., Crichton, J., & Losonczy, M. (1998). Computerised self-assessment of psychosis severity questionnaire (COSAPSQ) in schizophrenia: preliminary results. Psychopharmacology Bulletin, 34, 9-12.
Ven, J-P. van de, Lange, A., Schrieken, B., Bredeweg, B., & Emmelkamp, P.M.G. (1999). ‘INTERAPY’: De resultaten van een kortdurende geprotocolleerde behandeling van post-traumatische stress via Internet. Directieve Therapie, 19, 5-40.
Westenberg, M.R.M., & Koele, P. (1993). Klinische besliskunde. In P. Koele & J. van der Pligt (red.), Beslissen en beoordelen (hoofdstuk 14, pp. 346-373). Amsterdam: Boom.