Samenvatting
Psychologische behandelingen via internet bieden een nieuwe mogelijkheid voor de geestelijke gezondheidszorg. In samenwerking met de Stichting Mentrum ggz Amsterdam heeft Interapy een behandeling voor depressie via internet opgezet. De behandeling bestaat uit cognitief-gedragstherapeutische interventies, zoals psycho-educatie, schrijfopdrachten, registratie, activatie, het uitdagen van negatieve automatische gedachten en terugvalpreventie. Dit artikel beschrijft de procedure, de behandeling en de resultaten van een vergelijkende studie onder cliënten die matig tot ernstig depressief waren. De cliënten die direct actief werden behandeld (N = 32) verbeterden significant meer dan de cliënten in de psycho-educatieconditie (N = 14). Deze tweede groep kreeg de actieve behandeling ongeveer twaalf weken later. De effecten waren groot. In de actief behandelde groep liet 75 procent van de cliënten klinisch relevante verbetering zien, in de psycho-educatieconditie was dat percentage 36. Uit de follow-up na zes weken bleek dat de verbeteringen standhielden.
Inleiding
Jaarlijks wordt bijna zes procent van de Nederlandse bevolking getroffen door een depressie (Richter, 2002) en bijna 20 procent van de Nederlanders wordt minstens eenmaal in zijn leven depressief (Nationaal Kompas Volksgezondheid, Gijsen, & Van der Wilk, 2003). De afgelopen decennia is veel onderzoek gedaan naar goede en werkzame behandelingen tegen depressie. Mede door de huidige bezuinigingen en de tendens onder verzekeringsmaatschappijen om een steeds beperkter aantal zittingen van een therapie te vergoeden, is er een groeiende vraag naar werkzame kortdurende behandelingen.
Er bestaat veel evidentie dat cognitieve gedragstherapie de meest effectieve behandelingsvorm is voor depressie (Antonuccio, Burns, Danton, & O’Donohue, 2000; Kirsch & Sapirstein, 1998; Richter, 2002). In de cognitieve gedragstherapie voor depressie staat het opsporen en veranderen van negatieve automatische gedachten, die aan de depressie bijdragen of deze instandhouden, centraal. Tevens worden cliënten gestimuleerd tot activiteiten die verandering in de stemming tot gevolg kunnen hebben.
De cognitieve gedragstherapie heeft de laatste jaren steeds meer raakvlakken gekregen met de directieve therapie, met haar aandacht voor kortdurende behandeling met duidelijke behandeldoelen en aandacht voor de therapeutische relatie. Evenals in de directieve therapie zijn er steeds meer geprotocolleerde behandelingen ontwikkeld voor bepaalde stoornissen (Keijsers, Van Minnen, & Hoogduin, 2004).
Internet is een zeer geschikt medium voor geprotocolleerde behandelingen voor welomschreven stoornissen. Zo zijn er digitale behandelingen voor eetstoornissen (Robinson & Serfaty, 2003; Zabinski, Celio, Jacobs, Manwaring, & Wilfley, 2003), paniekstoornissen (Carlbring, Ekselius, & Andersson, 2003; Jager, Emmelkamp, & Lange, 2004; Richards, Klein & Carlbring, 2003), posttraumatische stress en gecompliceerde rouw (Lange et al., 2003a; Lange, Van de Ven, Schrieken, & Emmelkamp, 2004), insomnia (Ström, Petterson & Andersson, 2004), angst voor spreken in het openbaar (Botella, Banos, Villa, Perpina, & Garcia-Palacios, 2000) en burn-out (Lange, Van de Ven, Schrieken, & Smit, 2003b).
Kakes (2004) bespreekt negen gerandomiseerde, gecontroleerde studies over internetbehandelingen voor depressie, angststoornissen, eetstoornis en posttraumatische stress-stoornis. Hij vergelijkt de manieren van screening, mate van structuur van de behandeling, hoeveelheid persoonlijke begeleiding, effectiviteit en mate waarin er naast de internetcommunicatie gebruik wordt gemaakt van vis-à-vis contacten. De Interapy-behandelingen (Lange et al., 2003a en b) lijken de meeste begeleiding te geven en verlopen het meest volledig via internet. Bovendien blijken de effecten van de Interapy-behandelingen voor posttraumatische stress en burn-out, getoetst in gerandomiseerde trials, groter te zijn dan de effecten in de meeste andere gerapporteerde internetbehandelingen.
Recent is er in samenwerking met de Stichting Mentrum ggz Amsterdam een Interapy-internetprotocol gegenereerd voor depressie. Anders dan voorheen waren de behandelaars deze keer niet alleen jonge klinisch psychologen in opleiding, maar ook ervaren krachten van de Stichting ggz Mentrum die voor dit internetprotocol een speciale cursus hadden gevolgd. De eerste versie van dit depressieprotocol werd in een pilotstudy onderzocht en nadien verbeterd. In dit artikel beschrijven wij het definitieve protocol en een gerandomiseerd vergelijkend onderzoek naar de resultaten van de behandeling.
Methode
De procedure
Vergelijkbaar met de behandeling voor posttraumatische stress, paniek en burn-out verloopt het contact tussen cliënt en therapeut alleen via internet (www.interapy.nl). Cliënten en behandelaars kunnen vanaf elke computer met een recente versie van Internet Explorer contact maken met de Interapy-server. Een cliënt krijgt voor een behandeling bij Interapy een afgeschermd stukje van de server-database, dat met een persoonlijke toegangscode alleen voor hem en de therapeut toegankelijk is.
De eerste kennismaking van de cliënt met de behandeling bestaat uit psycho-educatie. Via de website krijgen potentiële cliënten informatie over wat stemmingsstoornissen zijn, het soort behandelingen dat ervoor bestaat en de achtergrond van het Interapy-protocol. Verder ontvangen zij uitleg over de praktische kant van de Interapy-behandeling: de behandelaars, de supervisie, de internetprocedures en aanmelding, de screening en de effectmetingen. Tevens staan op de site literatuurverwijzingen naar wetenschappelijke publicaties over Interapy-behandelingen. Als cliënten deze informatie hebben bestudeerd, kunnen zij zich aanmelden. Zij ontvangen dan een gebruikersnaam en een wachtwoord, waarna zij de screening en de voormeting voor het vaststellen van de effecten kunnen doorlopen. Aanmelders die de screening met goed gevolg passeren dienen een ondertekend informed consent-formulier op te sturen; dit kan per post of fax. Als dat binnen is, krijgen zij een behandelaar toegewezen. Alle vragenlijsten worden digitaal ingevuld en door de computer terstond verwerkt. De therapeut stelt zich vervolgens voor en start met de instructie voor fase-1 van de behandeling. Samen met de therapeut doorloopt de cliënt het depressieprotocol.
Aan het eind van de behandeling vullen cliënten de nameting in. Tijdens deze meting vullen zij ook een Evaluatievragenlijst in, waarin hun mening wordt gevraagd over de behandeling en de behandelaar. Zes weken later volgt een follow-up meting. Eén jaar na beëindiging van de behandeling ontvangen de cliënten een e-mail met het verzoek een laatste follow-up meting in te vullen.
Screening
Met behulp van gestandaardiseerde online-zelfbeoordelinglijsten wordt onderzocht of een deelnemer aan de criteria voldoet. De volgende exclusiecriteria worden gehanteerd:
- Jonger dan 18 jaar. Dit wordt vastgesteld met behulp van de Interapy Biografische Vragenlijst (bio, Abels-Reguera & Brunner, 2002).
- Drugsgebruik of overmatig alcoholgebruik, eveneens vastgesteld met de Interapy Biografische Vragenlijst. Wanneer een potentiële deelnemer harddrugs of meer dan 10 eenheden alcohol per dag gebruikt, wordt hij of zij uitgesloten van deelname aan de behandeling.
- In behandeling zijn bij een psycholoog of psychiater, vastgesteld met de Interapy Biografische Vragenlijst.
- Hoge dosis antidepressiva of neuroleptica, vastgesteld met de Interapy Biografische Vragenlijst. Met personen die een onderhoudsdosis antidepressiva gebruikten, werd afgesproken dat zij hun medicatie niet beëindigden, verminderden of verhoogden gedurende de Interapy-behandeling.
- Te weinig of te ernstig depressief. De mate van depressie wordt vastgesteld met behulp van de Nederlandse versie van de Beck Depression Inventory (bdi; Bouman, 1994). De bdi is een veelgehanteerde vragenlijst van 21 items die vooral gericht is op de cognitieve kant van depressie. De betrouwbaarheidscoëfficiënt van de bdi is α = .85. De convergente validiteit wordt ondersteund door hoge correlaties met andere depressievragenlijsten. Deelnemers die op de bdi een score hebben < 10, werden uitgesloten van deelname aan deze behandeling. Potentiële deelnemers die een score hadden van > 29 werden eveneens uitgesloten, aangezien er reeds een gecontroleerd face-to-face onderzoek liep naar de behandeling van ernstige depressie waaraan deze personen zouden meedoen.
- Suïcidegevaar. Dit wordt vastgesteld aan de hand van de Suïcide Risico Taxatielijst (srt), gebaseerd op Blaauw en Kerkhof (1999), Van Heeringen en Kerkhof (1999) en Joiner et al. (2003). Deze vragenlijst is gericht op het in kaart brengen van het risico op suïcide. Wanneer potentiële deelnemers in de afgelopen drie jaar één of meer suïcidepogingen hebben ondernomen of dit serieus hebben overwogen, kunnen zij niet meedoen aan de Interapy-behandeling. De cliënten wordt dan een andere behandeling aangeraden en Interapy neemt contact op met de huisarts en eventuele andere verwijzers.
-
Dissociatieve stoornis. Dit wordt vastgesteld met behulp van de Somatoforme Dissociatie Questionnaire (sdq
-5; Nijenhuis, Spinhoven, Van Dyck, Van der Hart & Vanderlinden, 1997). Dit is een korte vragenlijst die lichamelijke uitingsvormen van dissociatie meet. De betrouwbaarheid van de sdq is hoog (α = .80) en de cross-validatie bevredigend. Dit instrument maakt onderscheid tussen groepen patiënten en niet-patiënten. De lijst heeft een cut-offscore die is gebaseerd op een klinische normgroep. Cliënten mogen niet aan de behandeling deelnemen bij een sdq score ≥ 8. - Psychose. De Gewaarwordingenlijst (GL; Lange, Schrieken, Blankers, Van de Ven & Slot, 2000) is een korte vragenlijst van acht items die wordt gebruikt om vast te stellen of de cliënt last heeft van psychoseachtige verschijnselen of een verhoogde kans heeft om in een psychose te raken. Een voorbeeld van een item: ‘Het komt wel voor dat ik boodschappen doorkrijg van stemmen in of vlakbij mijn hoofd.’ De GL is een valide meetinstrument om psychotische stoornissen te signaleren. De betrouwbaarheid onder niet-patiënten is redelijk (α = .73) en hoog onder de klinische populatie (α = .83). Uitsluiting van deelname aan deze depressiebehandeling geschiedt bij een score ≥ 5 op de schaal van auditieve hallucinaties. Als de cliënt antipsychotica neemt (vastgesteld met de Biografische Vragenlijst), komt hij of zij evenmin in aanmerking voor de behandeling.
-
Paniekstoornis. Dit wordt vastgesteld met behulp van de Nederlandse versie van Shears (Shear et al., 1997) Panic Disorder Severity Scale (
pdss
; Jager, Emmelkamp & Lange, in voorbereiding; Van der Meer & Burgerhout, 2004). Deze vragenlijst heeft een hoge interne consistentie (Cronbach’s α = .88) en een goede convergente en divergente validiteit. Wanneer potentiële cliënten een prevalerende paniekstoornis hebben (hoger dan 8 op de schaal) worden zij uitgesloten van de depressiebehandeling en wordt hun de Interapy-paniekbehandeling aangeboden of worden zij naar elders verwezen. -
Post Traumatische Stress Stoornis. De Schokverwerkingslijst (
svl
; Brom & Kleber, 1985) wordt gebruikt om de mate van posttraumatische stress vast te stellen. Cronbach’s α van de subschalen varieert tussen de .66 en .81. De externe validiteit van de schalen is goed. Bij een score > 36 worden de klachten telefonisch uitgevraagd en wordt eventueel het advies gegeven de Interapy-pts-behandeling te volgen.
Meting van de effecten
De effectiviteit van de behandeling wordt beoordeeld aan de hand van de volgende meetinstrumenten:
- De hierboven beschreven
bdi
(Bouman, 1994). - De Nederlandse versie van de depressiesubschaal van de scl-90 (Arrindell & Ettema, 2003). Er is nogal wat discussie over de factorstructuur van de
scl-90. Deze zou niet empirisch zijn vastgesteld (Hafkenscheid, 2004), maar de schalen hebben wel een hoge mate van betrouwbaarheid en validiteit. De depressiesubschaal bevat 16 items, met een interne consistentie van α = .90, en een hoge convergente en divergente validiteit. - De Nederlandse versie van de depressiesubschaal van de Depressie, Angst en Stress Schaal (dass,
Antony, Bieling, Cox, Enns & Swinson, 1998; De Beurs, Van Dyck, Marquenie, Lange & Blonk, 2001). De drie subschalen bevatten elk 14 items. De depressiesubschaal heeft, evenals de andere subschalen, een zeer hoge betrouwbaarheid (Cronbach’s α = .95). De depressiesubschaal correleert hoog met de BDI (r = .72) en heeft een goede validiteit (De Beurs et al., 2001).
Deelnemers
In een periode van ongeveer vier maanden hadden 231 cliënten zich aangemeld voor de gratis behandeling. De eerste aanmelders kwamen na een interview over de behandeling in een landelijk dagblad. Daarna werden deelnemers geworven via advertenties in het weekblad van de UvA, advertenties in een Nederlands dagblad en via de Interapy-website. Er kwam ook een aantal deelnemers via de Stichting Mentrum ggz Amsterdam. Negenenvijftig personen zijn na aanmelding niet aan de intakeprocedure begonnen, hebben de screening niet afgemaakt of het informed consent-formulier niet teruggestuurd. Van de 172 deelnemers vielen, na het doorlopen van de screening-procedure, 115 personen af op grond van de exclusiecriteria. Hiervan werden 64 personen afgewezen vanwege prevalerende andere stoornissen; 7 vanwege een te lage score op de bdi; 5 vanwege een te hoge score op de bdi; 18 wegens een te groot risico op suïcide; 15 vanwege te veel dissociatieve kenmerken, 4 vanwege kans op psychosen en 2 vanwege harddrugsgebruik. Zodoende bleven er 57 geschikte deelnemers over die, zoals aan hen van tevoren was meegedeeld, at random werden ingedeeld in een groep die meteen actief werd behandeld en een controlegroep die eerst alleen psycho-educatie kreeg en pas later actief behandeld zou worden. Hierbij werden opzettelijk meer mensen in de behandelgroep ingedeeld. De actief behandelde conditie bevatte 40 cliënten en de psycho-educatieconditie 17. Van de totale groep hebben 46 personen de behandeling afgerond. Eén persoon viel af, omdat deze het informed consent-formulier niet instuurde. De overige 10 cliënten zijn uitgevallen, waarvan acht in de actief behandelde conditie en drie bij de psycho-educatieconditie. De analyses van dit onderzoek zijn gedaan over de resultaten van de 46 cliënten die de gehele behandeling hebben doorlopen.
Deze groep bestond uit 13 mannen en 33 vrouwen. Zij varieerden in leeftijd van 23 tot 64 jaar, met een gemiddelde leeftijd van 42 (SD = 9.3). Het opleidingsniveau liep uiteen van speciaal lager onderwijs / vmbo (8 procent) tot en met hbo/universitair onderwijs (70 procent). Dertien procent had een middelbare beroepsopleiding gevolgd, ruim 9 procent vwo. Eenderde van de cliënten woonde alleen. De overigen woonden samen met partner en/of kinderen, of met vrienden of huisgenoten. Analyses lieten zien dat er tussen de condities geen noemenswaardige verschillen waren in opleiding, sekse, leeftijd of beginscores op de effectmaten. Vergeleken met de normale bevolking ligt de gemiddelde score op de voormeting van depressie op de scl-90 in de zeer hoge normgroep. Bij de bdi ligt de score op de voormeting midden in de range van matig tot ernstige depressie. Op 40 procent van de deelnemers was de diagnose ‘vitale depressie’ van toepassing. Zestig procent had een ‘dysthyme stoornis’. Gemiddeld bestonden de klachten zes jaar (SD = 2; mediaan 4 jaar).
Design
Het effect van de actieve behandeling op de depressieve klachten wordt vergeleken met het effect van psycho-educatie, volgens een zogenaamd ‘before-after two-group’-design. De actief behandelde groep kreeg zes weken na het einde van de behandeling een follow-up meting. De deelnemers in de psycho-educatiegroep kregen na afloop van hun ‘controleperiode’ de actieve behandeling met postmeting en follow-up.
Het depressieprotocol
Alle potentiële cliënten kregen allereerst psycho-educatie. Tijdens de actieve behandeling kregen zij instructies voor huiswerk, feedback en specifieke psycho-educatie. Met het huiswerk is de cliënt ruim twee uur per week bezig. De behandeling valt op te vatten als de som van de psycho-educaties, de actieve interventies, het protocol en de empathische, respectvolle en motiverende feedback van de persoonlijke behandelaar. De behandeling is te verdelen in acht fases en duurt minimaal 11 weken. De deelnemers doen er meestal wat langer over (MD = 16).
Fase 1. Bewustwording
Het eerste en tweede onderdeel staan in het teken van bewustwording. Welke symptomen ervaart de cliënt? Sinds wanneer en op welke momenten? In het eerste onderdeel, de schrijfopdracht, inventariseren cliënten hoe en wanneer de depressieve symptomen zich voordoen en of er eventuele aanwijsbare aanleidingen zijn voor hun sombere stemming. Cliënten schrijven tweemaal 45 minuten zonder restricties over mogelijke gebeurtenissen in het verleden of in het heden die samenhangen met hun negatieve gedachten en gevoelens. Na de eerste keer krijgen de cliënten adviezen, steun en commentaar. Het schrijven verloopt chronologisch. Eerst is er aandacht voor het verleden, daarna staat het heden centraal. Het schrijven biedt structuur en geeft de cliënten en de behandelaars inzicht in mogelijke aanleidingen van de depressie en op welke wijze deze zich uit.
Fase 2. Bewustwording: stemmingsmeter
De bewustwording wordt vergroot door het toepassen van de stemmingsmeter (Lange, 2000, par. 7.5). Gedurende vijf dagen noteren de cliënten op drie vaste tijdstippen hun stemming. Aan de hand van deze registraties ervaren zij en de behandelaars hoe de stemming door de dag heen fluctueert en welke situaties, gedachten of gevoelens de stemming beïnvloeden. De cliënten zoeken samen met hun behandelaars naar het verband tussen de aard van hun stemming en gebeurtenissen of gedachten.
Fase 3. Toename van activiteiten, ontspanning en slaapinstructies
Een negatieve stemming heeft gevolgen voor de mate waarin men actief is, maar het omgekeerde is ook waar. Over het algemeen beïnvloedt een toename van activiteiten de stemming in positieve zin (Jacobson et al., 2000; Lange, 2000, par. 3.5). Cliënten worden derhalve gestimuleerd tot activiteiten. Een week lang maken zij elke dag een planning voor dagelijkse activiteiten. De behandelaar zorgt ervoor dat de geplande activiteiten passen bij de cliënten en niet te hoog gegrepen zijn. Achteraf beoordelen de cliënten of het is gelukt zich aan de planning te houden en zo niet, waardoor dat kwam. Dit verschaft zowel de cliënten als hun behandelaars informatie over het huidige patroon van bezigheden en geeft de mogelijkheid het activiteitenniveau zo mogelijk verder te verhogen. In deze fase ontvangen cliënten daarnaast uitgebreide psycho-educatie over:
- De mogelijkheden van ontspannings- en ademhalingsoefeningen (öst, 1987) en lichaamsbeweging (Bosscher, 1991). De oefeningen en de lichaamsbeweging kunnen cliënten in de dagplanning opnemen.
- Slaaphygiëne (Bastien, Morin, Quellet, Blais, & Bouchard, 2004; Waterman & Hofman, 1996). De cliënten krijgen uitleg, onder andere over de negatieve invloed van middagdutjes, cafeïne, alcohol en slaapmedicatie op de kwaliteit van slapen. Verder worden instructies gegeven over wat zij het beste kunnen doen om in te slapen en wat te doen als zij ’s nachts wakker worden en niet kunnen slapen. Als vuistregel geldt: zo min mogelijk licht aansteken en vooral niet krampachtig proberen (weer) in te slapen.
Fase 4. Cognitieve herstructurering: uitdagen van negatieve gedachten
Deze fase staat in het teken van het opsporen en uitdagen van gedachten die voor de cliënten disfunctioneel zijn (Hermans & Van de Putte, 2003). De cliënten krijgen uitleg over het principe van uitdagen en hoe zij dat zelf kunnen doen. Vervolgens gaan zij een week lang depressogene gedachten en piekergedachten registreren. Een belangrijke element is het piekerhalfuur. In plaats van zich steeds over te geven aan hun negatieve en angstwekkende gedachten schrijven de cliënten ze op momenten van gepieker kort op, om er op een van tevoren vastgesteld moment een halfuur over na te denken. De behandelaars instrueren hen om dan ‘advocaat van de duivel’ te spelen en hun negatieve gedachten op de aangeleerde manier uit te dagen (McKay etal., 1997). Een paar voorbeelden van vragen die zij zichzelf kunnen stellen: Hoe groot is de kans dat dit daadwerkelijk gebeurt? Hoe groot is het bewijs dat mijn aanname waar is? Kun je er ook anders tegenaan kijken? En wat zou ik tegen een goede vriend zeggen die zoiets zou kunnen overkomen? (vergelijk Van der Heiden, 1999).
Fase 5. Cognitieve herstructurering: negatieve gedachten toetsen in gedragsexperimenten
Hoewel het zelfs in face-to-face behandelingen vaak niet gemakkelijk is om cliënten tot bruikbare gedragsexperimenten te brengen (Ten Broeke, Schurink, & Korrelboom, 2003), hebben we er toch voor gekozen om dit onderdeel in het Interapy-protocol op te nemen. De cliënten krijgen de instructie om bepaalde negatieve gedachten om te zetten in een ‘als… dan… hypothese’. Vervolgens bedenken zij samen met de behandelaar een experiment om te kijken of de aanname in de praktijk klopt. Zij doen dit driemaal. De behandelaar helpt om een haalbaar, eenvoudig experiment op te zetten, waarbij de kans groot is dat de negatieve gedachte niet bevestigd wordt door de reactie van de buitenwereld (Ten Broeke & Korrelboom, 2004).
Fase 6. Positieve zelfspraak
Nadat de cliënten hun negatieve gedachten onder de loep hebben genomen, richt de behandeling zich op de positieve eigenschappen. Dit onderdeel begint met psycho-educatie over de heilzame werking van positieve zelfspraak op het zelfbeeld en stemming. De cliënten gaan nadenken en schrijven twee keer over hun positieve kanten en kwaliteiten. De verzamelde positieve informatie, het ‘witboek’, vatten zij vervolgens met een paar krachtige zinnen samen op een kaartje. De bedoeling is dat de cliënten deze tekst regelmatig lezen en hardop uitspreken (Lange, 2000, par. 9.5; Lange, Richard, Gest, De Vries, & Lodder, 1998; Lange, Richard, Kiestra, & Van Oostendorp, 1997).
Fase 7. Interactie met anderen
Door een neerslachtige stemming en een negatief zelfbeeld wordt de omgang met andere mensen er niet beter op. De somberheid heeft vaak tot gevolg dat men weinig interesse opbrengt voor anderen en daardoor ook weinig positiefs terugkrijgt. Het is dus van belang cliënten te helpen om, zelfs al voelt men zich minder prettig, toch een positieve houding ten aanzien van anderen aan te nemen, zoals familie, vrienden en collega’s. Cliënten gaan in deze fase letten op hun eigen aandeel in interacties met hun omgeving en zij oefenen met het op begripvolle, positieve wijze aangeven van hun grenzen, maar ook met het bewust uiten van belangstelling, waardering en het geven van complimenten.
Fase 8. Terugvalpreventie: de toolkit
Het laatste onderdeel van het protocol is erop gericht de cliënten voor te bereiden op de toekomst. Zij stellen een ‘toolkit’ samen. Deze bestaat uit een aan zichzelf gerichte brief waarin de cliënten beschrijven welke elementen hen op welke manier hebben geholpen. Zij leggen in deze brief vast dat zij dit ‘gereedschap’ zullen gebruiken zodra zij signaleren dat er terugval dreigt.
Figuur 1 geeft een schematisch overzicht van de behandelelementen en de fasen waarin zij aan bod komen.
Behandelaars
De cliënten zijn behandeld door 25 behandelaars; 6 mannen en 19 vrouwen. Elke deelnemer had één vaste behandelaar. De behandelaars hadden één, hooguit drie cliënten. De meeste behandelaars waren bij Interapy werkzame, recent afgestudeerde klinisch psychologen, maar er was ook een aantal therapeuten van het Mentrum ggz Amsterdam. De gemiddelde leeftijd van de behandelaars was 33 jaar (range 21-58, SD = 10.6). Allen hadden een training doorlopen om met dit depressieprotocol te kunnen werken. Wekelijks vonden groepssupervisie-bijeenkomsten plaats.
Verwerking van de gegevens
Voor zowel de actieve behandeling als de psycho-educatie is onderzocht in welke mate de depressieve klachten zijn afgenomen. De significanties van de verschillen tussen voormeting en nameting zijn voor elk meetinstrument per conditie getoetst met behulp van T-toetsen voor gepaarde waarnemingen. Exploratief is onderzocht in hoeverre angst en stress zijn verminderd. Het verschil tussen de condities in afname van depressie is getoetst met behulp van anova’s (per meting) en manova’s (voor combinaties van verschillende effectmaten ten behoeve van het overall effect. Per conditie is de grootte van het effect (Cohen’s d) berekend (Cohen, 1988). Hierbij geldt: bij 0.2 < d < 0.5 is het effect middelgroot en bij d > 0.8 gaat het om een groot effect. Het netto-effect van de actieve behandeling is het verschil in effectgrootte tussen de condities.
We hebben ook onderzocht hoeveel cliënten klinisch relevant veranderden. Hiervoor hebben we de methode van Jacobson en Truax (1991) gebruikt. Hierbij wordt per deelnemer eerst onderzocht of er een betrouwbare (niet aan toeval toe te schrijven) verandering is opgetreden (‘reliable change’). Voor degenen waar dit het geval was, is vervolgens onderzocht of zij hiermee een klinisch relevante verandering hebben ondergaan, dat wil zeggen, in een andere normgroep terecht zijn gekomen. De percentages cliënten die na de actieve behandeling of na alleen psycho-educatie zowel een betrouwbare als klinisch relevante verandering hebben ondergaan zijn met elkaar vergeleken. Het verschil tussen de condities is in dit opzicht getoetst met behulp van de Chi-kwadraattoets. Tot slot geven we aan de hand van de antwoorden op de Evaluatievragenlijst weer hoe de cliënten gemiddeld denken over de verschillende onderdelen van de behandeling en de behandelaars.
Resultaten
Tabel 1 laat de gemiddelden van de resultaten op de premeting en de postmeting zien voor effectmaten en de dass-subschalen voor beide condities. Voor de ‘actief behandelde’ conditie worden ook de resultaten van de follow-up meting gegeven.
Meetinstrument | Premeting | Postmeting | Follow-up | Pre-post | Effect- grootte |
||||
Conditie | M | SD | M | SD | M | SD | T-waarde | Cohen’s d | |
* Verschil voor- en nameting is significant p < .05, ** = p < .01, *** = p < .000. | |||||||||
BDI | actief behandeld | 19.3 | 5.7 | 8.3 | 6.1 | 9.5 | 8.3 | 7.9*** | 1.9 |
psycho-educatie | 20.5 | 6.5 | 14.9 | 7.2 | – | 3.0* | 0.8 | ||
SCL-90 depressie |
actief behandeld | 40.0 | 8.8 | 25.4 | 7.0 | 26.6 | 8.7 | 8.4*** | 1.8 |
psycho-educatie | 38.6 | 8.2 | 34.4 | 10.5 | – | – | 1.6 | 0.4 | |
dass depressie |
actief behandeld | 20.8 | 8.8 | 6.3 | 5.9 | 7.4 | 7.5 | 8.8*** | 1.9 |
psycho-educatie | 20.9 | 8.2 | 12.4 | 8.9 | – | – | 4.5** | 1.0 | |
dass angst |
actief behandeld | 7.1 | 4.9 | 2.4 | 2.6 | 2.0 | 2.2 | 5.3*** | 1.2 |
psycho-educatie | 6.4 | 4.4 | 6.4 | 6.9 | – | – | 0.0 | 0.0 | |
dass stress |
actief behandeld | 18.4 | 8.5 | 8.4 | 6.5 | 8.2 | 7.0 | 5.3*** | 1.3 |
psycho-educatie | 15.9 | 8.4 | 13.1 | 9.0 | – | – | 1.1 | 0.3 |
De afname van depressie, angst en stress is in de actief behandelde groep op alle instrumenten significant, met grote effect sizes, en er is na zes weken nauwelijks terugval. De cliënten in de controlegroep, die alleen psycho-educatie hadden gekregen, verbeterden eveneens, maar de afname van symptomatologie is bij hen aanmerkelijk geringer.
De toetsing van de verschillen tussen de condities
Multivariate analyse (manova), waarbij de verschillen in afname van de depressie tussen de actief behandelde groep en de controlegroep over de drie metingen gezamenlijk worden getoetst, toont aan dat die verschillen significant zijn: F
(3,44) = 3.6, p = .021. Ook de angst- en stressklachten verbeterden meer in de actief behandelde conditie dan in de psycho-educatieconditie. Voor de dass-angstschaal geldt: F
(1,44) = 9.5, p = 0.004. voor de dass-stressschaal geldt: F
(1,44) = 4.6, p = 0.037.
De grootte van de effecten
Het effect van de actieve behandeling wordt geschat door het verschil te berekenen tussen de pre-posteffectgroottes van de actief behandelde conditie en van de psycho-educatieconditie. Tabel 1 laat zien dat de netto-effecten van de actieve behandeling voor de depressiematen tussen de d = 1.4 en d = 0.9 liggen, met een gemiddelde van d = 1.1.
Aantal cliënten dat klinisch relevant is veranderd
Tabel 2 laat in beide condities een groot percentage cliënten zien met een klinisch relevante afname van depressie (gemeten volgens de methode van Jacobson en Truax, 1991). Het percentage was het grootst in de actief behandelde groep. Toetsing tussen de condities wees uit dat het verschil indien gemeten met de bdi niet significant was, maar wel als de scl-90 als maat wordt genomen. In de discussie komen we hierop terug.
één normgroep verbeterd | ||||
Schaal | Conditie | % |
χ 2 (df = 1) |
P < |
* = eenzijdig significant voor ≤ .05. | ||||
BDI | actief behandeld | 81 | 0.6 | .23 |
psycho-educatie | 71 | |||
SCL-90 depressie | actief behandeld | 75 | 6.5 | .005* |
psycho-educatie | 36 |
Exploratie
Verschil vitale depressie en dysthyme stoornis
De veranderingen bij de 18 deelnemers met een vitale depressie en de veranderingen bij de 28 deelnemers met een dysthyme stoornis werden getoetst met behulp van anova’s, zowel met de bdi als met de scl-90 als maat voor verandering. De verschillen bleken zeer gering en volledig aan toeval toe te schrijven: voor de bdi
F
(1,44) = .50, p = .48; voor de scl-90 F
(1,44) = .06, p = .81.
Wat vonden de cliënten van de verschillende onderdelen?
De evaluatievragenlijst is in beide condities afgenomen. Uiteraard kregen de cliënten in de controleconditie deze lijst pas nadat zij net als de andere groep de actieve behandeling hadden ondergaan. Voor de verwerking van de antwoorden op de exploratieve vragen konden derhalve de antwoorden van de cliënten in beide condities worden gebruikt.
Tabel 3 toont dat de cliënten de behandelmodules in het algemeen zeer zinvol vonden. Het schrijven over belangrijke gebeurtenissen die hadden bijgedragen aan de depressie en het registreren van deprimerende gebeurtenissen en gedachten, werden als meest nuttig ervaren. Ook het uitdagen van automatische gedachten vond men zeer zinvol. De relatief lage waarde die werd toegekend aan het plannen van hun dagelijkse activiteiten, is eveneens opvallend.
Interventie | Gemiddelde | SD |
* Percentages afgerond op hele getallen. Percentages ‘Geen Mening’ zijn in de tabel niet vermeld. | ||
schrijven/registreren | 8.4 | 1.6 |
disfunctionele automatische gedachten | 8.2 | 1.7 |
positieve zelfinstructie | 7.8 | 1.7 |
omgaan met anderen | 7.5 | 2.0 |
toolkit | 7.4 | 1.7 |
dagplanning/activiteiten | 6.8 | 2.8 |
Overall gemiddelde | 7.7 |
Wat vonden de cliënten van hun behandelaars, de gang van zaken en de verbeteringen?
De cliënten waren zeer tevreden over de begeleiding door hun persoonlijke behandelaar. Gemiddeld scoorden zij 8.4 (SD = 1.6) op een schaal van 1 tot 10 (Renckens, 2004). Uit het rapport van Renckens (2004) blijkt verder dat de cliënten vrij veel tijd aan het huiswerk besteedden. Slechts enkelen waren er minder dan een uur per week aan kwijt. 41 procent besteedde er tussen de één en twee uur aan, 46 procent tussen de twee en vier uur en 11 procent meer dan vier uur per week.
Tabel 4 laat zien dat het overgrote deel van de cliënten goed te spreken was over de manier waarop de behandelingen waren verlopen. Bijna iedereen vond de instructies begrijpelijk, het programma overzichtelijk en Interapy een effectieve methode om depressieklachten te verminderen. Men zou de behandeling aan anderen aanbevelen. Het overgrote deel vond het plezierig om op deze manier in plaats van face-to-face in behandeling te zijn. Tabel 4 toont ook dat het merendeel (78 procent) het contact met de behandelaar als persoonlijk had ervaren, slechts 4 procent vond het onpersoonlijk. Hoopgevend is ten slotte dat slechts enkele cliënten geen vermindering van klachten hadden ervaren, terwijl meer dan 65 procent zich verbeterd voelde.
Vraag | Antwoorden | %* |
* Percentages afgerond op hele getallen. Percentages ‘Geen Mening’ zijn in de tabel niet vermeld. | ||
Vond je de teksten van de instructie begrijpelijk? | ja nee |
95 4 |
Zou je het programma aan iemand anders aanbevelen? | ja nee |
96 2 |
Hoe vond je het contact met je behandelaar? | persoonlijk onpersoonlijk |
78 4 |
Heb je face-to-face gesprekken met je behandelaar gemist? | ja nee |
11 80 |
Hoe vond je het om op deze manier in behandeling te zijn in plaats van face-to-face? | plezierig onplezierig |
87 2 |
Als je het totale programma beoordeelt, vond je het Interapy-programma overzichtelijk? | ja nee |
93 4 |
Vind je de Interapy-depressiebehandeling een effectieve methode voor het verminderen van depressieve klachten? | ja nee |
93 2 |
In hoeverre heb je gedurende de behandeling vermindering van je klachten ervaren? | niet een beetje redelijk veel |
2 37 52 |
Discussie
De resultaten van de hier beschreven depressiebehandeling komen in grote lijn overeen met die van de eerder onderzochte Interapy-behandelingen van posttraumatische stress (Lange et al., 2003a) en burn-out (Lange et al., 2004). De effecten zijn groot en een hoog percentage van de actief behandelde cliënten verbetert dusdanig dat men van grote klinische relevantie mag spreken. Bij het beoordelen van de resultaten dienen we in aanmerking te nemen dat de meeste cliënten al vrij lang last hadden van de depressieve klachten (gemiddeld zes jaar). Met andere woorden, spontaan herstel zal geen factor van betekenis zijn geweest.
Bij internetbehandelingen is het meestal moeilijk om uitvallers te traceren. Wij hadden dan ook geen systematische gegevens van de elf deelnemers die waren afgevallen. Het kan zijn dat de resultaten hierdoor een iets te zonnige kijk geven. Van sommige afvallers weten we echter dat ze niet om negatieve redenen zijn gestopt, maar omdat ze vonden dat het goed genoeg met hen ging. Dit bleek uit de communicatie met de behandelaars. Het ligt in de bedoeling om in de toekomst contact op te nemen met cliënten die langere tijd niet reageren. Hun behandeling kan indien nodig worden afgesloten met het afnemen van vragenlijsten.
De Interapy-behandelingen beginnen altijd met psycho-educatie: informatie over de aard van de klacht waarvoor men behandeld wil worden, het soort behandelingen dat ervoor bestaat en wat de cliënten bij Interapy kunnen verwachten. Deze informatie moet verstrekt worden voordat cliënten de keuze maken of zij de behandeling willen ondergaan. Pas daarna worden zij at random ingedeeld in de experimentele conditie of de controleconditie. Dit impliceert dat de deelnemers in de controleconditie veel informatie kregen over depressie, wat eraan gedaan kan worden en wat zij gaan doen wanneer zij aan de beurt zijn (ongeveer twee maanden later). De gegevens laten zien dat de controleconditie hierdoor meer is dan een wachtlijstgroep en op een aantal metingen ook behoorlijk verbetert. We zien dit het sterkst als we kijken naar individuele veranderingen op de bdi-scores. Daar blijkt dat ook in de psycho-educatieconditie een fors percentage van de cliënten klinisch relevant is verbeterd. Wanneer we de scl-90 hiervoor als maat nemen, zijn de verschillen groter: veel meer klinische veranderingen in de actief behandelde groep. Dit kan te maken hebben met de grotere sensitiviteit van de scl-90 (vgl. Arrindell & Ettema, 2003). Ondanks de verbeteringen in deze psycho-educatiegroep zijn de verschillen met de actieve behandelgroep groot, met netto effect sizes (verschil in d-waarden tussen de twee groepen) van d groter dan 1.
De grote tevredenheid van de cliënten over de diverse aspecten van de behandeling is wederom opvallend. Ten aanzien van de inhoud van de modules valt op dat men het schrijven en registreren als vorm van het zich bewust worden van deprimerende situationele factoren als meest belangrijk heeft ervaren. Dat schrijfopdrachten bij posttraumatische stress van groot belang worden geacht, is niet verbazingwekkend, maar dat het bij depressie (evenals bij burn-out) als meest belangrijk naar voren kwam, is opzienbarend. Het op actieve wijze inzicht verwerven in momenten en factoren die aan de klacht bijdragen zou wel eens een universele factor kunnen zijn in de directieve therapie en de gedragstherapie. Het vergroot het gevoel van controle over de problematiek en het gevoel van competentie in het omgaan met de problemen.
Het uitdagen van disfunctionele automatische gedachten was een element in de behandeling dat noodzakelijk was, maar van tevoren hadden we ons zorgen gemaakt of het zou lukken dit via internet over te brengen. In de pilotstudies is aan deze module in de behandeling extra veel gesleuteld door de meningen van de cliënten te analyseren en besprekingen te houden met de behandelaars. Gezien de hoge waardering voor dit onderdeel (7.8 op de schaal van 1-10) is dit niet voor niets geweest. Het zeer hoge percentage van cliënten dat de instructies overall begrijpelijk vond (95 procent) en de gehele behandeling overzichtelijk (93 procent) suggereert eveneens dat alle modules hebben bijgedragen aan het succes, ook deze ‘moeilijke module’. Het is jammer dat in de Evaluatievragenlijst niet apart is gevraagd naar de mening van de cliënten over de zinvolheid van de twee technieken die hiervoor afzonderlijk zijn gebruikt: cognitief uitdagen en gedragsexperimenten. Het zou kunnen zijn dat één van de twee toch moeilijker is geweest en minder heeft opgeleverd dan de andere. In het protocol zoals het inmiddels wordt gebruikt is de Evaluatievragenlijst in dit opzicht al aangepast, en zijn aparte vragen opgenomen over elk van deze twee elementen.
Waarschijnlijk heeft een aantal factoren een rol gespeeld in het succes van de behandeling:
- Het protocol is een elegante combinatie van elementen waar we in onze face-to-face behandelingen al ervaring mee hadden opgedaan. Het bevat veel elementen die cliënten greep geven op hun problematiek. De grote mate van zelfwerkzaamheid in de Interapy-behandeling draagt bovendien bij aan het gevoel van competentie van cliënten.
- Het protocol is tot stand gekomen in intensieve samenwerking tussen de medewerkers van Interapy, de programmagroep klinische psychologie van de uva, en ervaren behandelaars van het Mentrum ggz Amsterdam.
- Er waren verscheidene kleine pilotstudies waarin de cliënten hun mening konden geven, op grond waarvan het protocol, de uitleg, feedback en het motiveren voortdurend werden verbeterd.
- De behandeling verliep in zijn geheel via de website, dus niet via e-mails en ‘attachments’. Dit vergrootte voor zowel de cliënten als behandelaars de duidelijkheid en de structuur. E-mails werden alleen in bijzondere gevallen gebruikt, indien cliënten extra vragen hadden of aanvullende informatie nodig hadden.
- Het protocol bevatte niet alleen instructies voor cliënten, maar ook aanwijzingen voor de behandelaars hoe zij de cliënten konden motiveren. Ook dit lijkt goed te zijn gelukt. Men was zeer tevreden over de begeleiding (8.4 op een schaal van 1-10), slechts 11 procent had face-to-face contact gemist (bij de burn-out-behandeling was dat 31 procent (vergelijk Lange et al, 2004) en 96 procent zou de behandeling aan anderen aanbevelen.
- Waarschijnlijk doordat ze zeer goed gemotiveerd waren, hebben de cliënten, zoals we eerder beschreven, zelf veel tijd aan de behandeling (het huiswerk) gespendeerd.
Er waren veel verschillende therapeuten. Dit kan worden opgevat als steun voor de validiteit van het behandelprotocol en de totale procedure. De resultaten kunnen hierdoor immers niet worden toegeschreven aan enkele briljante behandelaars. Het protocol is kennelijk goed overdraagbaar, mits de behandelaars erin getraind worden. Voor het eerst waren er nu ook ervaren, oudere, behandelaars uit de reguliere ggz. Er is opzettelijk niet getoetst of er verschil was in de resultaten van deze behandelaars en de relatief jonge stagiairs klinische psychologie. De gegevens geven geen aanleiding om te vermoeden dat die verschillen er waren.
Het moge duidelijk zijn: de bevindingen met deze behandeling voor depressie zijn zonder meer positief te noemen, maar er zijn enkele beperkingen:
- Internet is niet voor iedereen beschikbaar en niet iedereen wenst af te zien van face-to-face contacten. Er is dus een selectie van cliënten die in aanmerking komen.
- In de screening werd een groot aantal potentiële deelnemers uitgesloten: 56 procent hiervan werd afgewezen omdat hun klachten eerder wezen op de noodzaak van een behandeling voor posttraumatische stress, burn-out of paniek dan voor depressie.
- Personen met een dissociatieve stoornis of psychosen, of gebruikers van harddrugs werden eveneens uitgesloten. Een dergelijke exclusie van deelnemers is een beperking die men ook ziet bij face-to-face gerandomiseerde behandelstudies (Garfield, 1998; Persons & Silberschatz, 1998), maar bij internetbehandelingen kan er nog minder risico worden genomen wat comorbiditeit betreft.
- Er werden ook personen afgewezen omdat zij te weinig depressief waren (6 procent) of een te zware depressie hadden (4 procent), of een verhoogd risico op suïcide (15 procent). Voor dergelijke potentiële cliënten achten wij face-to-face contact, met de mogelijkheid van het voorschrijven van medicatie, geïndiceerd.
Niettemin kunnen wij stellen dat de Interapy-behandeling in korte tijd effectief blijkt te zijn bij een groep van cliënten met een dysthyme stoornis en cliënten met een vitale depressie, wier klachten al langere tijd bestaan, die deels (nog) aan het werk zijn maar wel gevaar lopen verder te invalideren en te medicaliseren. De kans dat milde of matige depressie uitgroeit tot zeer ernstige depressie neemt sterk af na effectieve cognitieve gedragstherapie (Cuijpers, 2004). Interapy kan in dit opzicht een krachtige preventieve werking hebben, temeer daar Interapy een slagvaardige aanpak zonder wachttijden en zonder lange tijden tussen de sessies mogelijk maakt.
Er waren deelnemers die de behandeling niet hebben afgemaakt (19 procent). In een recent onderzoek waarin internetbehandeling van milde depressie gecombineerd werd met face-to-face contacten, rapporteren Andersson, Bergström, Holländare, Ekselius en Carlbring (2004) grotere percentages van exclusie en uitval. Kakes (2004) rapporteert eveneens hogere percentages drop-outs bij internetbehandelingen. Ook in vergelijking met uitvalcijfers van pure face-to-face gerandomiseerde onderzoeken is de drop-out ratio relatief laag. De Jonghe et al. (2004) rapporteren bijvoorbeeld drop-out percentages van circa 40 bij farmacologische behandeling van depressie en 25 bij kortdurende psychotherapie. De grondige screening en de nadruk op motiveren en een goede therapeutische relatie zullen er aan hebben bijgedragen dat cliënten in de Interapy-behandeling niet snel afhaakten. Niettemin is samenwerking met instituten die eventueel nazorg kunnen bieden van belang. In deze studie voorzag de samenwerking met de Stichting Mentrum ggz Amsterdam hierin.
Ten slotte: de follow-up periode was in dit onderzoek zes weken. Bij de Interapy-pts-behandeling is inmiddels een follow-up van 18 maanden uitgevoerd die liet zien dat de verbeteringen ook over een langere periode standhielden. De burn-out-behandeling wordt momenteel aan een long-term follow-up onderzoek onderworpen. Voor depressie zal dit in de toekomst eveneens gebeuren. U hoort van ons.
Summary
Psychological treatment through the Internet provides new opportunities for the Mental Health Institutions. In cooperation with a main Mental Health Institute, Interapy has generated a manualised complete screening and protocol-driven treatment for depression via the Internet. The treatment comprises cognitive-behavioral interventions, including psycho-education, writing assignments, monitoring, challenging dysfunctional automatic thinking and relapse preventions. The article describes the procedures, the treatment and the results of a randomised controlled trial with patients who were seriously depressed. Participants who were treated actively (N = 32) improved significantly more than those who had received psycho-education only (N = 14), and received active treatment after the rct was terminated. The effects were strong. In the actively treated condition 75 percent of the participants showed reliable and clinically significant improvement, compared to 36 percent in the psycho-education-only condition. Follow-up after six weeks showed that the improvements were maintained.
Referenties
Abels-Reguera, L., & Brunner, K. (2002). Interapy-burnout: Een ongecontroleerde pilotstudie naar het effect van een geprotocolleerde behandeling van burnout via het internet. Amsterdam: Programmagroep Klinische psychologie, Universiteit van Amsterdam.
Andersson, G., Bergström, J., Holländare, F., Ekselius, L., & Carlbring, P. (2004). Delivering cbt for mild to moderate depression via the Internet: Predicting outcome at 6-months follow-up. Verhaltenstherapie, 14(3), 185-189.
Antonuccio, D.O., Burns, D., Danton, W.G., & O’Donohue, W. (2000). Rumble in Reno: The psychosocial perspective on depression. Psychiatric Times, 17(8).
Antony, M.M., Bieling, P.J., Cox, B.J., Enns, M.W., & Swinson, R.P. (1998). Psychometric properties of the 42-item and 21-item versions of the Depression Anxiety Stress Scales (dass) in clinical groups and a community sample. Psychological Assessment, 10, 176-181.
Arrindell, W.A., & Ettema, J.. M. (2003). SCL-90: Handleiding bij een multidimensionele psychopathologie-indicator. Lisse: Swets & Zeitlinger.
Bastien, C.H., Morin, Ch.M., Quellet, M.C., Blais, F.C., & Bouchard, S. (2004). Cognitive-behavioral therapy for insomnia: comparison of individual therapy, group therapy, and telephone consultations. Journal of Consulting and Clinical Psychology, 72(4), 653-659.
Beurs, E. de, Dyck, R. van, Marquenie, L.A., Lange, A., & Blonk, R.W.B. (2001). De dass; een vragenlijst voor het meten van depressie, angst en stress. Gedragstherapie, 34(1), 35-53.
Blaauw, E., & Kerkhof, A.J.F.M. (1999). Suïcides in detentie. Den Haag: Elsevier.
Bosscher, R.J. (1991). Running Therapie bij depressie. Amsterdam: Thesis publishers.
Botella, C., Banos, R.M., Villa, H., Perpina, C., & Garcia-Palacios, A. (2000). Telepsychology: Public speaking fear treatment on the internet. CyberPsychology and Behavior, 3, 959-968.
Bouman, T. (1994). Kort Instrumenteel; De Beck Depression Inventory (BDI). Gedragstherapie, 27(1), 69-71.
Broeke, E. ten, & Korrelboom, K. (2004). Gedragsexperimenten in cognitieve therapie: een praktische kennismaking. Psychopraxis, 6(3), 96-100.
Broeke, E. ten, Schurink, G., & Korrelboom, K. (2003). Gedragsexperimenten in cognitieve gedragstherapie: een stapsgewijze beschrijving. Gedragstherapie, 36(1), 5-18.
Brom, D., & Kleber, R.J. (1985). De Schokverwerkingslijst. Nederlands Tijdschrift voor Psychologie, 40, 164-168.
Carlbring, P., Ekselius, L., & Andersson, G. (2003). Treatment of panic disorder via the internet: a randomized trial of CBT vs. applied relaxation. Journal of Behavior Therapy and Experimental Psychiatry, 34(2), 129-140.
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum Associates.
Cuijpers, P. (2004). Psychische ziekten van alledag. Amsterdam: Oratie VU uitgeverij.
Garfield, S.L. (1998). Some comments on empirically supported treatments. Journal of Consulting and Clinical Psychology, 66(1), 121-125. In Nederlands: Enige kanttekeningen bij empirisch ondersteunde behandelingen. Gezinstherapie Wereldwijd, 1999, 10(2), 204-215.
Gijsen, R., & Wilk, E.A. van der (2003). Volksgezondheid Toekomst Verkenning. Nationaal Kompas Volksgezondheid. Bilthoven: RIVM, <http://www.nationaalkompas.nl> GezondheidstoestandZiekten en aandoeningenPsychische stoornissenDepressie.
Hafkenscheid, A. (2004). Hoe multidimensionaal is de de SCL-90 nu eigenlijk? De Psycholoog, 39(4), 191-194.
Heeringen, C. van, & Kerkhof, A.J.F.M. (red.) (2000). Behandelstrategieën bij suïcidaliteit. Houten: Bohn Stafleu Van Loghum.
Heiden, C. van der (1999). De cognitieve therapie van Beck. Gedragstherapie, 31(1), 3-33.
Hermans, D., & Putte, J. van de(2003). Cognitieve Gedragstherapie bij depressie. Houten: Bohn Stafleu Van Loghum.
Jacobson, N.S., & Truax, P.A. (1991). Clinical significance: A statistical approach to meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology, 59(1), 12-19.
Jacobson, N.S., Dobson, K.S., Truax, P.A., Addis, M.E., Koerner, K., Gollan, J.K., Gortner, E., & Prince, S.E. (2000). A Component Analysis of Cognitive-Behavioral Treatment for Depression. Prevention & Treatment, 3(23). [online]. journals.apa.org/prevention /volume3/pre0030023a.html.
Jager, J., Emmelkamp, P.M.G., & Lange, A. (in voorbereiding). De Nederlandse versie van de Panic Disorder Severity Scale. Amsterdam: Universiteit van Amsterdam.
Jager, J., Emmelkamp, P.M.G., & Lange, A. (2004). Die Behandlung von Panikstörungen über das Internet: Eine Fallbeschreibung. Verhaltenstherapie, 14(3), 200-205.
Joiner, T.E., Steer, R.A., Brown, G., Beck, A.T., Pettit, J.W., & Rudd, M.D. (2003). Worst-point suicidal plans: a dimension of suicidality predictive of past suicide attempts and eventual death by suicide. Behaviour Research and Therapy, 41(2), 1469-1480.
Jonghe, F. de, Hendriksen, M., Aalst, G. van, Kool, S., Peen, J., Van, R., Eijnden, E. van den, & Dekker, J. (2004). Psychotherapy and Combined Therapy (Pharmacotherapy plus Psychotherapy) in the Treatment of Depression, British Journal of Psychiatry, 185, 37-45.
Kakes, N. (2004). Een vergelijking van internetbehandelingen voor drie verschillende klachtengebieden: het effect van begeleiding, structuur en screening op het resultaat. Amsterdam: Programmagroep Klinische Psychologie.
Keijsers, G.P.J., Minnen, A. van, & Hoogduin, C.A.L. (red.) (2004). Protocollaire behandeling in de ambulante GGZ I (2e druk). Houten: Bohn Stafleu Van Loghum.
Kirsch, I., & Sapirstein, G. (1998). Listening to Prozac but Hearing Placebo: A Meta-Analysis of Antidepressant Medication. Prevention & Treatment, 1(4c) [online]. journals.apa.org/prevention/volume1/pre0010004c.html.
Lange, A. (2000). Gedragsverandering in gezinnen, zevende herziene druk. Groningen:Wolters Noordhoff.
Lange, A., Richard, R., Gest, A., Vries, M. de, & Lodder, L. (1998). The effects of positive self-instruction; A controlled trial. Cognitive Therapy and Research, 22(3), 225-236.
Lange, A., Richard, R., Kiestra, J., & Oostendorp, E. van (1997). Cognitive treatment through positive self-verbalization; A multiple case study. Behavioural and Cognitive Psychotherapy, 25, 161-171.
Lange, A., Rietdijk, D., Hudcovicova, M., Ven, J-P. van de, Schrieken, B., & Emmelkamp, P.M.G. (2003a). Interapy; a controlled randomized trial of the standardized treatment of posttraumatic stress through the internet. Journal of Consulting and Clinical Psychology, 71(5), 901-909.
Lange, A., Schrieken, B., Blankers, M., Ven, J-P. van de, & Slot, M. (2000). Constructie en validatie van de Gewaarwordingenlijst: een hulpmiddel bij het signaleren van een verhoogde kans op psychosen. Directieve Therapie 20(2), 162-173.
Lange, A., Ven, J-P van de, Schrieken, B., & Emmelkamp, P. (2004). Langetermijneffecten, cognitieve verandering en mediërende variabelen in de korte behandeling van posttraumatische stress via het internet. Directieve Therapie, 24(1), 37-52.
Lange, A., Ven, J-P. van de, Schrieken, B., & Smit, M. (2003b). Interapy-Burnout; Preventie en behandeling van burnout via het internet. Directieve Therapie, 23(2), 121-145.
McKay, M., Davis, M., Fanning, P. (1997). Thoughts & Feelings – Taking control of your moods and life. Oakland, CA: New Harbinger Publications. In Nederlands: Gedachten en gevoelens – Breng je stemming en je leven op orde. Amsterdam: Uitgeverij Nieuwezijds, 2001.
Meer, A. van der, & Burgerhout, K. (2004). Nederlandse versie van de Panic Disorder Severity Scale. Amsterdam: Programmagroep Klinische Psychologie, Universiteit van Amsterdam.
Nijenhuis, E.R.S., Spinhoven, Ph., Dyck, R. van, Hart, O. van der, & Vanderlinden, J. (1997). The development of the Somatoform Dissociation Questionnaire (sdq 5) as a screening instrument for dissociative disorders. Acta Psychiatrica Scandinavica, 96, 311-318.
öst, L. (1987). Applied relaxation: Description of a coping technique and a review of controlled studies. Behavior Research and Therapy, 25(5), 397-409.
Persons, J.B., & Silberschatz, G. (1998). Are results of randomized controlled trials useful to psychotherapy? Journal of Consulting and Clinical Psychology, 66(1), 126-135. In Nederlands: Zijn de resultaten van gerandomiseerd gecontroleerd onderzoek bruikbaar voor psychotherapeuten? Gezinstherapie Wereldwijd, 1999, 10(2), 179-204.
Renckens, C. (2004). Interapy: een geprotocolleerde behandeling van depressie via het internet. Amsterdam: Programmagroep Klinische Psychologie, Universiteit van Amsterdam.
Richards, J., Klein, B., & Carlbring, P. (2003). Internet-based treatment for panic disorder. Cognitive Behaviour Therapy, 32(3), 125-135.
Richter, H. (2002). Wat is depressie? In Trimbos Instituut, Nationale Monitor Geestelijke Gezondheid Jaarbericht 2002. Utrecht: Trimbos Instituut (www.trimbos.nl).
Robinson, P., & Serfaty, M. (2003). Computers, e-mail and therapy in eating disorders: European Eating Disorders Review, 11, 210-221.
Shear, M.K., Brown, T.A., Barlow, D.H., Money, R., Sholomskas, D.E., Woods, S.W., Gorman, J.M., & Papp, L.A. (1997). Multicenter Collaborative Panic Disorder Severity Scale. American Journal of Psychiatry, 154, 1571-1575.
Ström, L., Petterson, R., & Andersson, G. (2004). Internet-based treatment for insomnia: A controlled evaluation. Journal of Consulting and Clinical Psychology, 72, 113-120.
Waterman, D., & Hofman, W. (1996). De niet-medicamenteuze behandeling van slapeloosheid. Directieve Therapie 16(4), 350-370.
Zabinski, M.F., Celio, A.A., Jacobs, M.J., Manwaring, J., & Wilfley, D.E. (2003). Internet-based prevention of eating disorders. European Eating Disorders Review, 11(3), 183-197.