Critical Appraisal Validazione di una check-list a tre item per una prima valutazione della qualità delle linee guida: risultati preliminari |  |
Autori: A.Battaggia , P. Bassetto, C. Crisafulli, F. Franzoso, BF Novelletto, G. Merlino, G. Rigon, A. Stimamiglio, R. Scoglio
Print 
PDF
Introduzione
La qualità delle linee guida pubblicate dalle Società Scientifiche Internazionali non sempre è ottimale ; fino a qualche anno fa era , anzi, decisamente scadente (Grilli et al Lancet 2000). La qualità di una Linea Guida dovrebbe essere valutata con metodi validati e riconosciuti internazionalmente. La check-list più utilizzata in tal senso è sicuramente lo strumento AGREE, che esplora tutti i dettagli di sei diverse <aree di qualità> di una linee guida. L utilizzo della check-list AGREE richiede quattro revisori esperti e rappresenta senz altro un grosso impegno di risorse qualora ci si attenga a scegliere il documento migliore entro un pool numeroso di linee guida. In base all esperienza di chi scrive, per una analisi approfondita di una Linea Guida di grosse dimensioni occorrono -con l AGREE- più o meno sei ore di lavoro per ogni revisore. Proponiamo pertanto in questa sede uno strumento semplificato di analisi della qualità di una linea guida rappresentato da una check-list con soli tre item. La nostra check-list non vuole certo rappresentare una alternativa all AGREE ma è stata concepita solo per essere utilizzata per una prima scrematura di un pool di questi documenti. Con questo strumento il revisore dovrebbe essere messo nelle condizioni di poter scartare immediatamente le linee guida di qualità peggiore al fine di applicare la check-list AGREE solo ai documenti sopravvissuti al primo filtro.
La qualità delle linee guida pubblicate dalle Società Scientifiche Internazionali non sempre è ottimale ; fino a qualche anno fa era , anzi, decisamente scadente (Grilli et al Lancet 2000). La qualità di una Linea Guida dovrebbe essere valutata con metodi validati e riconosciuti internazionalmente. La check-list più utilizzata in tal senso è sicuramente lo strumento AGREE, che esplora tutti i dettagli di sei diverse <aree di qualità> di una linee guida. L utilizzo della check-list AGREE richiede quattro revisori esperti e rappresenta senz altro un grosso impegno di risorse qualora ci si attenga a scegliere il documento migliore entro un pool numeroso di linee guida. In base all esperienza di chi scrive, per una analisi approfondita di una Linea Guida di grosse dimensioni occorrono -con l AGREE- più o meno sei ore di lavoro per ogni revisore. Proponiamo pertanto in questa sede uno strumento semplificato di analisi della qualità di una linea guida rappresentato da una check-list con soli tre item. La nostra check-list non vuole certo rappresentare una alternativa all AGREE ma è stata concepita solo per essere utilizzata per una prima scrematura di un pool di questi documenti. Con questo strumento il revisore dovrebbe essere messo nelle condizioni di poter scartare immediatamente le linee guida di qualità peggiore al fine di applicare la check-list AGREE solo ai documenti sopravvissuti al primo filtro.
Materiali e metodi
Gli item di qualità esplorati dalla nostra check-list sono a) esplicitazione della composizione del team che ha prodotto la linea guida b) esplicitazione delle fonti di evidenza utilizzate nella linea guida c) utilizzo di un metodo di grading per quantificare la forza delle raccomandazioni che costituiscono la linea guida (Grilli et al Lancet 2000).
Abbiamo valutato il grado di accordo tra otto revisori (quattro esperti e quattro inesperti) nell’ attribuire uno score di qualità attraverso la nostra check-list a due gruppi di linee guida internazionali (rispettivamente: sul management dell’ osteoporosi e sul management dello stroke). Abbiamo a tal fine utilizzato la statistica k , che produce un coefficiente i cui valori possono variare za 0 (= minimo accordo tra i revisori) a 1 (= massimo accordo tra i revisori).
La prima versione del documento forniva risultati parzialmente riproducibili entro il pool di revisori esperti ma non riproducibili entro il pool dei revisori non esperti.
La seconda versione del documento forniva entro il pool di revisori esperti risultati ottimi per due item su tre; per il terzo item è emersa la necessità di redigere un breve manuale esplicativo (due pagine) su come utilizzare lo strumento stesso. Il livello di accordo risulta invece ancora troppo basso quando la check-list veniva usata dai colleghi meno esperti.
Gli item di qualità esplorati dalla nostra check-list sono a) esplicitazione della composizione del team che ha prodotto la linea guida b) esplicitazione delle fonti di evidenza utilizzate nella linea guida c) utilizzo di un metodo di grading per quantificare la forza delle raccomandazioni che costituiscono la linea guida (Grilli et al Lancet 2000).
Abbiamo valutato il grado di accordo tra otto revisori (quattro esperti e quattro inesperti) nell’ attribuire uno score di qualità attraverso la nostra check-list a due gruppi di linee guida internazionali (rispettivamente: sul management dell’ osteoporosi e sul management dello stroke). Abbiamo a tal fine utilizzato la statistica k , che produce un coefficiente i cui valori possono variare za 0 (= minimo accordo tra i revisori) a 1 (= massimo accordo tra i revisori).
La prima versione del documento forniva risultati parzialmente riproducibili entro il pool di revisori esperti ma non riproducibili entro il pool dei revisori non esperti.
La seconda versione del documento forniva entro il pool di revisori esperti risultati ottimi per due item su tre; per il terzo item è emersa la necessità di redigere un breve manuale esplicativo (due pagine) su come utilizzare lo strumento stesso. Il livello di accordo risulta invece ancora troppo basso quando la check-list veniva usata dai colleghi meno esperti.
Conclusioni provvisorie
- Il grado di accordo tra revisori esperti nell utilizzo del nostro strumento è molto buono per due item su tre, facilmente migliorabile per il terzo.
- L utilizzo del nostro strumento appare promettente in presenza da parte del revisore di un livello medio di competenza sull appraisal delle linee guida: il suo uso richiede pertanto un minimo di formazione e training.
- Lo strumento consente una valutazione molto rapida (bastano 10 minuti per ogni documento esaminato). Potrebbe pertanto essere utilizzato per una rapida scrematura di un pool al fine di scegliere le linee guida migliori (ossia per stabilire quali di questi documenti valga la pena sottoporre ad una valutazione più complessa in termini di tempo e di risorse umane attraverso la chek-list AGREE).
- In ogni caso questa prima fase di validazione ha considerato solo la riproducibilità inter-observer dei risultati prodotti. Il potere discriminante della nostra check-list (ossia la capacità di distinguere con ragionevole attendibilità le linea guida destinate ad un secondo momento di valutazione da quelle da scartare immediatamente) sarà oggetto di una ulteriore fase di validazione
