Guia para la elaboracion de informes de evaluacion de tecnologias sanitarias



Descargar 0,61 Mb.
Página2/8
Fecha de conversión24.09.2017
Tamaño0,61 Mb.
1   2   3   4   5   6   7   8

3.2. Estudio de la factibilidad
Antes de iniciar el trabajo de evaluación es necesario valorar la viabilidad del proyecto y la posibilidad de responder a la solicitud. Es posible que la evaluación esté ya total o parcialmente realizada, que exista información suficiente de fácil acceso para cubrir los objetivos propuestos, o por el contrario, que los recursos de personal o de tiempo necesarios para la elaboración del informe sean muy superiores a los inicialmente previstos.
A continuación se presenta una propuesta de los aspectos que pueden determinar la factibilidad y oportunidad de realizar un informe de ETS. La Agencia de ETS de Alberta, en Canadá, tiene en cuenta varios criterios para decidir el tipo y grado de la respuesta a las solicitudes de evaluación que, parcialmente modificados, se exponen a continuación:.
Aspectos que determinan la factibilidad de realizar un informe de ETS (modificado de Alberta Heritage Foundation21)
El propósito de la solicitud.
El impacto de la tecnología. Prevalencia de la condición clínica implicada, gravedad de ésta e impacto económico, social y organizativo.
La pertinencia de realizar la evaluación. Considerando el momento en el que se presentará el informe. Este criterio depende de aspectos como la sobre o infrautilización percibida o la fase de introducción en que se encuentra la TS.
La variabilidad en el uso de esa tecnología o en el manejo de la enfermedad entre diferentes zonas geográficaso medios clínicos.
La disponibilidad de la información necesaria para realizar la evaluación.
Calidad y grado de homogeneidad de la información que se utilizará para la evaluación.
Los recursos necesarios para realizar la evaluación y la capacidad para obtenerlos. Tiempo, recursos humanos, urgencia u oportunidad política de la solicitud.
• La idoneidad de que se responda aportando informes ya elaborados o fuentes de información relacionadas, o la posibilidad de que otros organismos lleven a cabo el proyecto.

En algunas ocasiones el estudio de factibilidad puede concluir con la conveniencia de elaborar un informe preliminar de forma rápida o un informe completo de ETS. Un informe preliminar puede constituir una ap rox ilación inicial al conocimiento científico disponible sobre esa TS, siendo útil para la estimación de los recursos necesarios para culminar el proceso de ETS, o para realizar posteriormente, si así se decide, un informe de evaluación completo.




3.3. La elaboración del proyecto de evaluación
En los pasos anteriores se han definido las p reguntas de evaluación, se ha estudiado la factibilidad de realizar el informe y se ha realizado una búsqueda de información preliminar. En este momento ya se tiene información suficiente como para conocerel volumen de literatura que se va a manejar, diseñar la estrategia de revisión de la literatura y considerar la utilización de otros métodos. Se está en disposición de planificar la evaluación presentando un proyecto para la discusión con los solicitantes.
Los contenidos que debe incluir un protocolo o proyecto de evaluación pueden estructurarse tal y como se propone a posteriori, bajo el título “Estructura de un proyecto de evaluación”.

No siempre es posible definir con precisión todos los puntos especificados, ya que son los estadios iniciales del proyecto y no se dispone de información suficiente.



Estructura de un proyecto de evaluación
+ Definición precisa de las preguntas u objetivos generales y específicos de la evaluación.
+ Metodología que se utilizará para elaborar el informe: revisión sistemática, evaluación económica, métodos de consenso, encuesta sobre el uso actual de una TS, investigación con datos primarios u otros métodos.
+ Fuentes y estrategia de la búsqueda de información.
+ Criterios de inclusión y exclusión de los estudios, y criterios que se van a utilizar para la lectura crítica de los estudios.
+ Datos a extraer de los estudios y métodos que se emplearán para ello.
+ Estudio de los sesgos y limitaciones del proyecto.
+ Equipo de trabajo y, en su caso, métodos de selección de los expertos que van a participar.
+ Necesidades de personal, de tiempo y de presupuesto, para llevar a cabo la evaluación.
+ Estrategia de difusión del informe una vez elaborado.
+ Recopilación bibliográfica preliminar.


La elección de la metodología a emplear
Éste es el aspecto del proyecto de evaluación que más va a condicionar el resultado final y las posibles limitaciones del informe. Un informe de ETS puede utilizar un amplio rango de técnicas y métodos de análisis, algunos de los cuales se describen posteriormente en esta guía. Cada uno de esos métodos ha sido ampliamente estudiado y analizado, con sus fortalezas y debilidades. Algunos están en continuo debate y son muy controvertidos.
En muchos casos, los informes de ETS incluirán la utilización de varios métodos complementarios para la obtención de información que permita responder a las preguntas de evaluación. Por ejemplo, si el objetivo es comparar la eficiencia en un Servicio de Salud de una técnica diagnóstica nueva, A, con respecto a la antigua, o B, se puede realizar una revisión sistemática acerca de su eficacia que incluya meta-análisis. Las medidas resumen obtenidas se pueden incluir en un análisis de decisión que cuantifique el valor de las dos estrategias diagnósticas. Además, con los datos sobre los costos que ocasionan las dos técnicas se puede realizar un estudio de costo-efectividad que permita comparar su eficiencia.

Todo ello puede ser completado con un estudio del contexto local en el que se van a aplicar esas tecnologías mediante una encuesta que valore la práctica habitual y disposición al cambio por parte de los profesionales.


El estudio y consideración de la metodología más adecuada para responder a la pregunta y elaborar unas conclusiones basadas en información de alta calidad requieren, generalmente, la mayor parte del esfuerzo que se emplea en elaborar el proyecto de evaluación.
Por otra parte, uno de los aspectos clave de la planificación de los recursos necesarios para elaborar el informe es el grado de exhaustividad de la búsqueda bibliográfica. Ésta es una tarea que siempre parece inacabada y, además, tiene rendimientos decrecientes. A partir de una determinada cantidad de trabajo, cada nueva unidad de resultado obtenida requiere recursos crecientes. La decisión sobre el tiempo y recursos a emplear en la elaboración del informe debe ser valorada en función del tipo de pregunta, los objetivos del trabajo, la exhaustividad necesaria para responder a la pregunta o los recursos disponibles.
Tras la presentación del proyecto de evaluación se debe convocar una reunión entre los solicitantes y los evaluadores para discutir y aprobar el proyecto. En cualquier caso, la realización del proyecto debe ser un proceso flexible y abierto a la modificación y valoracióncontinuas45.


  1. Búsqueda de la información

La búsqueda exhaustiva y sistemática de la información requerida por las preguntas de evaluación constituye la base de todo informe de ETS. En los últimos tiempos, a la vez que han progresado los sistemas de identificación bibliográfica, acercándose a la exhaustividad a través de las búsquedas sistemáticas, ha aumentado exponencialmente la cantidad de información médica, de tal manera que estar actualizado cada vez cuesta más esfuerzo; es lo que se ha denominado sobrecarga de información, information overload46. Hace trece añosya se estimaba que la cantidad de artículos médicos que se publicaban al año rondaba los 2 millones en unas 2.000 revistas médicas47.


La búsqueda a través de bases de datos bibliográficas es actualmente imprescindible para realizar una buena revisión de la literatura médica. Las bases de datos electrónicas de amplia cobertura más utilizadas son MEDLINE y EMBASE, si bien el uso exclusivo de estas bases presenta limitaciones. Se ha estimado que MEDLINE sólo identifica el 30% de los ensayos clínicos randomizados y controlados en algunos temas científicos4 8. Otra limitación de las bases de datos proviene, paradójicamente, de su principal ventaja, ya que el sistema de palabras clave posibilita la identificación rápida de algunos artículos de un tema determinado pero no ofrece precisión.

Existen múltiples interpretaciones sobre qué palabras clave definen mejor un tema de investigación

y puede haber errores o inexactitudes en el proceso de elección de las palabras clave de un artículo por parte de los editores o autores. Además, hay que considerar la posibilidad de que la búsqueda esté afectada por el sesgo de publicación o por el sesgo debido al idioma del artículo.
La búsqueda a través de bases de datos bibliográficas es el mejor sistema para encontrar rápidamente unos pocos trabajos sobre un tema determinado, pero no permite realizar una búsqueda exhaustiva si es utilizado en solitario. Algunos estudios han estimado la capacidad de las bases de datos MEDLINE y EMBASE, concluyendo que su utilización conjunta mejora mucho la capacidad de identificación de literatura y la precisión de la búsqueda.

La base de datos americana, MEDLINE, es más accesible y menos costosa, pero se ha estimado que el solapamiento, o sea, los resultados comunes entre los dos sistemas de búsqueda, es de un 34%, con lo que la mayoría de los artículos sólo están en una de las dos bases de datos49.


La estrategia de búsqueda es un paso clave, y a la vez complejo, que merece un tiempo importante que asegure que la revisión bibliográfica realizada para el informe sea sistemática, exhaustiva y precisa. La utilización de bases de datos electrónicas permite diseñar una estrategia de búsqueda sistemática y fácilmente reproducible, disminuyendo los sesgos.

La exhaustividad y la precisión dependen en gran parte de la selección de las palabrasclave.


Estas dos cualidades, asimilables a la sensibilidad y especificidad, generalmente son inversamente proporcionales; es decir, a medida que aumentamos la exhaustividad de una búsqueda, reducimos su precisión. El intento de obtener un número elevado de trabajos sobre un tema puede producir el denominado ruido de información, o aumento del volumen de publicaciones no relevantes para el usuario.

Por el contrario, una búsqueda que tienda a la precisión producirá el efecto contrario, silencio de información, los resultados de la búsqueda pueden omitir documentos relevantes que no se ajustan a la estrategia de búsqueda, que resulta excesivamente selectiva50. Por tanto, una buena búsqueda bibliográfica debe combinar estrategias que consigan un resultado equilibrado en exhaustividad y precisión.


Asimismo, el período de tiempo cubierto por la búsqueda y la fecha en que se realiza influyen considerablemente en el resultado final y, por tanto, deben describirse en la metodología del informe. Un sesgo habitual es el de selección de referencias o reference bias, que consiste en que habitualmente se presta mayor atención a las referencias recuperadas que apoyan las tesis de la persona que realiza la búsqueda. Para evitarlo se debe utilizar una estrategia de selección y análisis de los artículos lo más explícita posible51.
En el anexo II se presenta una relación de las principales fuentes de información útiles en ETS con su dirección o modo de acceso. Por otra parte, a continuación se clasifican las formas de búsqueda de información que deben considerarse en el proceso de elaboración de un informe de ETS31,52.

Bases de datos electrónicas. Existen multitud de bases de datos de investigaciones originales, además de MEDLINE y EMBASE, que facilitan la identificación de trabajos sobre tecnologías sanitarias. Por otra parte, en los últimos años han proliferado las publicaciones secundarias o las bases de datos sobre revisiones, entre las que destacan las que ofrece la Cochrane Librar y, que en el proceso de elaboración de informes de ETS son de consulta obligada, y a veces previa, a las bases de datos de investigaciones originales.


Informes de otras agencias de ETS. Muchas agencias se encuentran agrupadas en la red INAHTA, que promueve una base de datos con los informes de ETS realizados por sus miembros.
Fuentes de información estadística y/o administrativa. La aplicabilidad de los resultados del proceso de ETS va a depender en g ran parte de los contenidos del estudio del contexto local que todo informe debe incluir. Este estudio se nutre de este tipo de fuentes de información. La disponibilidad de registros con los que poder realizar un ajuste al medio local, permitirá dotar de mayor validez a las conclusiones del informe.
Consulta de libros o revisiones sobre el tema. En muchas ocasiones, la mejor manera de iniciar un trabajo de investigación y localizar la información más relevante y aceptada es la lectura de uno o varios libros de texto generales, continuando por un buen artículo de revisión.
Consulta en revistas especializadas. Cuando sea posible, la revisión manual de los índices de revistas relacionadas con el tema estudiado durante un período de tiempo determinado, suele contribuir a la localización de originales. Este método permite la recuperación de artículos no identificados a través de una búsqueda con palabras clave.

La inevitable subjetividad o posibles errores durante el proceso de asignación de palabras claves a los artículos hacen que las búsquedas manuales sean una valiosa herramienta. Este método, además, permite localizar las publicaciones más recientes que aún no hayan sido incluidas en las bases de datos.


Búsqueda a través de las referencias de los artículos encontrados. Es un método que suele resultar fructífero, aunque también laborioso. Una buena fuente para realizar este trabajo son las revisiones, ya que suelen presentar un gran número de citas.
Búsqueda de artículos publicados por un autor relevante. Se puede realizar fácilmente mediante

el empleo de bases de datos electrónicas. Es útil cuando se trata de autores muy significativos en determinadas áreas o disciplinas, o también cuando se estudian técnicas muy novedosas que aún no se han difundido ampliamente entre la comunidad científica.


Búsqueda en actas de congresos. Pueden ser una fuente de información muy tempranay útil sobre investigaciones recién terminadas o aún en progreso, cuya localización se ve facilitada por el desarrollo actual de bases de datos electrónicas que las incluyen.

Si bien los resúmenes de las actas de congresos generalmente son una fuente poco fiable de información, al carecer casi siempre de datos importantes, son una buena fuente de localización de autores y trabajos.


Búsqueda de literatura gris. El concepto de literatura gris es aún algo impreciso, a pesar de que su uso está cada vez más extendido. En general, se entiende por tal un conjunto de documentos de tirada limitada y circulación restringida, que no pueden obtenerse por los canales habituales de distribución. Son materiales que pueden aportar resultados de un considerable valor, tales como libros, folletos, informes técnicos de administraciones y empresas públicas o privadas, actas de congresos, tesis doctorales y otros 5 3, 5 4. Aunque su localización exhaustiva es difícil, actualmente existen bases de datos que facilitan su localización. Las sociedades profesionales y los organismos de investigación pueden ser otra interesante fuente de “información gris”.
Consulta a personas clave. La consulta a investigadores o profesionales destacados es un método de obtención de información muy útil para conseguir estudios recientes que todavía no han sido publicados o estudios antiguos que nunca llegaron a publicarse. Además, los documentos de literatura gris son conocidos por muchos profesionales que trabajan en ese campo, pero son muy difíciles de identificar mediante los sistemas de búsqueda clásicos. La consulta a personas clave es una manera muy eficaz de disminuir el sesgo de publicación. Dirigiéndose por carta a los autores de algunos de los estudios relevantes recuperados o aun grupo de expertos, enviándoles una lista de los estudios identificados y preguntándoles si conocen otros artículos o trabajos diferentes a ésos.
Solicitud de información a las casas comerciales relacionadas con la tecnología Generalmente, los primeros datos y estudios sobre una T S los realiza y conoce la industria o empresa interesada en su utilización. Las casas comerciales disponen de información que, en muchos casos, no se hará pública o es de difícil acceso y que determina la forma en la que la tecnología se introduce en el sistema.
Internet. Recientemente, el espectacular desarrollo de Internet ha posibilitado un cómodo y rápido acceso a mu chas de las fuentes de información citadas. Los buscadores de Internet facilitan la posibilidad de encontrar rápidamente información de cualquier tema, aunque en ocasiones los resultados de la búsqueda no ofrecen la calidadsuficiente.

El proceso de búsqueda de información en general se compone de tres elementos o fases sucesivas, útiles para su análisis. Son la necesidad de información, la petición de información y la estrategia de búsqueda que finalmente se diseña. Muy a menudo, la información que en verdad se necesita no coincide exactamente con la que se pide en una biblioteca o a través de otro medio. Ello se debe a que el solicitante no conoce con precisión sus necesidades, o tiene dificultades para expresarlas de una manera eficaz. La ayuda de un especialista en documentación puede ser muy útil, tanto en la definición de la pregunta como en la selección de las palabras clave y de las bases de datos o fuentes de información que se deben consultar. Existen abundantes experiencias que demuestran las diferencias, a veces muy acusadas, entre una solicitud de información según se presenta originariamente y tal como queda después de una discusión a fondo con un especialista en documentación5 5.


Para la selección de las palabras clave es útil la consulta de artículos re l evantes sobre el tema56 o la utilización de estrategias prediseñadas, filtros, para la búsqueda bibliográfica (ver anexo II). Se han publicado numerosos trabajos sobre cómo manejar MEDLINE y otras fuentes bibliográficas en la búsqueda de evidencias médicas5 7 , 5 8 , 5 9 , 6 0 , 6 1 , 6 2 , 6 3 , 6 4. Además, existen programas informáticos que facilitan la gestión de las referencias bibliográficas, como REFERENCE MANAGER6 5, PRO - CITE6 6, ENDNOTE67, SHAPIRE68.
5. Evaluación crítica y selección de los estudios identificados

5.1. La evaluación crítica de los estudios identificados
Es un paso fundamental en la elaboración de un informe de ETS, que contribuye a la identificación de sesgos y sirve de guía en la interpretación de los hallazgos. Los criterios que requieren evaluación crítica se pueden dividir en aquellos relacionados con: la validez, la precisión y las medidas de resultado de los estudios.

La validez


Un estudio es válido cuando su diseño y realización garantizan la detección y eliminación de errores sistemáticos y sesgos. Existen dos tipos de validez, interna y externa. La validez interna está relacionada con el diseño y los procedimientos de medición de variables y los métodos de análisis. Un estudio tiene validez interna cuando representa o mide aquello para lo que ha sido diseñado. En ese caso, los resultados serán atribuibles a los factores que el estudio ha tenido en cuenta, además del error aleatorio6 9. El significado del término validez interna se relaciona con los conceptos de exactitud, fiabilidad y reproducibilidad

.

La validez externa de un estudio es la potencialidad de generalización de sus resultados a personas o poblaciones distintas a los sujetos del estudio. Depende de aspectos relacionados con el diseño del estudio, como el muestreo o las características de la población estudiada, los cuales presentan mayor dificultad de control que los condicionantes de la validez interna69.


Los puntos a considerar en el análisis de la validez de un estudio son diversos. Por ejemplo, puede analizarse la asignación aleatoria, por si se detecta el empleo de métodos de seudoaleatorización. Éstos se dan cuando el inve stigador conoce previamente la probabilidad de asignación de un tratamiento u otro, y disminuye de forma considerable la calidad del estudio.

Entre estos métodos se encuentran, por ejemplo, la asignación alterna, la asignación según el día de nacimiento o según el orden numérico que supone cada paciente. También pueden analizarse las características de los grupos de comparación. La comparación entre grupos separados en el tiempo, por ejemplo con controles históricos, tiene menor validez que la comparación entre grupos simultáneos.También, los estudios retrospectivos y los no controlados, en general, tienen menos validez que los prospectivos y los controlados.

En resumen, son variados los aspectos relacionados con la validez que deben analizarse, y se pueden clasificar en aquellos relativos a la metodología del estudio, a los participantes y a la tecnología45.
El análisis de la validez es el aspecto que mejor valora la calidad de los estudios y, por tanto, de las evidencias científicas. Éstas deben fundamentar las recomendaciones de todo informe de ETS, relacionando la fuerza de la recomendación con el grado de calidad de la evidencia científica. No es posible establecer una recomendación muy relevante y/o trascendente a partir de evidencias de baja calidad.

Por ello, es importante que después de la valoración crítica de los estudios se clasifiquen las evidencias proporcionadas por éstos según el grado de su calidad científica.

La precisión
Un concepto importante que no debe ser confundido con la validez es la precisión. Ésta es una medida del error aleatorio que puede afectar al resultado de un estudio, y que generalmente se representa a través del intervalo de confianza de la estimación del efecto.

En algunos casos se incluye entre los criterios que ponderan los estudios sintetizados en un meta-análisis, dando más peso a los estudios más precisos70.

Las medidas de resultado
El último de los tres criterios, aunque no el menos importante, abordado anteriormente en la sección “Definición de las preguntas de evaluación”, se convierte, muchas veces, en el criterio más determinante para la selección de los artículos identificados.

Los cuestionarios o esquemas de análisis crítico


Estos esquemas, o checklists, son útiles para ordenar los aspectos a incluir en la evaluación crítica de los estudios identificados. Proporcionan un método más objetivo de análisis que la simple lectura crítica, aunque nunca evitan ésta. Presentan los problemas típicos de cualquier cuestionario, la variabilidad inter e intra observador y otras limitaciones que pueden disminuir su fiabilidad y reproducibilidad, aspectos que deben ser evaluados si se utilizan7 1 , 7 2. En ese caso, es importante que se describan claramente en el informe final; esto mejora la fiabilidad y reproducibilidad de las conclusiones. Existen multitud de cuestionarios o tablas de análisis para la evaluación crítica de estudios, algunos de los cuales se han recopilado y resumido en el anexo III.

Limitaciones


Una de las limitaciones más relevantes y de difícil manejo en todo proceso de revisión de la literatura científica es el sesgo de publicación. Consiste en la tendencia a publicar más los estudios con datos positivos, estudios considerados relevantes por el autor o por el editor de la revista. En este último caso el sesgo se denomina sesgo del archivador. En otros casos, se observa que el tipo de revista determina la publicación o no de determinados artículos con datos negativos, o sea, datos que demuestran la ausencia de efectividad de una tecnología. Este tipo de artículos son excluidos de algunas revistas muy especializadas que prefieren divulgar sobre todo investigaciones

sobre los avances en determinadas técnicas.


Se han realizado varios trabajos que exploran la repercusión potencial de los diferentes sesgos de publicación que existen, y concluyen que este sesgo puede limitar gravemente la validez de las revisiones bibliográficas73, 74,75,76,77. El registro prospectivo de ensayos clínicos es, por el momento, la única estrategia difundida que puede ser considerada efectiva en la lucha contra este sesgo 78,79 ,80.
Otra de las dificultades que surgen en la evaluación crítica de los estudios es la presentación inadecuada de los métodos y resultados.

A veces, se observa la ausencia de datos imprescindibles para la lectura crítica del artículo; por ejemplo, cuando sólo se describe el número de pacientes intervenidos pero no el número de intervenciones totales que se han realizado. Se podría suponer que si no se ofrecen datos adicionales es porque los datos del número de pacientes coinciden con los del número de interven ciones, pero no siempre es así.


Existen métodos para estimar esos datos inexistentes, aunque es necesario realizar algunas asunciones cuyo impacto en los resultados debería ser estudiado mediante un análisis de sensibilidad. En resumen, no existe ninguna solución sencilla para el problema de los datos ausentes, pero se aconseja adoptar una serie de precauciones: siempre se deben describir las asunciones que se realicen, debe realizarse un análisis de sensibilidad que valore los cambios que distintas asunciones producen en los resultados, y, siempre que sea posible, se debe intentar obtener datos adicionales a los ofrecidos en los artículos, contactando directamente con el autor del trabajo82, 83,84.

1   2   3   4   5   6   7   8


La base de datos está protegida por derechos de autor ©absta.info 2016
enviar mensaje

    Página principal