Guia para la elaboracion de informes de evaluacion de tecnologias sanitarias



Descargar 0,61 Mb.
Página3/8
Fecha de conversión24.09.2017
Tamaño0,61 Mb.
1   2   3   4   5   6   7   8

5.2. Selección de los estudios
Las decisiones sobre cuáles son los estudios que se incluirán en el informe de ETS son difíciles y muy relevantes. No es fácil discriminar todos los artículos con la misma objetividad; además, la exigencia de una descripción clara en el informe de los criterios utilizados para esa selección, aunque mejora la reproducibilidad y rigor de las conclusiones, en algunos casos produce una valoración demasiado rígida e incluso ilógica. Se han propuesto diversas formas para llevar a cabo el proceso de selección de estudios31:
• Estableciendo unos criterios umbrales para la inclusión o exclusión de estudios, que puede seguirse de un análisis de sensibilidad de los criterios considerados.
• Asignando pesos a cada estudio en función de criterios explícitos, para posteriormente incluir esos pesos en el análisis cuantitativo de agregación de estudios.
• Analizando y valorando los estudios de manera cualitativa, considerando la calidad el principal criterio de evaluación.

Al igual que para los parámetros de evaluación crítica de los estudios, los criterios de inclusión y exclusión pueden atender a: valoración de la validez (metodología, características de los participantes y de la tecnología), la precisión y las medidas de resultado 8 5.


Es conveniente que los criterios de selección de los estudios estén especificados ya en el proyecto inicial. De esta manera se evitarán sesgos de selección como el de “selección de referencias”51. Es aconsejable que la selección de estudios, al igual que la utilización de cuestionarios de valoración crítica, se haga por varias personas y que los desacuerdos sean discutidos y resueltos. El grado de

concordancia entre los revisores puede ser valorado mediante el índice Kappa u otros índices de concordancia72,86,87.

Si son varias las personas que realizan el estudio o selección de la información, es útil que alguno de ellos sea experto en el tema o tecnología evaluada. La presencia de especialistas en la materia aporta conocimiento y criterios valiosos y consistentes, pero puede introducir a su vez sesgos, dado que los expertos generalmente tienen una opinión preestablecida.

Otro aspecto a decidir es si el proceso de selección de artículos se realiza con un método ciego para los revisores; este enmascaramiento puede ser para los nombres de los autores, instituciones y publicaciones, y para los resultados de los estudios. Algunos estudios empíricos indican que la evaluación a ciegas puede producir puntuaciones inferiores y más uniformes que las evaluaciones abiertas88.No obstante, tales evaluaciones requieren un tiempo considerable, por lo que se deben sopesar los beneficios potenciales de las evaluaciones con enmascaramiento frente a los costos ocasionados.

El proceso de decisión acerca del punto de corte entre la inclusión y exclusión de estudios puede rep resentarse como una línea continua que va desde “libre de sesgo” a “sin duda sesgado”. Existen diversos mecanismos p a ra incluir los resultados de la evaluación crítica en esa decisión Se pueden utilizar gráficos visuales de los resultados ordenados según su grado de validez. Una segunda aproximación es el análisis de subgrupos, que consiste en realizar un análisis de sensibilidad en el que se observa si cambian los resultados al incluir determinados grupos de estudios en un lado u otro del punto de corte.

Un tercer enfoque consiste en ordenar los estudios según su calidad y combinar secuencialmente los resultados de cada estudio; es un tipo de meta-análisis “acumulativo” , mediante el cual es posible examinar el impacto en los resultados globales a medida que se van incluyendo ensayos de menor calidad. Un cuarto enfoque consiste en utilizar métodos estadísticos para ponderar los estudios según su calidad o utilizar una meta-regresión para explorar la relación entre calidad y magnitud del efecto entre estudios.


El manejo de los criterios de calidad en la selección de estudios presenta otras dificultad es, ya que se sabe la elevada influencia de los criterios de calidad en los resultados de los estudios, pero no se ha medido ni se han establecido relaciones que permitan ponderar y ajustar con seguridad esos criterios.

Aunque hay estudios que han demostrado que, en general, tanto la ocultación inadecuada de las asignaciones como la ausencia de doble ciego producen sobreestimaciones de los efectos del tratamiento, en general, no es recomendable el uso amplio de las “puntuaciones de calidad” y la excesiva confianza en las evaluaciones detalladas de calidad de los estudios. Su uso no está sustentado por la evidencia empírica, puede ser lento y es potencialmente engañoso.


Un problema frecuente que se plantea a la hora de seleccionar los estudios es la duplicación total o parcial de trabajos. Para evitarlo es necesario ser cuidadoso en la revisión de los artículos, ya que es frecuente que algunos trabajos se publiquen de nuevo un tiempo después con pequeños cambios o un incremento en el número de pacientes incluidos, y que el autor no indique qué parte de ese trabajo ya ha sido publicada previamente. Por último, es recomendable que el informe final presente tablas con los estudios seleccionados y otras con los excluidos, con el objeto de que los lectores conozcan con claridad cuáles son los estudios que se han quedado fuera del análisis y por qué-

5.3. Extracción de datos de los estudios seleccionados
La ayuda de un formulario de recogida de datos, que contenga los criterios utilizados en la evaluación crítica de los estudios y los datos o resultados seleccionados cuando se definió la pregunta, suele ser beneficiosa. Los datos a extraer de los estudios se clasifican en: relativos a los resultados, a su metodología, a los participantes y a la tecnología. La definición de las unidades y medidas de resultado para el formulario de recogida de datos es una de las tareas más claves. No sólo es importante la decisión de incluir una variable de resultado, sino su tipo, y cómo se mide y trata estadísticamente.

El tipo de variable va a condicionar la técnica de síntesis de resultados a utilizar. En el caso de variables dicotómicas, los datos que se deben incluir en el formulario serán los números de personas que experimentaron el suceso en cada grupo de comparación y los números totales de personas en cada grupo. En elcaso de variables continuas, los datos que deben incluirse son el número de personas en cada grupo y la media y desviación estándar de la medida de resultado en cada grupo.

A veces, los resultados de una variable continua en algunos estudios se presentan como cambios (media de las diferencias entre mediciones pre y postintervención), y en otros estudios como resultados postintervención.
En ocasiones, los datos de una misma medida de resultado se presentan en forma dicotómica en algunos estudios y continua en otros. Por ejemplo, los resultados en las escalas de depresión pueden presentarse como una media o como el porcentaje de pacientes que estaban deprimidos en cierto período después de una intervención (una puntuación superior a un punto de corte determinado). A menudo, la información de este tipo es más fácil de comprender, y más útil para los que toman decisiones, si se expresa en forma dicotómica.

Sin embarg o, la decisión de establecer un punto de corte es arbitraria y siempre se pierde información cuando las variables continuas se transforman en dicotómicas.


Hay varias opciones para tratar de combinar datos dicotómicos y continuos. En general, es útil resumir los resultados de todos los estudios válidos y re l evantes de manera similar, pero esto no siempre es posible. En ese caso es recomendable resumir los datos en tres grupos: continuos, dicotómicos y otros datos.

Otra opción es presentar para todos los datos la media de las diferencias entre los grupos que se comparan o el log-odds-ratio31. Además, es aconsejable que las unidades se estandaricen para que la comparación entre los estudios sea fácil y que se presenten en unidades naturales que son de comprensión más intuitiva.


Un formulario de recogida de datos debe ser completo pero manejable. Es fácil caer en un exceso por asegurar que la información que se recoge es suficiente. La elaboración de unas instrucciones para la utilización del cuestionario, el entrenamiento de los recopiladores de información y la realización de una prueba piloto que aseguren la validez y precisión de los datos obtenidos son convenientes. La prueba piloto se realizará en una muestra representativa de los estudios identificados y sus resultados pueden aconsejar la modificación de alguna parte del cuestionario.
En todo proceso de obtención de datos se deben tomar una serie de medidas encaminadas a asegurar la fiabilidad y precisión, así como estudiar la concordancia entre las interpretaciones de los diversos recopiladores de datos, asegurar una codificación discriminante pero a la vez manejable o realizar un control de calidad de los posibles errores en cualquiera de las fases del proceso de extracciónde datos. La extracción de datos puede ser aconsejable que se realice por varias personas, estableciendo previamente el sistema de consenso que se utilizará y analizando posteriormente la concordancia entre observadores.
El grado en que diferentes personas coinciden en los datos extraídos de un estudio se corresponde con la fiabilidad del cuestionario. No hay un estándar fijo sobre el nivel de fiabilidad adecuado o sobre cómo evaluar la fiabilidad. Sin embargo, es importante que se analice en todo el proceso de recogida de datos. Por ejemplo, si después de alcanzar el consenso en los primeros estudios los observadores detectan o muestran frecuentes discrepancias en datos específicos, probablemente sea necesario modificar las instrucciones de codificación. Si aparecen cambios frecuentes en la forma de codificar por parte del mismo observador, denominado coder drift o cambio temporal en la forma de codificar la información, posiblemente sea necesario volver a codificar o incrementar el entrenamiento.


6. Estudio del contexto local
Entre la información fundamental que debe incluir un informe de evaluación está la referida a la situación del medio en el que se aplica o se va a aplicar la tecnología. La utilidad de un informe de ETS se maximiza si se ofrece una va l o ración adaptada a las condiciones locales en las que se encuentra el usuario de latecnología o re c eptor del informe. Si los datos y conclusiones ofrecidos por el informe son aplicables al medio del que forma parte el lector, el informe ofrecerá confianza e interésa éste y será más fácil conseguir el efecto finalque busca la ETS: influir en la toma de decisiones relacionadas con la T S. El estudio del contexto local es especialmente necesario si el carácter de la pregunta va orientado a conocer el uso apropiado de una tecnología o su impacto en una determinada organización o ámbito.
Evaluar el impacto local de una TS u ofrecer información que sitúe la evaluación en un contexto determinado es un elemento específico de las organizaciones que hacen ETS, a diferencia, por ejemplo, de aquellas dedicadas a la realización de revisiones sistemáticas. La valoración de la validez externa o generalizabilidad de las conclusiones de los informes de ETS está íntimamente relacionada con el análisis del contexto local que incluya el informe.

El marco de desarrollo de los estudios (atención primaria, especializada, población general ) , los criterios de inclusión y exclusión de sujetos en los estudios, las características de la intervención, pueden orientarnos sobre el grupo de población y condiciones locales de aplicación de la tecnología. Las características de la población, la prevalencia y distribución de la enfermedad, el nivel de recursos y tipo de sistema sanitario, la percepción y preferencia de los pacientes y de los profesionales, condicionan la aplicabilidad y efectividad de una determinada tecnología que ha demostrado ser eficaz en determinadas condiciones ideales. Por ello, resulta fundamental añadir a la revisión y búsqueda de evidencias un análisis contextualizado que facilite latoma de decisiones sobre la adquisición o desarrollo de la TS.


El estudio del contexto local puede enfocarse de dos formas, descriptiva o analítica. El enfoque descriptivo consiste en ofrecer información re l evante sobre la utilización actual o futura de la tecnología o sobre las posibles consecuencias de la implantación de esa tecnología basada en datos de otros estudios o registros sanitarios diseñados para otro fin. El enfoque analítico consiste en realizar un estudio con datos primarios que evalúe la utilización o implantación de la tecnología en el medio elegido. Este enfoque ofrece mayor calidad que el descriptivo, ya que la información se recoge in situ en el mismo ámbito local de la evaluación, y representa una metodología evaluativa muy potente, dada la enorme validez y aplicabilidad de sus conclusiones.
Otros aspectos a considerar cuando se estudia el contexto son los aspectos legales y organizativos. Conocer la normativa legal que afecta al uso de la TS es esencial para valorar la introducción de ésta en el sistema sanitario o para la elaboración de recomendaciones sobre su uso apropiado o su regulación. En otros casos resulta muy útil realizar un estudio de la normativa legal o de la situación organizativa comparando diversos países, con el objeto de evaluar la conveniencia de que el informe realice propuestas que afecten a la legislación u organización del sistema sanitario.
Por otra parte, el proceso de difusión y aplicación en la práctica de las conclusiones y recomendaciones del informe incluye la realización de actividades que produzcan efectos o motiven cambios en un medio o ámbito determinado.El éxito de esta fase de la ETS dependerá en parte del estudio del contexto local que se haya realizado. A continuación se ofrece una de las posibles clasificaciones de la información que se puede utilizar en un estudio del contexto local. Además, en el anexo II se proporciona una selección de las fuentes de información estadísticas y administrativas, útiles para la valoración del impacto local de una TS.


Tipos de fuentes de información útil para el estudio del contexto local

• Datos epidemiológicos de la enfermedad o condición clínica implicada, referidos fundamentalmente a la magnitud y distribución de ésta.


• Datos que describan la utilización actual de la tecnología y la práctica clínica habitual,a través de la información contenida en registros sanitarios, encuestas o estudios ad hoc.
• Datos sobre los costes que conllevará la utilización de la tecnología.
• Datos económicos y/o sociales de la población afectada.
• Otros datos que ayuden a responder a las preguntas de investigación en el contexto local.

7. Técnicas de síntesis de la información y otros métodos utilizados en ETS
7.1. Síntesis cualitativa y narrativa
El empleo apropiado de la metodología cuantitativa es un instrumento muy potente que contribuye a evitar muchos errores y a ajustar las interpretaciones, pero muchas veces se observan importantes limitaciones para el empleo de técnicas de integración cuantitativa de resultados. En contraste, las valoraciones cualitativas deben estar incluidas siempre en los informes de ETS. Es más, muchos de los informes sólo van a incluir una valoración cualitativa o narrativa que, situada en el contexto de la ETS, tiene que ser sistemática, exhaustiva y explícita.
A veces los resultados del empleo de una técnica estadística, por ejemplo un meta-análisis, no son discutidos con la amplitud y profundidad necesarias y no se valoran suficientemente las consideraciones referentes a la calidad de los estudios, las limitaciones de la técnica estadística o la re l evancia clínica de los resultados. La proliferación de estudios que incluyen un meta-análisis está aumentando, lo que ha llevado a que se analicen los problemas y ventajas de su utilización en medicina, advirtiendo de la peligrosidad de una excesiva confianza en ellos. Algunos autores han mostrado que, en muchos casos, los resultados de un meta-análisis no son consistentes con los de ensayos aleatorizados, controlados y de gran tamaño realizados con posterioridad. Los riesgos, complejidad, así como las limitaciones e incertidumbres acerca de las consecuencias de su uso para la obtención de evidencias científicas, han llevado a algunos autores a recomendar restricciones en su empleo.
Las razones para no emplear técnicas estadísticas de síntesis cuantitativa de resultados en medicina pueden resumirse en las siguientes:
• La excesiva heterogeneidad de los estudios y/o sus resultados.
• La falta de datos válidos y/o relevantes.
• La escasa precisión de los datos disponibles

.

• La baja calidad metodológica de los estudios.


• La inseguridad de que la agregación cuantitativa de resultados pueda contribuir a aclarar las dudas que ya existen.

Si los datos seleccionados no tienen la calidad suficiente como para ser considerados válidos, su agregación puede dar lugar a error, cuyo efecto se incrementa por la confianza que pueda tener el lector en un documento que le ofrece la mejor evidencia disponible. La difusión de información sesgada tiene peores consecuencias en mu chas ocasiones que el hecho de no difundir ninguna información. El hecho de conocer que no existen evidencias científicas sobre la contribución de una tecnología a la mejora de la salud puede ayudar en la toma de decisiones.


Todo informe de ETS debe contener, al menos, una síntesis cualitativa o narrativa que incluya una revisión bibliográfica exhaustiva y sistemática con una buena valoración crítica de los estudios identificados, un examen y descripción minuciosos de los datos de los artículos, la elaboración de tablas que resuman y comparen los trabajos, y un estudio del impacto de la tecnología en el contexto local del solicitante.
Una evaluación desarrollada únicamente mediante una síntesis cualitativa debe evitar formas de síntesis pseudocuantitativas que no presentan las suficientes garantías de calidad metodológica. Por ejemplo, se pueden cometer errores como comparar el número de estudios positivos y negativos, enfoque del “recuento de votos”, o excluir estudios con efectos pequeños pero clínicamente relevantes o estudios que presentan efectos sin significación estadística; a veces, se ponderan los estudios inadecuadamente. La valoración de la importancia de los estudios no puede hacerse subjetiamente, es necesario explicitar una serie de criterios razonados. El recuento debvotos concede igual peso a los estudios, ignorando las diferencias en su tamaño y calidad.

Todas estas formas de síntesis son metodológicamente deficientes y pueden introducir importantes sesgos, agravados por la confianza que suele producir la utilización de metodología cuantitativa.


A continuación se abordan los enfoques analíticos cuantitativos más útiles para la síntesis de resultados en ETS. El meta-análisis, el análisis de decisión y la evaluación económica son instrumentos metodológicos de gran valor en ETS que pueden usarse de forma combinada, constituyendo una herramienta de gran potencia. Algunos estudios han integrado estas técnicas en la búsqueda de medidas de resumen que obtuvieran el máximo consenso. Los métodos citados, junto con las técnicas de consenso a través fundamentalmente del juicio de expertos, deben conocerse con profundidad para la práctica de la ETS; en algunos casos se emplearán para la elaboración del informe; en otros, su uso se limitará a la lectura crítica e integración de sus resultados en la evaluación.

7.2. Meta-análisis
Es un método cuantitativo para la agregación de resultados de diferentes estudios basado en la utilización de técnicas estadísticas que posibilitan la combinación y síntesis de los datos de las diversas investigaciones, y en las que las unidades primarias de análisis son los diferentes estudios. El objetivo del meta-análisis no es únicamente la obtención de una medida que sintetice el efecto de una intervención, sino también el análisis y la valoración de las diferencias entre los resultados de los diferentes estudios. Ya en 1904 aparecen estudios que emplean este tipo de técnica, pero no fue hasta la década de los setenta en que el meta-análisis se comenzó a usar en medicina. El término meta-análisis fue acuñado por Glass y posteriormente redefinido por la Biblioteca Nacional de Medicina de Estados Unidos como sigue: “método cuantitativo de combinación y síntesis de resultados de estudios independientes (obtenidos generalmente de trabajos publicados) con el objeto de conseguir unas conclusiones o un resumen que pueda ser utilizado para la valoración de la efectividad de un tratamiento o la planificación de nuevos estudios, entre otros usos”.
Un meta-análisis estaría indicado en aquellas ocasiones en las que se desee realizar una revisión crítica con el rigor de un protocolo científico; cuando los resultados de los estudios existentes son conflictivos o no concluyentes, por ejemplo, si incluyen un número reducido de pacientes; e incluso cuando se desea detectar la evidencia existente y la calidad de la misma, identificando las lagunas en el conocimiento del área investigada.El metaanálisis se considera útil si los estudios sonde alta calidad, existe una heterogeneidad explicable y de pequeño tamaño o la obtención de una medida estimadora de un efecto clínico resulta de alta relevancia. Sin embargo, todavía no puede decirse que los beneficios de su utilización compensen los riesgos y limitaciones que presenta.
Los pasos de un meta-análisis son los siguientes:
1) Formulación de los objetivos o preguntas de investigación y establecimiento de un protocolo o proyecto que planifique el estudio.
2) Búsqueda y re c u p e ración de estudios, análisis de su calidad y selección, de acuerdo con los criterios de inclusión y exclusión especificados previamente.
3) Selección y extracción de los datos de los estudios (fundamentalmente características metodológicas y resultados)

.

4) Test de homogeneidad, que determina si es adecuado el cálculo de una medida resumen a partir de los resultados de los diferentes estudios.


5) Análisis estadístico mediante el cual se obtiene un resultado que sintetice los estudios seleccionados.
6) Análisis de sensibilidad para conocer la solidez de la medida final obtenida.

Antes de realizar un meta-análisis se deben establecer con precisión las medidas de resultados y el estadístico que se utilizarán para representar los efectos y agregarlos. Las medidas de resultados deben ser coherentes con los criterios de inclusión y exclusión de los estudios. Los estadísticos descriptores de los efectos que más se utilizan son las diferencias de tasas (mediante odds - ratio, riesgos relativos, diferencias de riesgo, reducción de riesgo y el número necesario de pacientes intervenidos para prevenir un caso, Number Needed to Treat) o las diferencias en variables continuas (mediante comparaciones de medias o comparaciones de medias estandarizadas).


La representación gráfica de los resultados de los estudios incluidos en el meta-análisis es de gran utilidad. Se han usado varios métodos gráficos, el clásico suele tener forma de pirámide o embudo. En él se representa la medida de efecto en el eje de abscisas (eje x) y a lo largo del eje de ordenadas (eje y) se sitúan los dife rentes estudios ordenados por el peso que se les haya dado. Generalmente se ponderan por el inverso de la varianza de la medida de efecto elegida o por el tamaño de la muestra.
Se han utilizado otros métodos gráficos, como el llamado odd man out, en el cual la superposición de los intervalos de confianza facilita la obtención de una región que resuma los intervalos. También se utilizan la representación de la “tendencia cronológica del efecto”, los gráficos de cajas

(box plot) o gráficos bivariados, radiales o circulares

.

Antes de realizar un meta-análisis debemos comprobar que la heterogeneidad entre los diferentes estudios que vamos a combinar se debe al azar, en vez de a factores no aleatorios, mediante la realización de un test de homogeneidad).


1   2   3   4   5   6   7   8


La base de datos está protegida por derechos de autor ©absta.info 2016
enviar mensaje

    Página principal