Para la evaluación de la calidad de la cirugía es imprescindible conocer los efectos adversos de la misma, fundamentalmente la mortalidad y la morbilidad operatorias. Un estudio previo realizado en España sobre pacientes sometidos a resección pulmonar y en el que se utilizaron bases de datos administrativas1 demostró que existen diferencias notables entre centros al comparar la mortalidad hospitalaria bruta y ajustada por riesgo. La mortalidad es una variable muy robusta en las bases de datos administrativas, ya que el fallecimiento de los pacientes siempre consta si se produce. Sin embargo, cuando se analizó la morbilidad posquirúrgica los resultados fueron de algún modo desconcertantes, ya que se encontró que en los centros con mayor mortalidad no se registraban las mayores cifras de morbilidad, como era de esperar. Este hallazgo, que podría ser debido a variaciones en las prácticas clínicas locales y en la calidad de los registros clínicos, hace pensar que el análisis de la morbilidad de grandes series de pacientes incorporados en bases de datos multicéntricas podría estar sometido a un sesgo sistemático que invalide las conclusiones.

Recientemente, Seely et al2 han propuesto la aplicación de una clasificación sistemática de la morbilidad operatoria en cinco grupos estandarizados (tabla 1) y concluyen que el uso de este tipo de clasificación facilita la comparación objetiva entre procedimientos quirúrgicos y series de pacientes, y entre cirujanos y equipos quirúrgicos diferentes. Sin embargo, aunque los autores hacen referencia al tema en su publicación, se desconoce la variabilidad interobservador a la hora de clasificar las complicaciones posquirúrgicas, lo cual sería fundamental antes de adoptar este tipo de clasificaciones para el análisis de grandes bases de datos clínicas.

En este estudio pretendemos cuantificar el acuerdo entre dos observadores independientes al clasificar las complicaciones postoperatorias en resección pulmonar.

Análisis retrospectivo de los registros de todos los paciente a los que se ha realizado una resección pulmonar anatómica (lobectomía o neumonectomía) en nuestro centro entre enero de 2007 y diciembre de 2010. Los registros se obtuvieron de una base de datos prospectiva que contiene los datos de todos los pacientes operados desde enero de 1994 hasta el momento actual. La calidad de los datos se asegura mediante dos controles de calidad realizados por un data manager, el primero en el momento de emitir el informe de alta y el segundo antes de remitir la documentación clínica al archivo general del hospital, una vez incorporados los estudios histológicos u otros que estuvieran pendientes. Las complicaciones postoperatorias se encuentran codificadas, y existe un acuerdo escrito en la unidad sobre la definición de cada tipo de complicación posquirúrgica.

Para este trabajo se ha realizado una explotación de la información contenida en la base de datos que incluye las siguientes variables: número de historia clínica, procedimiento quirúrgico principal, mortalidad a 30 días del procedimiento, complicación postoperatoria (sí/no) y tipo de complicación (hasta 4 códigos de complicaciones por paciente), y además, la necesidad de reoperación y el fallecimiento del enfermo en los 30 días siguientes a la operación. El primer firmante realizó una revisión manual de las incongruencias o datos ausentes apreciados en el listado inicial y estableció el listado definitivo, que no contenía datos ausentes ni incongruencias.

Una vez realizada la explotación de los datos, se preparó un listado de casos con sus complicaciones y los dos autores, de forma independiente, clasificaron las complicaciones en 5 niveles, de acuerdo con las definiciones presentadas en el artículo de Seely et al2. Finalmente, las dos gradaciones se unieron en un único archivo y se calculó el estadístico kappa ponderado de Cohen. Para la cuantificación de la importancia del desacuerdo se aceptaron los valores por defecto que proporciona el programa estadístico utilizado (Stata 10.1).

Se ha obtenido una serie de 499 pacientes (41 neumonectomías y 458 lobectomías). La mortalidad a 30 días es del 1% (5 pacientes, 2 post lobectomía y 3 post neumonectomía). Se han registrado una o más complicaciones en 140 casos (28%). Las complicaciones incluidas en el listado que se utilizó por los evaluadores figuran en la tabla 2.

En la tabla 3 se puede observar la clasificación por niveles de complicación realizada por los dos observadores. El valor del estadístico kappa ponderado es de 0,79 (error estándar, 0,05; p<0,0001).

El análisis de bases de grandes datos clínicas es en la actualidad un medio necesario para la mejora de la calidad asistencial, ya que permite obtener en poco tiempo datos robustos basados en grandes poblaciones de pacientes que sirven de estándar para comparar los datos de la propia institución e introducir las medidas correctoras necesarias en caso de observar desviaciones importantes3,4. Si bien es cierto que la calidad del trabajo quirúrgico no debe basarse solamente en los resultados (mortalidad y morbilidad), hasta ahora existen muy pocas iniciativas publicadas sobre el uso de otras variables, tales como la adecuación del diseño de los procesos clínicos a las mejores evidencias científicas disponibles. En cirugía torácica se ha propuesto la construcción de un índice que reúne los resultados y el diseño de procesos para la evaluación de la calidad5, pero su aplicación práctica está todavía en desarrollo6.

La clasificación de la severidad de las complicaciones propuesta por Seely et al2 parece a priori un método adecuado para estandarizar la evaluación de los resultados de morbilidad operatoria, de tal forma que la comparación entre centros tenga mayor validez. Además, introduce un concepto innovador, como es la consideración de los recursos utilizados para tratar las complicaciones.

El cálculo de índice kappa de acuerdo entre observadores es un método muy utilizado en epidemiología clínica cuando se desea cuantificar la variabilidad entre varios observadores de sucesos clínicos y es un parámetro mucho más representativo que la simple tasa de acuerdo, ya que ésta está muy influenciada por el azar7. Cuando el orden de los valores que se obtienen en la observación tiene importancia, como es el caso de esta investigación, es recomendable el uso del índice kappa ponderado, ya que no es igualmente valorable que exista discrepancia clasificando la complicación como grado 1 o grado 2, o que la discrepancia sea entre los grados 1 y 5. Aunque el uso del estadístico kappa se ha criticado por su dependencia de la prevalencia del suceso estudiado y por la subjetividad de la ponderación de las discrepancias8, se considera que un índice kappa ponderado por encima de 0,8 indica un excelente grado de concordancia entre dos observadores7. En nuestro caso, el índice kappa obtenido de 0,79 merece algunos comentarios.

Aunque sin duda este valor demuestra que existe un elevado acuerdo entre dos observadores al clasificar la severidad de las complicaciones registradas, hay que tener en cuenta que los dos observadores participamos diariamente en la discusión de los mismos casos, y que en el centro existe un acuerdo previo acerca de la definición de las complicaciones. En este contexto, el acuerdo esperado entre observadores probablemente debería ser del 100%. Es fácil suponer que, cuando se trabaje en una base de datos multiinstitucional, el grado de acuerdo a la hora de definir y clasificar las complicaciones debe ser mucho menor o, lo que es lo mismo, el esfuerzo requerido para la validez de los datos al analizar la morbilidad es mucho mayor.

El estudio que hemos presentado demuestra que, incluso entre cirujanos del mismo centro, existe un cierto grado de discrepancia en la clasificación de las complicaciones posquirúrgicas. Por lo tanto, antes de adoptar un sistema de estandarización de la clasificación de la morbilidad a nivel multiinstitucional es preciso estudiar la variabilidad e introducir las medidas correctivas necesarias para la construcción de índices de riesgo en intervenciones torácicas. Estas medidas incluirían la definición precisa e inequívoca de cada tipo de complicación y una clasificación genérica de los tratamientos requeridos para resolverlas. Solo garantizando la calidad de los datos introducidos en las bases de datos clínicas se pueden obtener conclusiones válidas9.