Revista Cubana de Medicina Intensiva y Emergencias. Volumen. 15, 2016;(2)
Valor pronóstico del Modelo Probabilidad de Mortalidad II (MPM II) en pacientes ventilados
Prognostic value of the Mortality Probability Model II (MPM II) in ventilated patients
Anabel Hernández Ruiz1, Rebeca Iracema Delgado Fernández2, Yoidanys Valdez Gil3, Jorge Arístides Vinent Llorente4, Luis Mayor González5, Antonio Suárez Cabrera6
Hospital General Docente “Joaquín Albarrán”. La Habana. Cuba.
RESUMEN
Introducción: El Modelo Probabilidad de Mortalidad II (MPM II) es una escala pronóstica dinámica a lo largo de la evolución clínica.
Objetivo: Evaluar el valor pronóstico del MPM II en pacientes ventilados.
Método: Se realizó un estudio descriptivo, prospectivo, en los pacientes ingresados en el servicio de Cuidados Intensivos del HDCQ “Joaquín Albarrán Domínguez” que recibieron ventilación mecánica durante el año 2014.
Resultados: De los 286 pacientes incluidos en la investigación fallecieron 119 para una tasa de 41.6 por ciento. El área bajo la curva de COR fue de 0,742 para el MPM II
Conclusiones: Ninguno de los modelos consiguió una calibración adecuada. Los MPM II24,72h presentaron mejor poder discriminante. El MPM II no fue una buena herramienta para evaluar a pacientes ventilados.
Palabras clave: Escalas pronósticas; Ventilados; MPM II
ABSTRACT
Introduction: The Mortality Probability Model II (MPM II) is a prognostic dynamic scale through the clinical evolution.
Objective: To evaluate the prognosis value of MPM II in ventilated patients.
Method: A descriptive, prospective trial was carried out in the patients entered in the Intensive Care Service of the HDCQ Joaquín Albarrán Dominguez who received mechanical ventilation during 2014.
Results: Of the 286 patients included in the investigation 119 died for a rate of 41.6 percent. The area under COR curve was of 0,742 for the MPM II24 and 0.778 for the MPM II48 and because of this there is not an appropriate discrimination. These models presented high sensibility and negative predictive acceptable values, however the positive predictive value was low and so was specificity. The MPM II24,72 had an area under the curve respectively of 0,826 and 0.969 establishing an adequate discriminate power in both models.
Conclusions: None of the models got an appropriate calibration. The MPM II24,72 presented better discriminate power. The MPM II turned out not to be a good tool to evaluate ventilated patients.
Key words: Score predict; Ventilated; MPM II
INTRODUCCIÓN
Los sistemas pronósticos, se basan en evaluaciones cuantificables, sobre la base de distintas variables seleccionadas para pacientes críticos y cuya primera intención es la predicción de la mortalidad.1 Es evidente que los sistemas de estimación pronóstica tienen una validez limitada en el tiempo. A medida que el desarrollo de la Medicina Intensiva y la capacidad de atención al paciente crítico mejoran, la fiabilidad de los distintos sistemas parece resentirse, y se da la paradoja que con el paso del tiempo nuestra capacidad asistencial parece ser “mejor” porque los valores de las tasas estandarizadas de mortalidad (resultado real frente a predicción teórica) disminuyen, alejándose del 1.
Esta es una falsa impresión respecto a la fiabilidad de los sistemas de estimación pronóstica. Lo que sucede es que nuestra prestación asistencial mejora en calidad, y al evaluarla mediante sistemas diseñados años atrás, éstos funcionan menos ajustadamente, por tanto, no se puede considerar ningún sistema pronóstico como terminado.2
El sistema Modelo Probabilidad de Mortalidad (MPM), fue desarrollado por Lemeshow y colaboradores en el año 1985, su última versión fue presentada en el año 1993, denominada MPM II. Inicialmente incluyó dos modelos, MPM II-0 y MPM II-24, para estimar la probabilidad de mortalidad hospitalaria en el momento de ingreso en la Unidad de Cuidados Intensivos (UCI) y a las 24 h de estancia, respectivamente, ya en el año 1994 se desarrollaron dos modelos adicionales, MPM II-48 y MPM II-72, para las 48 y las 72h.3
El MPM involucra 15 variables que intervienen en la ecuación de predicción de mortalidad y están agrupadas en variables fisiológicas, de diagnóstico de enfermedades crónicas, de diagnóstico de enfermedades agudas, de admisión, edad, de necesidad de Resucitación Cardiopulmonar (RCP) y del uso de la ventilación mecánica. Salvo la edad, todos sus valores son dicotómicos.4 Algunos prestigiosos hospitales del orbe han validado el MPM II demostrando la utilidad del sistema en pacientes gravemente enfermos, mostrando que resulta útil para la evaluación inicial de estos pacientes, permite reevaluaciones con un alto valor predictivo real con poco margen de error (entre 3 - 5 %).5-7
Nuestro país, también ha enriquecido la literatura científica con trabajos sobre este sistema, donde compara la certeza de las predicciones de mortalidad hospitalaria de la secuencia de modelos MPM II al ingreso, a las 24, y a las 48 horas de ingreso con la de las predicciones obtenidas a partir de los modelos APACHE II y SAPS II.8-10 Dentro de los pacientes gravemente enfermos, son de especial atención los que requieren ventilación mecánica artificial, pues es conocida la elevada incidencia de complicaciones y de letalidad.
Motivados por la búsqueda de herramientas que nos permitan evaluar la evolución, mortalidad, así como la calidad de la asistencia médica en los pacientes sometidos a ventilación mecánica, se decidió realizar el estudio cuyo objetivo principal fue evaluar la efectividad pronóstica del MPM II en pacientes ventilados en la Unidad de Cuidados Intensivos del Hospital Docente Clínico Quirúrgico (HDCQ) Joaquín Albarrán Dominguez, durante el año 2014.
MATERIAL Y MÉTODO
Tipo de estudio y pacientes: se realizó un estudio descriptivo, longitudinal prospectivo, en la Unidad de Cuidados Intensivos del HDCQ “Joaquín Albarrán” en el período comprendido entre el 1ro de enero y el 31 de diciembre del 2014. El universo estuvo conformado por los 286 pacientes que recibieron ventilación mecánica invasiva, coincidiendo con la muestra.
Criterios de inclusión: Todos los pacientes que ingresaron en UCI que requirieron ventilación mecánica desde su ingreso o durante su estadía por más de 24 horas, así como la disponibilidad de toda la información necesaria para el llenado del MPM II.
Criterios de exclusión: Reingresos en la propia UCI en un periodo < 72 horas. Pacientes ventilados remitidos de otras unidades de cuidados intensivos con más de 24 horas de evolución en la misma. Diagnóstico de muerte encefálica al ingreso.
Atención a los pacientes y aplicación de la escala: Para la recolección de la información se confeccionó una planilla de vaciamiento de datos donde se anotaron las variables de estudio: estado al egreso, mortalidad estimada, mortalidad esperada, especificidad, sensibilidad. Se anotaron además las 15 variables que intervienen en la ecuación de predicción de mortalidad y están agrupadas de la siguiente forma: variables fisiológicas, de diagnóstico de enfermedades crónicas, de diagnóstico de enfermedades agudas, de admisión, edad, de necesidad de resucitación cardiopulmonar (RCP) y del uso de la ventilación mecánica. Dicha información fue recogida antes de las 24 horas de ingreso, 48, y 72 horas, respectivamente.
Análisis de los datos: El total de variables de cada modelo multiplicadas por su respectivo coeficiente, se suma como de un polinomio del tipo:logit = ß0+ ß1X1+ ß2X2+ ß3X3+ ß4X4+... + ßkXk. El valor de la probabilidad individual de muerte, Pr, expresado en tanto por 1, viene dado por la fórmula11 (Pr = elogit / 1 + elogit).
MPM II-0: Consta de 15 variables fácilmente obtenibles, agrupables como:
- Fisiológicas: coma o estupor profundo. Frecuencia cardiaca > 150 lpm. Presión arterial sistólica< 90 mm Hg.
- Diagnósticos crónicos: insuficiencia renal crónica. Cirrosis. Neoplasia metastásica.
- Diagnósticos agudos: fracaso renal agudo. Arritmia cardiaca. Accidente cerebrovascular. Sangrado gastrointestinal. Efecto masa intracraneal.
- Otros: edad, resucitación cardiopulmonar previa al ingreso, necesidad de ventilación mecánica, cirugía no electiva.
MPM II-24: El MPM II-24 consta de 13 variables, de las que 5 ya se encuentran incluidas en el MPM-0, y por tanto han sido recogidas en el momento del ingreso. Requiere la recogida de sólo ocho variables adicionales al cabo de 24 horas:
- Variables MPM II-24 necesarias a las 24 horas: coma o estupor profundo a las 24 horas. Creatinina > 2 mg/dl. Infección confirmada. Ventilación mecánica. PO2< 60 mmHg. Tiempo de protrombina > 3" por encima del control. Diuresis < 150 ml en 8 horas. Drogas vasoactivas durante más de 1 hora.
- Variables incluidas en MPM II-24 pero ya obtenidas al ingreso: edad. Cirrosis. Efecto masa intracraneal. Neoplasia metastásica. Cirugía no electiva.
Fueron examinados también los puntos de corte y la Sensibilidad (S), la Especificidad (E), el Valor Predictivo Positivo (VPP) y el Valor Predictivo Negativo (VPN). El cálculo de S y E se realizó de forma automatizada para todos los puntos de corte, aunque sólo se muestran algunos de ellos. El VPP y VPN se calcularon por teoría Bayesiana.11
Consideraciones éticas: Se respetó la integridad de los datos obtenidos para las publicaciones que se generen, así como la confiabilidad de la información; se acató y conservó en todo momento la ética hacia los pacientes. El estudio fue aprobado por el Comité de Ética de la investigación de la Institución. No tiene conflicto de intereses.
RESULTADOS
El grupo inicial de pacientes que cumplieron con los criterios para la integración al estudio fue de 286. A las 24 horas fueron evaluados 251, a las 48 horas 246 y a las 72 horas 218 pacientes. Se produjeron 9 salidas por traslado a otros servicios y por defunciones, lo que imposibilitó el cálculo del MPM II pero no su seguimiento para determinar estado al egreso. Las defunciones ocurridas dentro de las primeras 72 horas ascendieron a 59 (20.6 %) de los casos a los que no se le realizaron las tres evaluaciones ulteriores a la admisión.
De los 286 pacientes ingresados y ventilados durante el año 2014 que fueron incluidos en la investigación fallecieron 119 durante el ingreso hospitalario, para una tasa de 41.6 %. El riesgo de muerte para el grupo dentro de las primeras 24 horas fue de 9.8 %, dentro de las primeras 48 horas de 11.5 y dentro de las primeras 72 horas de 20.6 %.
Gráfico 1. Distribución de estimaciones con MPM II24h según Sensibilidad y Especificidad correspondiente para la predicción de la mortalidad.
Área: 0.826.p=0.000IC 95 %,[0.773; 0.880] Fuente: planilla de vaciamiento de datos.
El área bajo la curva fue de 0,826 asociada a una probabilidad significativa (p=0,000). (Gráfico 1.) El área fue superior al 0.8 establecido como estándar para un adecuado poder discriminante del modelo, por tanto, el modelo tuvo buen poder discriminante (el intervalo de confianza del 95 % para el área bajo la curva incluye valores inferiores al 0.8.) Para el punto de corte 50 de la probabilidad de muerte estimada se obtuvo una sensibilidad del 85.7 % con valor predictivo negativo de 85.3 %. Sin embargo, la especificidad y el valor predictivo positivo fueron bajos (59.1% y 59.9 % respectivamente). Con el punto de corte de probabilidad de muerte de 75 %, la sensibilidad bajó a 63.7 % y el valor predictivo negativo a 76,5 %, pero tanto especificidad (84.3 %) como valor predictivo positivo (74.3 %) se incrementaron notablemente.
Gráfico 2. Distribución de estimaciones con MPM II48h según Sensibilidad y Especificidad correspondiente para la predicción de la mortalidad.
Área: 0.778.p=0.000IC 95 %,[0.712; 0.844] Fuente: planilla de vaciamiento de datos.
El área bajo la curva fue de 0.778 asociada a una probabilidad significativa (p=0,000). (Gráfico 2.), por tanto, el modelo no obtuvo buen poder discriminante. Sin embargo, el intervalo de confianza del 95 % para el área bajo la curva incluyó valores superiores al 0.8. Para el punto de corte 50 se obtuvo una sensibilidad de 84.9 % y valor predictivo negativo de 84.1%, (bastante altos), sin embargo, la especificidad fue de 56.9 % y el valor predictivo positivo del 58.4 %,( insuficientes).
Para valor de corte 75 la sensibilidad cayó notablemente (60.5 %), pero se obtienen valores aceptables de especificidad (83.1%), valor predictivo positivo (71.8 %) y valor predictivo negativo (74.7 %). Estos resultados refuerzan el criterio de que el poder discriminante de este modelo no fue adecuado para los pacientes en estudio.
Gráfico 3. Distribución de estimaciones con MPM II72h según Sensibilidad y Especificidad correspondiente para la predicción de la mortalidad.
Área: 0.969.p=0.009IC 95 %,[0.950; 0.987] Fuente: planilla de vaciamiento de datos.
El área bajo la curva ROC fue elevada (0.969), (Gráfico 3.) cercana al 1, que correspondería a valores de especificidad y sensibilidad ideales. Por lo que se puede afirmar que este modelo si tuvo un buen poder discriminante entre fallecidos y vivos. Tanto la sensibilidad como el valor predictivo negativo se mantuvieron óptimos para los puntos de corte 25, 50 y 75 de probabilidad de mortalidad según el MPM II72h, en tanto los mejores valores de especificidad (78,5 %) y valor predictivo positivo (76.8 %) correspondieron al punto de corte 75 %. Todo esto prueba el alto poder discriminante del modelo.
DISCUSIÓN DE LOS RESULTADOS
Como se puede apreciar en el presente estudio, la mortalidad observada en pacientes ventilados fue elevada (41.6 por cada 100 pacientes ventilados), si tenemos en cuenta las cifras reportadas en la literatura internacional como es el caso de Argentina 28 %, Estados Unidos 19.7 %, Japón 17 %, Reino Unido 27 %.11
Algunas investigaciones han reflejado que las cifras de mortalidad en pacientes sometidos a ventilación mecánica invasiva varían en relación a la edad, como la realizada en 13 UCIs de España, cuyas cifras se modificaron de 33,6 % en pacientes mayores de 65 años a 25,9 % en menores de dicha edad.12 A nivel nacional, algunas investigaciones muestran cifras superiores como fue el estudio del Hospital Carlos J Finlay (54 %)13 y en la unidad de cuidados intensivos del Hospital de Morón (57 %)14, no obstante en Cuba las cifras de mortalidad oscilan entre el 25 y el 30 %.13-15
De los 4 modelos, el que obtuvo los mejores resultados en la discriminación de los casos con probabilidad de muerte en el punto de corte 50 fue el MPM II 72 h, con valores ideales de sensibilidad y valor predictivo positivo (100 %) y los más altos de especificidad (62 %) y de valor predictivo positivo (65.2 %). El resto de los modelos obtuvo alta sensibilidad y valores predictivos negativos aceptables, sin embargo el valor predictivo positivo fue bajo y la especificidad también. En particular, el modelo MPM II 24h tuvo muy baja especificidad en este punto de corte.
Por tanto, se demuestra que el MPM II aplicado a pacientes con ventilación mecánica invasiva no obtiene buenos valores para la discriminación en las primeras horas, sin embargo a partir de las 72 horas si se adquiere un buen poder discriminante, hecho que pudiera estar relacionado a la poca heterogeneidad de la muestra y tamaño de esta, aunque hay que tener presente que a partir de este tiempo de evolución hay una disminución de la mortalidad.
En la literatura consultada no hay coincidencia con estos resultados, pues se supone que MPM II24h proporcione una estimación de la probabilidad de mortalidad hospitalaria antes de que comience el tratamiento en la UCI, y ello sería útil para evaluar el rendimiento de la UCI y para estratificar, pero en el presente estudio se evidencia que los peores valores de discriminación están en esta evaluación. Otros autores indican que según se perfecciona el modelo, es capaz de lograr 100 % de sensibilidad y especificidad, independientemente de los puntos de corte. El área bajo la curva de COR tiende hacia 1; pero según el rendimiento del modelo (es más al azar), dicha área tiende a 0,5.15,16
Guidet en su investigación titulada “índices de gravedad y aplicaciones en reanimación” encontró que unas predicciones de mortalidad hospitalaria MPM II ligeramente superiores a las de APACHE II y SAPS II por separado usados secuencialmente a las 24 y 48 horas. Estos resultados no coinciden con los presentados en el presente estudio, pero es importante tener presente que en el estudio Guidet usó una muestra heterogénea.17 Igualmente Ilker18 y colaboradores, constataron que los modelos SAPS, MPM II, APACHE II, fueron buenos predictores de mortalidad y útiles para la evaluación de la calidad asistencial de las unidades estudiadas.
Otro estudio de cohortes retrospectivo de 2 años, en UCI médico-quirúrgica de un hospital de tercer nivel, realizado por Sánchez19 y colaboradores con el objetivo de valorar el grado en que las escalas pronósticas son capaces de predecir la mortalidad hospitalaria, se concluye que el APACHE IV tiene la mejor capacidad discriminativa y mala calibración, el MPM II tiene una buena discriminación y la mejor calibración, en cuanto al SAPS II, mantiene la segunda mejor discriminación y una mala calibración, el APACHE II muestra unos valores de calibración y discriminación que desaconsejarían su utilización en la actualidad, mientras el SAPS III mantiene una adecuada calibración y una discriminación moderada. La valoración de estos resultados podría marcar el inicio de nuevos estudios a nivel regional/nacional en determinadas poblaciones de pacientes críticos.19,20
CONCLUSIONES
El modelo MPM II presenta la mejor capacidad predictiva de la mortalidad hospitalaria cuando establece predicciones secuencialmente a las 24, 48 y a las 72 horas en pacientes ventilados. Ninguno de los modelos consiguió una calibración adecuada. Los MPM II 24,72h presentaron mejor poder discriminante. El MPM II resultó no tener valor pronóstico como herramienta confiable para evaluar solamente a pacientes ventilados.
REFERENCIAS BIBLIOGRÁFICAS
- Reverón F, Sánchez A, Zamora A, Pérez E. Utilización del Modelo de Probabilidad de Mortalidad II (MPM II) en un grupo de pacientes críticos. Medisan. 2001 [citado 14 febrero 2015]; vol. 5, (4): 18-25. Disponible en: http://hdl.handle.net/10486/11220
- Mas Font S, Abizanda R. Actualidad y reto de los sistemas de estimación pronóstica en pacientes críticos. Medicina Intensiva. 2006 [citado 14 febrero 2015];vol.30,(3):93-94. Disponible en www.revmie.sld.cu/index.php/mie/article/view/50/120
- García M, Sánchez G, Malpica B, Martínez M, Mayoral G, Andériz O. (2012). NEMS: ¿nuevo predictor de mortalidad en el paciente crítico?. Enfermería intensiva, 23(3), 115-120. Disponible en: http://www.sciencedirect.com/science/article/pii/S113023991200020X
- Higgins TL, Teres D, Copes WS, et al: Assessing contemporary ICU outcome: An updated mortality probability admission model (MPM0-III). Crit Care Med 2007; 35:827–835.
- Bohensky M, Jolley D, Sundararajan V, Pilcher D. Prognostic models based on administrative data alone inadequately predict the survival outcomes for critically ill patients at 180 days post–hospital discharge. Journal of Critical Care. 2012; 27, 422.e11–422.e21.
- Dossett LA, Redhage LA, Sawyer RG, May K. Improved risk stratification in critically injured. Injury 2010; 40(9): 993-8.
- Breslow MJ, Badawi O. Severity scoring in the critically ill: part 1—interpretation and accuracy of outcome prediction scoring systems. Chest 2012; 141(1): 245-52.
- Tamargo O, Jiménez E., Álvarez M, Terry O. 2013. Utilidad del Índice de gravedad de servicios clínicos del Hospital Hermanos Ameijeiras. Revista Cubana de Salud Pública, 39(1), 4-18. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S086434662013000100002
- Tamargo O, Jiménez E, Terry O, Álvarez M. Validación del Índice de gravedad de servicios clínicos en neurología, Hospital" Hermanos Ameijeiras. Revista Cubana de Salud Pública. 2013; vol 39(3), 426-439. Disponible en: http://scielo.sld.cu/scielo.php?pid=S086434662013000300002&script=sci_arttext&tlng=pt
- Muguercia M.L, Alfonso J.L, Pérez D.O,Rojas, Á.R. Valoración de una escala de disfunción multiorgánica como pronóstica de mortalidad en una terapia intensiva. Rev Cub Med Int Emerg 2014;13(4):425-439. Disponible en: www.revmie.sld.cu/index.php/mie/article/view/50/120
- Teres D, Lemeshow S, Haris D. Mortality prediction model (MPM) for ICU patients. Probl Crit Care 2008; 3(7):585-90.
- Añon J.M, Gómez-Tello V, González E, Córcoles V., Quintana M, de Lorenzo A.G, López-Martínez J. Pronóstico de los ancianos ventilados mecánicamente en la UCI. Medicina intensiva. 2013; Vol. 37(3), 149-155. http://linkinghub.elsevier.com/retrieve/pii/S0210569112001428?via=sd
- Gutiérrez L, García MH, García A, Díaz JE. Mortalidad y readmisión en la unidad de cuidados intensivos. Revista Cubana de Medicina Militar, 2014; vol. 43, no 2, p. 196-205. Disponible en: http://scielo.sld.cu/scielo.php?pid=S013865572014000200008&script=sci_arttext
- Rojas C.A, Martínez I, Morales J. C.Mortalidad en pacientes ventilados en la unidad de cuidados intensivos del Hospital de Morón. Mediciego, 2012. 18 (supl.1). Disponible en: http://www.medigraphic.com/pdfs/mediciego/mdc-2012/mdcs121o.pdf
- Toimil A.L, Jiménez R, Díaz R.S. Valoración del APACHE II inicial como predictor de mortalidad en pacientes ventilados. Revista Cubana de Medicina Intensiva y Emergencias. 2013; vol. 9(3), 3. Disponible en: http://www.bvs.sld.cu/revistas/mie/vol9_3_10/mie02310
- Mata J. Escalas pronósticas en la unidad de terapia intensiva. Revista de la Asociación Mexicana de Medicina Crítica y Terapia Intensiva, 2012, vol. 25, no 4, p. 234-241. Disponible en: http://www.medigraphic.com/pdfs/medcri/ti-2012/ti124h.pdf
- Guidet B, Aegerter P. Índices de gravedad y aplicaciones en reanima-ción. EMC – Anestesia - Reanimación. 2009, vol. 35, no 2, p. 1-11. Disponible en: http://www.sciencedirect.com/science/article/pii/S1280470309704530
- Ilker I, Mehmet K, Mehmet A, Aysenur D, Fesih K, et.al. Study of effectiveness of the SAPS II-III, APACHE II-IV and MPM II scores in the determination of prognosis of the patients in reanimation intensive care unit. Acta médica mediterránea. 2015; vol 31(1), 127-131. Disponible en: http://www.actamedicamediterranea.com/medica/2015/med2015_pag-127-131.pdf
- Sánchez M, Hostigüela V.A, Raigal A, Labajo L, Gómez V, Alonso G, et.al. Escalas pronósticas en la disfunción multiorgánica: estudio de cohortes. Medicina Intensiva. 2015. Disponible en: http://www.sciencedirect.com/science/article/pii/S0210569115000790
- Sarmiento X, Guardiola J, Roca J, Soler M, Toboso M, Klamburg J, et.al. Evaluación de eficiencia asistencial en UCI. Medicina intensiva. 2013; vol. 37(3), 132-141. Disponible en: http://www.sciencedirect.com/science/article/pii/S0210569112001167
2Médico Especialista de I grado en Medicina General Integral y Medicina Interna. Diplomado en Cuidados Intensivos. Profesor Auxiliar. Investigador agregado. E-mail: rebecairacemad@infomed.sld.cu
3Médico Especialista de I grado en Medicina General Integral y Medicina Intensiva y Emergencias.
4Médico Especialista de I grado en Medicina General Integral y Medicina Intensiva y emergencias. E-mail: jorge.vinet@infomed.sld.cu.
5Médico Especialista de I grado en Bioquímica. Máster en Ciencias de Laboratorio Clínico. Profesor Auxiliar. E-mail:luismayor@infomed.sld.cu
6Médico Especialista de I grado en Angiología y Cirugía Vascular. Profesor Auxiliar. E-mail: asuarezc@infomed.sld.cu
Los autores declaran haber contribuido de manera equitativa al desarrollo de la investigación y la preparación del manuscrito original. No declaran conflicto de intereses.
- Recibido: 24 de enero de 2016
- Aprobado: 13 de marzo de 2016
Enlaces refback
- No hay ningún enlace refback.
Copyright (c)