La PUCP en los rankings internacionales (Evolución del 2009 al 2014)

campus pucp3 Resumen ejecutivo Un análisis de la evolución de la PUCP en tres rankings internacionales de universidades (Ranking Web de Universidades – Webometrics, QS World University Ranking y SCimago Institution Ranking – SIR) permite concluir que esta ha mejorado de manera significativa en cantidad y calidad de publicaciones durante los últimos 6 años. La PUCP ocupa el primer lugar a nivel de universidades peruanas en los rankings  Webometrics® y QS University Ranking y a nivel latinoamericano se ubica actualmente en el puesto 31 y 30 respectivamente. El ranking SIR IBER (universidades iberoamericanas) mide de manera mucho más precisa la producción y calidad científica de las universidades. En este ranking, la PUCP ocupa, en términos de producción científica, el tercer lugar a nivel nacional, detrás de la Universidad Nacional Mayor de San Marcos (UNMSM) y de la Universidad Peruana Cayetano Heredia (UPCH).  Sin embargo, un análisis más fino de los diferentes indicadores bibliométricos que emplea este ranking, permite advertir que la PUCP presenta importantes fortalezas a nivel de calidad en la producción de sus publicaciones científicas en relación a las universidades antes citadas. Con la finalidad de mejorar sustancialmente en la posición de los rankings internacionales la PUCP debe impulsar en los próximos años las siguientes estrategias:

  1. Incrementar la producción científica en revistas indizadas reconocidas en bases de datos internacionales como SCImago Journal Rank (SJR), Science Citation Index (SCI), Arts & Humanities Citation Index (A&HCI).
  2. Impulsar aún más el acceso abierto (Open Access) de las publicaciones y contenidos que desarrolla la PUCP.
  3. Fortalecer la política de internacionalización de la universidad, sobre toda aquella que involucra la movilidad de profesores internacionales, la organización de eventos como congresos, seminarios, conferencias de impacto internacional, el desarrollo de convenios de cooperación como dobles diplomaturas, proyectos de investigación conjuntos, etc.
  4. Continuar con la política de incorporar investigadores jóvenes en  áreas del conocimiento que se consideren prioritarias para el país.
  5. Fortalecer las capacidades de los grupos de investigación de mayor relevancia científica.
  6. Impulsar la consolidación de redes internacionales alrededor de los grupos de investigación.

Análisis de la evolución de la PUCP en los rankings  1. Ranking Web de Universidades (Webometrics) (http://www.webometrics.info/es) Este Ranking Web (Webometrics) de Universidades proporciona la clasificación más completa y actualizada de instituciones de educación superior de todo el mundo. Es elaborado por el Laboratorio de Cibermetría (Consejo Superior de investigaciones Científicas (CSIC, España) desde 2004, cada seis meses y suministra información fiable, multidimensional, actualizada y útil sobre las universidades de todo el mundo teniendo en cuenta su presencia e impacto en la Web. En la actualidad el Ranking incluye más de 21.000 universidades con dos ediciones (enero y julio). El ranking se construye a partir de datos publicados en la web abierta (no intranets) e indizados por los motores de búsqueda. Indicadores de actividad e impacto (visibilidad web) se combinan en un indicador compuesto, y se produce una clasificación con una cobertura verdaderamente global  (Laboratorio de Cibermetría, CSIC, 2014). Este ranking no analiza únicamente la producción científica de las universidades sino que también toma en cuenta la actividad académica de su enseñanza y su impacto con el entorno a través de la transferencia de los resultados de las actividades académicas a la sociedad, medido en todos los casos a través de la actividad y visibilidad de la institución en la web. Este como todos los rankings ha ido modificando sus criterios, las fuentes de búsqueda, los indicadores y el peso específico de ellos para determinar el puntaje de cada universidad. Es por ello, que la comparación de los resultados de cada edición hay que realizarla con precaución (Laboratorio de Cibermetría, CSIC, 2014). Por otro lado, resulta difícil correlacionar la producción académica anual (o semestral) con las posiciones relativas obtenidas en cada período de análisis, debido a que la ubicación en el ranking no sólo depende de la producción académica de la universidad sino de la producción del resto de universidades en ese mismo periodo de tiempo. Tomando en cuenta lo anterior, si se analiza la evolución de la PUCP en este ranking se advierte una tendencia clara hacia mejorar en su posición relativa en América Latina (figura 1). Se ha avanzado del puesto 43 el 2009-2 al puesto 31 en el 2014-1. El resultado tan favorable obtenido en el 2010-2 (puesto 18), es uno de esos puntos que son difíciles de interpretar por las razones anteriormente expuestas. Probablemente haya estado condicionado fuertemente por factores extrínsecos a la universidad. Sin embargo, si analiza cada uno de los criterios empleados en este ranking y evaluamos los resultados al 2014-1 de la PUCP podemos concluir lo siguiente:

  • En el criterio Presencia (peso 16.7%) que analiza el número total de páginas web de la institución, se puede apreciar que la PUCP ocupa el puesto 5 en América Latina, solamente después de varias mega-universidades como la Universidad Nacional de la Plata (132,000 alumnos regulares), UNAM (220,00 alumnos), USP (92,000 estudiantes) y la Universidad Federal Rio Grande Do Sul (40,000 estudiantes). En este indicador la PUCP tiene su máxima fortaleza por el tamaño y organización de su web.
  • En el criterio Impacto (peso 50%) que analiza el número de enlaces entrantes que recibe el dominio web universitario de terceros, tanto académicos como no. A través de este criterio se pretende medir el reconocimiento al prestigio institucional, el rendimiento académico, el valor de la información, y la utilidad de los servicios que la universidad ofrece a través de sus páginas web. De acuerdo a este criterio la PUCP se ubica en el puesto 32 en América Latina.
  • En el criterio Apertura (16.7%) se reconoce el esfuerzo de la institución de crear repositorios de acceso abierto para contenidos digitales de ficheros ricos (pdf, doc, docx, ppt), y recogidos en el motor de búsqueda Google Académico. De acuerdo a este criterio la PUCP se ubica en el puesto 77 en América Latina. Aquí la UNMSM supera a la PUCP ubicándose en el puesto 46.
  • En el criterio Excelencia (16.7%) se mide la contribución de los trabajos académicos publicados en revistas internacionales de alto impacto y se consideran como tales los artículos comprendidos entre el 10% más citados de sus respectivas disciplinas científicas. Este indicador es el que mide la producción científica de calidad de las universidades. Aquí la PUCP ocupa el puesto 121 en América Latina, siendo la UPCH la que mejor se ubica entre las universidades peruanas ocupando el puesto 58. La UNMSM ocupa la posición 141.
ranking webometrics

Figura 1. Evolución de la posición a nivel latinoaméricano de la PUCP en el Ranking Web de las Universidades (Webometrics).

2. QS World University Ranking (http://www.topuniversities.com/latin-american-rankings). El QS World University Ranking es un ranking publicado anualmente por Quacquarelli Symonds (QS). Inicialmente iniciaron las publicaciones de los rankings de universidads en colaboración con la revista inglesa The Times Higher Education (THE). En el 2010 se terminó la relación de colaboración y ambas organizaciones decidieron publicar de manera independiente sus rankings usando diferentes criterios. Los rankings QS World de Universidades de la región latinoamericana inician su publicación en el 2011. La figura 2 muestra los criterios y las ponderaciones de los mismos empleados en este ranking (QS Quacquarelli Symonds Limited, 2014) Una de las características más importantes y controversiales de la metodología que emplea este ranking es el importante peso (30% del total) que le otorga a la evaluación por pares, en base a encuestas a más de 30,000 personas de 114 países, con la finalidad de determinar la reputación académica de las universidades. A diferencia de los otros rankings mundiales, que emplean datos objetivos como criterios de clasificación, este ranking emplea la percepción de los pares académicos (30%) y de los empleadores (20%) para medir la reputación de las universidades. Figura 2. Criterios empleados en el QS ranking para evaluar a las universidades de América Latina y las ponderaciones de cada uno de ellos. Figura 2. Criterios empleados en el QS ranking para evaluar a las universidades de América Latina y las ponderaciones de cada uno de ellos. La evolución de la PUCP en el ranking QS World de universidades latinoamericanas ha sido muy positiva, mejorando su posición del puesto 34 en el 2011 al puesto 23 en el 2013 (figura 3). La posición relativa en este tipo de ranking es fuertemente influenciado por la política de internacionalización de una universidad, sobre toda aquella que involucra la movilidad de profesores internacionales, la organización de eventos como congresos, seminarios, conferencias de impacto internacional, el desarrollo de convenios de cooperación como dobles diplomaturas, proyectos de investigación conjuntos, etc. Figura 3. Evolución de la posición a nivel latinoaméricano de la PUCP en el QS World University Ranking. Figura 3. Evolución de la posición a nivel latinoaméricano de la PUCP en el QS World University Ranking. 3. SCimago Institution Ranking (SIR) Iberoamérica http://www.scimagoir.com/ Este ranking es publicado anualmente por el SCImago Research Group y considera a todas las instituciones de educación superior de los países que componen Iberoamérica con al menos 1 artículo científico en el último año del quinquenio. A diferencia de los otros dos rankings antes mencionado el SIR pretende ser un marco de evaluación de la actividad investigadora de las instituciones en el mundo. Es en consecuencia un ranking que mide la actividad científica de una institución sobre la base de indicadores bibliométricos obtenidos de documentos científicos de cualquier tipo (artículos, revisiones, cartas, conferencias, etc.) indizados en la base de datos Scopus de Elsevier, B.V. Es sin duda, de los tres rankings analizados, el que mejor mide la producción científica de las universidades, de acuerdo a los criterios comúnmente aceptados en el mundo académico. Cada edición anual del ranking cubre un quinquenio de producción científica, por el ejemplo el SIR Iberoamérica 2013, abarca del 2007 al 2011. En la última edición (2014) el número de universidades iberoamericanas consideradas en la evaluación alcanzó la cifra de 1635. Los criterios que emplea este ranking se resumen en la figura 4 (SCImago Research Group, 2014). En realidad cada Universidad puede ser evaluada a través de los diferentes indicadores bibliométricos, no existe un algoritmo que relacione todos con diferentes ponderaciones y finalmente brinde un valor único por institución. Es por ello, que el análisis relativo de cada uno de los 8 indicadores brindaría al menos 8 rankings diferentes, según sea el criterio empleado. Los reportes que elabora el SCImago Research Group contienen los 8 indicadores pero el ordenamiento relativo con el que se muestra la lista de universidades se lleva a cabo teniendo en cuenta el indicador O “Overall”, que establece el total de publicaciones científicas de la institución indizadas en Scopus durante el quinquenio analizado.

Figura 4. Criterios empleados en el SIR IBE ranking para evaluar a las universidades de Iberoamérica.

Figura 4. Criterios empleados en el SIR IBE ranking para evaluar a las universidades de Iberoamérica.

La producción científica de la  PUCP puede entonces ser analizada desde la perspectiva de cada uno de estos indicadores, comparándola además con sus dos principales referentes nacionales: la UPCH y UNMSM. La figura 5 muestra por ejemplo la evolución de la producción científica global de estas tres universidades en los últimos 5 años.

Figura 5. Evolución de las publicaciones científicas indizadas en Scopus para las universidades PUCP, UNMSM y UPCH.

Figura 5. Evolución de las publicaciones científicas indizadas en Scopus para las universidades PUCP, UNMSM y UPCH.

En este primer indicador, que muestra la producción científica acumulada en el quinquenio de análisis para cada edición (año) del ranking, se aprecia en las tres universidades una tendencia continua al crecimiento de su producción científica en estos últimos 6 años.  Se observa claramente la gran diferencia cuantitativa que mantiene la UPCH respecto de la UNMSM y de la PUCP, siendo esta última la de menor producción de las tres. Sin embargo la PUCP ha venido recuperando terreno paulatinamente y mientras que en el 2009 la UPCH producía 3 artículos por cada artículo de la PUCP, en el 2014 el ratio ha descendido a 2.2. En la medida que las políticas de promoción de la investigación y de publicación científica en revistas indizadas vayan generando mayores resultados este indicador se incrementará notablemente. Dependerá finalmente de la capacidad de producción científica relevante de los investigadores y de los grupos de investigación y de cómo la universidad logra las sinergias necesarias para optimizar estas capacidades.

Figura 6. Evolución del indicador Impacto Normalizado de las publicaciones científicas correspondientes a las universidades PUCP, UNMSM y UPCH.

Figura 6. Evolución del indicador Impacto Normalizado de las publicaciones científicas correspondientes a las universidades PUCP, UNMSM y UPCH.

El siguiente indicador a analizar es el denominado IN (impacto normalizado) que señala el impacto medio de la publicación científica de la institución respecto del conjunto promedio mundial. Así un indicador de 0.8 significa que la institución es citada en promedio 20% por debajo de la media mundial. La figura 6 muestra la evolución de este indicador para las tres universidades. Aquí se puede apreciar que con el tiempo la PUCP ha ido mejorando sustancialmente su indicador de impacto normalizado, superando a la UNMSM y casi igualando el indicador de la UPCH.  Resulta claro el esfuerzo realizado por la PUCP en los últimos años por ir mejorando en la calidad de sus publicaciones. Las políticas de definir la condición de profesor investigador y su implementación brindando mejores condiciones para la investigación así como la incorporación de investigadores jóvenes al cuerpo docente a tiempo completo de la universidad están generando una producción científica de mejor calidad. Otro indicador que mide la calidad de las publicaciones es el índice %Q1 que determina que porcentaje de artículos tiene publicado una institución en las revistas con más influencia en el mundo, que son las que se ubican en el primer cuartil (Q1) del SCImago Journal Rank.  La figura 7 muestra la evolución de este indicador para las tres universidades.  Aquí se observa un claro dominio de la UPCH con más de 50% de sus publicaciones en revistas Q1, en comparación con la PUCP que presenta algo más del 30% de sus publicaciones. La UNMSM ha ido descendiendo en el tiempo de manera muy consistente pasando de 43% en el 2009 a 29% en el 2014.

Figura 7. Evolución del indicador %Q1 (alta calidad de las publicaciones científicas) correspondiente a las universidades PUCP, UNMSM y UPCH.

Figura 7. Evolución del indicador %Q1 (alta calidad de las publicaciones científicas) correspondiente a las universidades PUCP, UNMSM y UPCH.

Sin embargo, aquí es muy importante hacer una observación. Mientras que para publicaciones en el campo de la Genética existen 60 revistas indizadas en el Q1 de acuerdo al SJR (Scimago Journal Rank), para Oncología otras 60 y para Inmunología cerca de 47, para Ingeniería civil existen solamente 39, para Inteligencia artificial 30, para Física matemática sólo 10. Por otro lado, disciplinas donde la producción científica está fuertemente asociada a las condiciones particulares del entorno (arqueología, sociología, literatura, historia, etc.) tienen adicionalmente la limitante de que el número de potenciales revistas en el Q1 del SJR se reducen aún mucho más. Por ejemplo, el tema arqueología tiene 32 revistas ubicadas en el Q1, sin embargo para publicar artículos sobre arqueología peruana este número puede reducirse a menos de 10. En términos generales, hay muchas más posibilidades de publicar en las revistas más prestigiosas del mundo si los artículos provienen de los campos de las ciencias de la vida y en particular de la medicina. De las 100 revistas con mayor impacto SJR, 58 corresponden al campo de las ciencias de la vida (SCImago Lab, 2014).

Figura 8. Evolución del indicador %Exc (ratio de excelencia) de las publicaciones científicas correspondiente a las universidades PUCP, UNMSM y UPCH.

Figura 8. Evolución del indicador %Exc (ratio de excelencia) de las publicaciones científicas correspondiente a las universidades PUCP, UNMSM y UPCH.

Otro indicador que mide la calidad de las publicaciones científicas es el Ratio de Excelencia (% Exc) que indica el porcentaje de la producción científica de una institución que se encuentra en el grupo del 10% de trabajos más citados de su campo científico. Este indicador es mucho más exigente que el anterior (%Q1) y reduce la influencia de las diferencias del universo de revistas de alto impacto existentes entre áreas de conocimiento que ya se han señalado anteriormente. La figura 8 muestra los resultados para las tres universidades. Aquí se observa que a pesar que la PUCP tiene una menor producción científica que la UPCH, posee un indicador de excelencia científica muy similar a ésta. La PUCP cuenta con grupos de investigación muy competitivos y de muy alto nivel científico.

Figura 9. Evolución del indicador %Lead (Liderazgo científico) correspondiente a las universidades PUCP, UNMSM y UPCH.

Figura 9. Evolución del indicador %Lead (Liderazgo científico) correspondiente a las universidades PUCP, UNMSM y UPCH.

Ahora comparamos el indicador %Lead (liderazgo científico), que se define como el porcentaje de la producción de una institución en la que ésta es “el principal contribuidor”. Esto es, el número de trabajos en los que el “corresponding author” pertenece a la institución. Los resultados se muestran en la figura 9. Aquí se puede ver que la PUCP ha venido mejorando sustantivamente su indicador, pasando de 39.7% en el 2009 a 61% en el 2014, mientras que la UPCH alcanzó un 40.77% y la UNMSM un 43.59% el 2014. En este indicador se muestra el liderazgo de la PUCP al producir la mayor parte de sus publicaciones científicas con sus propios investigadores. Tanto la UNMSM como la UPCH tienen una mayor red científica internacional que les permite publicar como coautores artículos científicos realizados fuera de sus instituciones. Esto también podría sustentar el mayor número de publicaciones científicas que ambas universidades ostentan con relación a la PUCP. La PUCP, en consecuencia, requiere fortalecer sus redes internacionales de modo que su capacidad y calidad de producción científica se incrementen aún más en los próximos años. Si ahora juntamos los indicadores de %Exc (excelencia académica) con el %lead (liderazgo científico) tenemos un indicador mucho más exigente que indica el porcentaje de documentos incluidos en la Ratio de Excelencia en los que figura la institución como el autor principal (%EwL). La figura 10 muestra la evolución de este indicador para las tres universidades. La PUCP nuevamente lidera este indicador seguido de la UPCH y luego la UNMSM. Esto refuerza la hipótesis que la PUCP cuenta con grupos de investigación de muy alto nivel de calidad científica.

Figura 10. Evolución del indicador %EwL (Excelencia con Liderazgo científico) correspondiente a las universidades PUCP, UNMSM y UPCH.

Figura 10. Evolución del indicador %EwL (Excelencia con Liderazgo científico) correspondiente a las universidades PUCP, UNMSM y UPCH.

Como conclusión, de acuerdo a los diferentes indicadores del ranking SIR IBE, que mide la producción científica de las universidades, la PUCP si bien no tiene una producción científica tan alta como la UNMSM y la UPCH, sus estándares de calidad de la producción científica que desarrolla son incluso más altos, siendo necesario continuar con las políticas que favorezcan la producción científica de alto nivel, consolidando los grupos de investigación de mayor impacto y fortaleciendo sus redes internacionales. Referencias Bibliográficas

   

Anuncios

Acerca de carlosfosca

Profesor Principal de Ingeniería de la Pontificia Universidad Católica del Perú, Doctor en Ciencia de los Materiales por la Universidad Complutense de Madrid, especializado en el campo de la Corrosión en la República Federal Alemana, International Welding Engineer (IIW), MBA Freeman School of Business at Tulane University. Especialista en gestión estratégica de Universidades. Ha sido Director de Planeamiento y Evaluación de la PUCP durante siete años y desde el 2009 es Vicerector Administrativo de la PUCP.
Esta entrada fue publicada en Calidad Educativa, Producción académica, Rankings. Guarda el enlace permanente.