Hola, les adjunto un comentario que escribí para Mastozoología Neotropical (2011. 18(2):181-184; http://www.sarem.org.ar/mediawiki/index.php/18_2) sobre el sistema científico, como se evalúa la producción científica y como esto impacta en la comunidad académica. No es mas que mi opinión al respecto y estoy seguro que muchos no van a estar de acuerdo, pero ojala sirva para generar algún tipo de discusión. Quiero dejar constancia que este comentario representa mi punto de vista personal y no necesariamente el de la Comisión Directiva de la APA.
NÚMEROS, ÍNDICES Y CALIDAD CIENTÍFICA: ¿A LA DERIVA EN LOS MARES DEL “SISTEMA”?
En los últimos 10 años el sistema científico argentino ha recibido un importante apoyo, que se tradujo en ampliar considerablemente la cantidad de investigadores rentados, incrementar el número de becas doctorales y postdoctorales y en otorgar una mayor cantidad de subsidios. En suma, un aumento considerable del presupuesto destinado a Ciencia y Técnica, que responde a un cambio político marcado y que contrasta notablemente con la década precedente. Creo que todos los científicos de Argentina vimos esto como una buena estrategia y esperamos que los próximos gobiernos continúen con la misma tendencia. Por tal motivo, estos comentarios intentan servir de crítica constructiva que permita seguir mejorando el funcionamiento del sistema científico nacional, promoviendo la discusión y el replanteo de algunos puntos y procedimientos.
En la evaluación de proyectos de becas, ingresos a carrera, subsidios, ascensos, etc., se tienen en cuenta distintos antecedentes e información de los candidatos, como ser el proyecto, los directores, el lugar de trabajo, actividades docentes, etc. Pero un aspecto que tiene mucha relevancia (al menos a partir de las becas posdoctorales) es la producción científica publicada (i.e., trabajos publicados en revistas con arbitraje): los trabajos publicados en revistas ISI son muy determinantes a la hora de acceder a un puesto en CONICET. Durante gran parte de esta época de “bonanza”, fue relativamente fácil acceder a un puesto de investigador en CONICET, ya que con 4 ó 5 trabajos publicados en revistas ISI alcanzaba. Con el tiempo esto se ha ido modificando y la cantidad de “papers” necesarios ha ido en aumento. En muchos casos, la calidad de los trabajos y el aporte relativo del candidato parece que no fueron tenidos en cuenta. Esto ha generado en la comunidad una tendencia a la publicación de “papers” cortos, puntuales (trabajos tipo notas), o fragmentar los trabajos lo más posible generado varios “papers” pequeños, con una elevada redundancia entre sí con el afán de aumentar el número de “papers” publicados (N); teniendo un N alto uno se aseguraba la entrada y la permanencia en el sistema científico. Cabe destacar que este tipo de estrategias de publicación en muchos casos va acompañada de una notable falta de implementación y desorrollo metodológico, y un limitado alcance teórico. Con esto no digo que las notas científicas, los trabajos puntuales y acotados, o poco elaborados, no sirvan de nada y que no deban ser tenidos en cuenta, pero no puede ser que uno base su carrera científica en ellos. Esta estrategia ha funcionado en el pasado y lo sigue haciendo, varios ejemplos dan vueltas en mi cabeza, tanto del 2004-2005 como del 2011, en ciencias de la tierra y Biología. Entiendo que esta estrategia funcionó porque el objetivo político subyacente era el de incorporar la mayor cantidad posible de investigadores, dar la mayor cantidad posible de becas, ya que un N más alto podría tener un mayor impacto mediático, aunque hubiera sido preferible incorporar menos investigadores pero con más capacidad. Una vez dentro del sistema es poco probable que se cambie la estrategia de investigación es más, esta estrategia es propagada mediante la enseñanza a los becarios y a otros colegas como una fórmula para “ganarle” al sistema. El próximo paso —dentro de esta estrategia— es captar la mayor cantidad de becarios posibles, estos van a publicar algún “paper” en su momento y el director va a ser un coautor de facto de los mismos, siendo en muchos casos su aporte científico mínimo o directamente nulo. Son varios los casos paradigmáticos donde el director siempre firma los “papers” de los alumnos ¡y me he enterado de otros en donde hasta se han posicionado en primer lugar! A lo largo de los años, y el paso de los alumnos, esto genera una atrición de “papers” que infla considerablemente el N del director. claro, hay muchos casos donde el director hace aportes significativos y merece ser coautor de los “papers” de sus alumnos, pero todos conocemos que existen varios (¿muchos?) directores que exigen ir de coautores por ser directores simplemente, por haber aportado recursos a través de la obtención de subsidios, etc. Este alto N les ayuda a conseguir otros subsidios lo que genera un mecanismo de auto-alimentación positiva para el investigador, aunque negativa para la ciencia. Otra manera de inflar el N de “papers” es negociar el acceso a materiales obtenidos en trabajos de campo, tejidos para análisis de ADN, acceso a colecciones a cambio de un lugar en los potenciales “papers”. Un poco más abajo está la estrategia de hacer de secretarios, armar figuras, tablas o bibliografía a cambio de una coautoria. Este corto listado de “estrategias” no abarca todas las posibles (e.g., hacer de contraparte de grupos del exterior sin aportar mas que apoyo logístico y administrativo a cambio de coautorias), pero engloba una buena muestra. Ejemplos sobran y me imagino que cada uno puede ponerle nombres a cada uno. A la largo este camino se generan “gestores” que se encargan de manejar becarios, hacer lobby, obtener subsidios, etc., pero no científicos que escriban “papers” en serio, esto es,“papers” elaborados, con método, alcance teórico, amplios muestreos y, sobre todo, con creatividad. Me parece que este tipo de “gestores” no son necesarios, pero en caso que se piense lo contrario, ¿no sería más razonable contratar a alguien que haya estudiado para serlo? Lamentablemente, una vez que este tipo de investigadores entraron en la administración publica es poco probable que sean expulsados del mismo. ¿Cuál es el riesgo y el problema de esto? Más allá del despilfarro de recursos, si en los próximos años el sistema empieza a restringirse (menos becas y puestos de investigadores, algo que esperemos que no ocurra) podría quedar excluida gente mucho más capaz y con una mejor formación académica, por lo cual CONICET podría actuar en alguna medida como un reservorio de mediocres, con la consecuente pérdida y/o fuga de cerebros capacitados.
Por suerte, en los últimos años se ha empezado a tener en cuenta algunos otros aspectos, como el protagonismo del investigador en los trabajos que ha publicado (orden de los autores) y también mediante la separación de las revistas en indizadas (ISI) y no indizadas, o el empleo de los famosos tercios (donde las revistas son ordenadas en tres grupos de acuerdo a su índice de impacto). Lamentablemente, el uso del índice de impacto es otra forma de caer en otro número para evaluar la producción científica, pero que tiene una relación muy tenue con la calidad de los trabajos científicos. Este índice nació en el ámbito judicial de los Estados Unidos para ver cuántas veces eran citadas las leyes promulgadas y luego fue captado y adaptado para medir el impacto de revistas científicas y autores (mediante índices H o G) por el resto de la comunidad. Ha sido ampliamente aceptado por editoriales y empresas con fines de lucro, ya que es una buena herramienta comercial que les permite evaluar en qué productos conviene invertir. tanto el índice de impacto como los H y G dependen de la cantidad de citas, y lo que miden es básicamente la visibilidad de los trabajos científicos, los autores y las revistas. Abundan los análisis que muestran los distintos sesgos que conllevan y queda en claro que no miden la calidad de los trabajos, por lo que no reemplazan una evaluación cualitativa de los mismos. Un simple ejemplo: consideremos a Nature y Science, revistas que poseen índices altísimos, pero que seleccionan los artículos de acuerdo a los temas más llamativos y mediáticos (e.g., dinosaurios, mamíferos mesozoicos, por mencionar algunos en paleontología). Dudo que acepten un trabajo sobre roedores aunque los análisis y desarrollo del “paper” sea de lo mejor, ya que no se trata de un grupo mediático. Entonces, ¿qué peso tiene el factor de impacto de una revista que se maneja con criterios análogos a los canales de televisión donde gana Tinelli, o las cadenas musicales? Por tal motivo creo que el índice de impacto no debería utilizarse como una forma de considerar la calidad de los trabajos publicados, tanto para la evaluación de becas, ingreso a carrera y promociones. Tampoco me parece justo el empleo del índice H y G en estos contextos. En concreto creo que los evaluadores deberían leer los trabajos y tener en cuenta la calidad de los mismos o al menos algunos aspectos relevantes como esfuerzo invertido, tamaño de muestreos, metodología utilizada, marco teórico, validez de las conclusiones, vínculo lógico entre los resultados y las conclusiones, etc. Creo que, aun no siendo especialista de la temática evaluada, es fácil darse cuenta si un “paper” tiene mucho trabajo o si es una mera nota alargada con más tablas y figuras y con un resumen. En el campo práctico podría limitarse el análisis cualitativo a los 4-6 “papers” más relevantes que el mismo evaluado debería indicar de su producción. Esto último lo está implementando CONICET en las evaluaciones de promociones y también se usa en otras partes del mundo (e.g., Reino Unido, Alemania). De todas formas lo ideal sería poder evaluar todos los trabajos publicados por cada candidato. Esto muestra que en cierta forma, CONICET al menos, está introduciendo mecanismos que intentan medir la calidad de los trabajos científicos, sin la mediación de índices y números mágicos, al menos en algunas instancias. En otras el N (medido como más les guste) sigue ganando en ciertas instancias, e ingresa gente con 10 “papers” en revistas indizadas, pero que no demuestran que poseen una trayectoria coherente, una sólida formación en distintos aspectos (metodológicos, teóricos, etc.) y capacidad. Contrariamente, queda afuera gente con 4-5 “papers”, los cuales contienen mucho más esfuerzo, buenos muestreos, innovaciones metodológicas, buen marco teórico. En el estado actual de las cosas 10 son mas que 4-5, pero si hiciéramos una evaluación cualitativa los resultados serían otros.
Para finalizar, creo que la evaluación cualitativa de los trabajos permitiría distinguir a aquellos investigadores que trabajan en serio de aquellos que sólo funcionan como administradores y gestores y que se sostienen por tener un alto N de “papers”, donde su contribución es escasa y hasta dudosa en algunos casos. Este cambio impactaría revirtiendo la tendencia a publicar mucho, pero sin mucha elaboración, y serviría de incentivo para que las nuevas generaciones apunten a una mejor formación y a que optimicen la calidad por sobre la cantidad.
Por otro lado, es conocido que para evaluar los ascensos a los niveles más altos de CONICET (investigadores de categoría principal y superior) la formación de recursos humanos, docencia, cargos directivos y administrativos son relevantes y hasta condición sine qua non en algunos casos. Aplaudo que estas actividades sean consideradas y valoradas en las evaluaciones pero creo que no hay que sobreponderar estos aspectos por sobre la actividad principal del científico: ¡hacer buena ciencia! Creo que aun en estas últimas instancias, en la carrera científica se debe premiar e incentivar el desarrollo de buenos trabajos científicos por sobre el papel de gestor al cual el sistema parece invitar.
Cada uno sabe dónde está parado y qué papel ha asumido en este sistema, queda en nosotros aceptar o tratar de cambiar las reglas del juego de acuerdo a nuestros principios e ideales.
Francisco J. Prevosti División Mastozoología Museo Argentino de Ciencias Naturales "Bernardino Rivadavia" - CONICET Av. Angel Gallardo 470 - C1405DJR - Buenos Aires - Argentina - Tel/Fax.: (5411) 4982-0306 / 1154 / 5243 / 4494 - Int. 210 http://www.macn.secyt.gov.ar/ https://sites.google.com/site/southamericancarnivores/
1 comentario:
Querido Francisco, no puedo estar más en acuerdo con todas tus reflexiones expuestas en este editorial. Serio y consistente en tu análisis. Ciertamente yo apoyo decididamente esta forma de pensar la ciencia. Gracias por tus palabras.
Publicar un comentario