Mi primer proyecto dentro del IESA-CSIC, bajo la supervisión de José Luis Ortega Priego, es trabajar en seguir dándole forma al Proyecto SILICE. Lo hago desde diciembre de 2024 y comparto equipo de desarrollo con Adrián García García.
Descripción del proyecto
A simple vista, SILICE se comporta como un buscador web de la producción científica nacional y gran parte de nuestro empeño se centra en mejorar esa faceta de la aplicación, al menos en esta etapa. Pero la idea es ir manteniendo la información actualizada, que va a suponer un reto en si mismo, mientras sacamos indicadores que traten de cuantificar la calidad científica de las publicaciones, su autoría, organizaciones y revistas, explorando con el análisis de los datos y validando los resultados.
Personalmente es un proyecto que me motiva mucho al estar ligado de alguna manera también con el trabajo de mi mujer que se dedica a la producción científica en España y conozco parte de las fricciones que los sistemas de publicación pueden generar y como eso afecta de alguna manera a la labor investigadora.
SILICE ha tenido varias etapas e iteraciones, ahora mismo estamos haciendo un buen lavado de cara, tratando de mantener la esencia y todo el descubrimiento que ha ido haciendo el equipo con los años, intentando optimizar los tiempos de respuesta, la navegación y usabilidad.
Retos técnicos y tareas
Mi tarea principal actual es el desarrollo del back-end y, actualmente estoy centrado en la ingesta de datos. Esta tarea tiene varios retos:
- Limpieza de los datos: Al estar extrayendo la información de OpenAlex hay mucha información pero no toda es correcta. OpenAlex es una aplicación Open Access que realiza un trabajo ingente de recopilación de información de papers científicos a nivel mundial. Me encantaría tener más trato con ellos para entender los retos a los que se enfrentan y qué soluciones específicas plantean.
- Mantener los datos actualizados: De momento nos traemos la información periódicamente, en vez de recibir notificaciones con los cambios. Además tenemos límites de consultas diarios a cada una de las fuentes de información. Todo esto hace que sea más lento y menos reactivo. El tiempo real no es nuestro objetivo, pero debemos trazar planes para que el sistema maximice esas opciones de actualización y refleje la realidad lo mejor y más prontamente posible.
- Optimización del tiempo y el rendimiento: Debido a limitaciones actuales en cuanto a la infraestructura, y los ya comentados límites de peticiones, tenemos que hacer que cada vez que pedimos datos, estos se aprovechen al máximo para rellenar nuestra base de datos. A la vez no queremos guardar información que no vamos a utilizar de manera clara porque supondría asumir la responsabilidad de su mantenimiento y comprobación de su integridad.
Modernización y Gestión del Proyecto
Además de todo esto estamos modernizando los procesos de trabajo, la arquitectura de la aplicación a varios niveles: desde la base de datos al front end, pasando por el despliegue automatizado y la monitorización. Un proceso en el que estoy aprendiendo y refrescando conocimiento. Intentamos tener un compromiso entre lo que sería lo ideal y lo que nos resulta práctico. El 20% del trabajo nos completa el 80% de las necesidades y siendo un equipo reducido con unos plazos ambiciosos, hemos tomado esta vieja regla como nuestro «método del algodón» para la toma de decisiones.
Usamos herramientas de gestión internas del CSIC para comunicar las necesidades de la aplicación y usando KANBA vamos tomando los diversos tickets para desarrollarlos, pudiendo ver, a grandes rasgos, todo el trabajo que falta, el actual y el que se ha hecho. Quizás falte un poco de detalle con estas herramientas, pero nos está ayudando a «documentar» de una manera práctica la carga de trabajo y a coordinarnos bien.
Conclusiones y Próximos Pasos
En futuras entradas espero poder contar problemas más concretos y como les vamos dando solución. Desde los planteamientos «teóricos» a las implementaciones, herramientas y debates que podamos tener para dar con las soluciones que tomemos finalmente. Ojalá este camino pueda aportar cosas interesantes más allá de la consecución del proyecto en sí.