Explorador diacrónico

Trátase dun sistema que permite buscar e visualizar os cambios léxicos de decenas de miles de palabras do castelán ao longo do tempo, concretamente no eixe temporal 1900-2009, utilizando como fonte de datos as representacións semánticas construídas cos n-gramas de Google en español (45 mil millóns). O usuario busca unha palabra e un período de tempo (entre 1 e N anos) e o sistema devolve o sentido da palabra en cada ano do intervalo buscado. O sentido dunha palabra represéntase polo conxunto de palabras máis similares en termos semánticos e distribucionais. Por exemplo, a palabra “cáncer“ está estreitamente vinculada en 1910 con “tuberculosis“ e “sífilis“ pero xa en 1960 os termos máis próximos son “tumor“ e “carcinoma“.

A entrada do sistema é unha estrutura de datos na que as palabras están asociadas con outras palabras e por ano mediante graos de similitude (Coseno). Estes datos foron xerados recentemente polo equipo ProLNat@GE (Pablo Gamallo, Marcos Garcia) mediante técnicas e módulos de Procesamento da Linguaxe Natural. En concreto, efectuamos o procesamento semántico de 45 mil millóns de n-gramas, dispoñibles tras a dixitalización de máis de 1 millón de libros do proxecto “Google Books“. O procesamento semántico consiste en transformar os n-gramas en matrices distribucionais 'palabra-contexto'. Xerouse unha matriz por ano, onde cada palabra é un vector de contextos. Finalmente, calcúlase a similitude entre vectores (palabras) e selecciónanse, para cada palabra, as 20 máis similares por ano. En total, xerouse unha estrutura de datos de máis de máis de 300M, que é a entrada do demostrador.

O explorador diacrónico pódese usar de dúas formas. Accedendo á web ou a través da súa API.

Instalación

Requisitos previos

Cómpre aclarar que o explorador diacrónico obtén os datos de similitude entre palabras dunha base de datos MongoDB. Polo tanto, é necesario que teñas un servidor Mongo activo e accesible como fonte de datos.

Ademais, o explorador parte de que existen os cartafoles clouds e cache, así como os ficheiros tasks e log. A ruta a estes pásase como argumento na execución.

Dependencias

En segundo lugar, o explorador apóiase en varias bibliotecas para conseguir algunhas das súas funcionalidades. Para facilitar a súa instalación, inclúese na raíz do proxecto un ficheiro requirements.txt no formato axeitado para poder importalas directamente co comando pip.

pip install -r requirements.txt

Desprega

O explorador está construído en dúas partes diferenciadas: por unha banda, a parte do servidor, que se encarga de consultar a fonte de datos, procesalos e darlles formato, e a interface web, que simplemente consulta os datos proporcionados polo servidor.

Para iniciar o servidor, situarémonos dentro do cartafol services e executaremos o ficheiro main.py (pasando como argumento a ruta onde se atopan os ficheiros necesarios). Isto iniciará o servidor CherryPy e conectarase a unha base de datos MongoDB cos parámetros predeterminados. Neste momento, teremos o servidor en marcha en localhost:8080/, polo que xa poderiamos facer consultas pasando os parámetros na URL, por exemplo: http://localhost:8080/busca/simple/fumar/1905/1910

cd services python main.py /ruta/archivos/proyecto

Para executar a interface web debemos contar cun servidor con PHP habilitado. Unha vez o teñamos, simplemente será necesario acceder a index.php para poder usar o sistema de consulta.