Unha das cousas que falta en Galicia son os buscadores de paxinas en galego. Penso que, aparte de todo interes nacionalista/patriotico/galeguista que poida ter este feito, esta a provocar unha inaccesibilidade destas paxinas, que perden lectores con respecto a outras en castelan. A consecuencia final de todo isto e que ninguen publica en galego na internet xa que de seguro vana ter menos ligazons. Se nos fixamos no buscador Google.es, este non conta cunha funcion para buscar paxinas cuio contido este en lingua galega, o contrario que ocorre co castelan, euskera, e catalan. Alguen sabe porque?
Eu tenho unha sospeita. Existen varias formas de detectar en que lingua esta un texto. Moi eficaces sobre todo as basadas en redes neuronais. Pero cando o que estas clasificando son millons de paxinas, unha rede neuronal resulta demasiado custosa en canto a termos de rendemento, asi que o que fan alguns programas aranha coma Nutch, programa araña de codigo aberto que forma parte do proxeto Lucene de Apache, e facer unha busqueda basada en modelos N-Gram que se obtenhen das frecuencias de aparicion de grupos de n caracteres seguidos (xeralmente 1, 2 e 3 caracteres, por ex. “vac”). Para saber en que lingua esta un texto se compara o modelo resultante do texto en cuestion cos de todalas linguas (xeralmente se comparan os 300 primeiros n-gram) e se calcula a distancia entre a posicion dun elemento nunha e outra lista ou ben a diferencia entre a frecuencia. O texto categorizarase como pertencente a lingua cuias sumas de distancias sexan menores.
Tamen pode chegarse a conclusion de que pode pertencer a duas linguas con probabilidades semellantes. Como e normal o caracter mais comun sempre e o espazo (_), pero ainda asi resulta moi util xa que linguas como o aleman tenhen palabras moi longas o cal fai diminuir sustancialmente a frecuencia de aparicion. O feito de que so se comproben as trescentas primeiras cadeas debese a que por experiencia sabese que a partires de enton o modelo volvese moi dependente do tema que trate o texto, sendo tamen moi util este sistema para clasificar artigos por temas.
A que ven todo isto? Resulta que existen modelos n-gram publicamente disponibles para 52 linguas, entre as que se atopan o euskera e o catalan pero non o galego. Seguramente estas son as que emprega Google na sua deteccion da linguaxe e por iso a maioria dos textos en galego figuran como textos en castelan. Para os que pensen que Google detecta moi mal o idioma dicirvos que estos modelos se estiman que acertan nun 89% das veces. Espero que isto sirva de resumo para os non introducidos, non sei se isto dase en algunha asignatura da facultade. Como curiosidade dicir que este sistema empregouse tamen en criptografia. Un dos sistemas de encriptacion mais sinxelos (non moi eficaz por certo) e sustituir cada letra do abecedario por outra o azar. O texto resultante e ilexible a simple vista, pero obtendo un modelo podese saber cales foron as sustitucions feitas basandose na sua frecuencia.
Actualmente estou pensando en facer un modelo para o galego. A gran cuestion e que corpus linguistico empregar para a crear o modelo. Outra cuestion e a diferencia existente entre o galego reintegracionista e o normativo, ata o punto que o abecedario que empregan e distito e quizais fose mellor facer un modelo que soamente cubra o galego normativo Estaria moi complicado distinguir o galego reintegracionista do portugués).
Envíalo a menéame
Acabo de atopar outro traballo moi interesante, esta vez por Lantania, que fixo un estupendo traballo localizando no mapa moitos dos 1270 blogs galegos. Coma comenta no seu blog podemos observar que se concentran na sua maior parte nos grandes nucleos de poboacion pois mentres outros falan de velocidades de conexion de vertigo en Galicia ainda temos problemas para ver unha paxina decentemente. Tamen se nos fixamos moitos vexo confirmada unha tendencia que tenho observado en G3. Comentanse lixeiramente mais os temas relacionados con Vigo en comparacion cos de A Corunha pese a ter unha poboacion moi similar e evidentemente moito mais que os de Santiago. Isto pode seguramente tera unha relacion co que observamos neste mapa.