Zbudowano kilka różnych tematycznie korpusów z tekstami w języku polskim o łącznej wielkości przekraczającej 120 mln słów. Zaimplementowano i przetestowano algorytmy tokenizacji tekstu do postaci ... więcej

Zbudowano kilka różnych tematycznie korpusów z tekstami w języku polskim o łącznej wielkości przekraczającej 120 mln słów. Zaimplementowano i przetestowano algorytmy tokenizacji tekstu do postaci umożliwiającej dalszą obróbkę. Zaimplementowano algorytmy przetwarzania tekstu (w tym nowatorskie wyznaczanie stop-słów oraz lematyzacja) pozwalających na wielopoziomowe porównywanie. Zbadano własności oraz korelacje wskaźników wyrażających podobieństwo w tekstach na różnych etapach przetwarzania (w tym nowatorski wskaźnik podobieństwa). Zgromadzono rzeczywiste prace studenckie i zbadano opracowane algorytmy. Zaprojektowano i zbudowano system gromadzenia, przetwarzania i badania dokumentów tekstowych.

A number of different Polish language corpora of the total size of over 120 mln words were built. Tokenization algorithms to make texts available for future processing were implemented. Text processing ... więcej

A number of different Polish language corpora of the total size of over 120 mln words were built. Tokenization algorithms to make texts available for future processing were implemented. Text processing algorithms (including innovative stop-words selection and lemmatization) enabling a multilevel text comparison were implemented. Correlations of coefficients used to calculate similarities in text documents on various processing levels (including innovative similarity coefficient) were examined. Actual students' essays were collected to examine the implemented algorithms. Computer system to collect, process and compare text documents was designed and built.