Inforex

Po ostatnich zmianach w sposobie przechowywania tokenów w bazie danych nowy sposób zapisu tokenizacji do bazy wydaje się być mało wydajny (przypuszczenie). Wstawienie każdego tagu morfologicznego dla tokenu wykonuje zapytanie SELECT. Należy przerobić skrypt tak, aby ustalenie id dla tagu morfologicznego odbywało się off-line. Trzeba sprawdzić, czy taki scenariusz będzie bardziej wydajny:

1. Tokenizacja i utworzenie listy tokenów.
2. Wstawienie tokenów do bazy.
3. Lock na tabeli z tagami morfologicznymi.
4. Pobranie wszystkich tagów morfologicznych.
5. Dodanie brakujących tagów (zapis w bazie i pobranie ich id).
6. Wstawienie tagów morfologicznych dla tokenów.
7. Zwolenienie locka.