Zadanie #5130
Optymalizacja wstawiania tokenizacji do bazy danych
Status: | Nowy | Start date: | 09 Jan 2014 | |
---|---|---|---|---|
Priority: | Normalny | Due date: | ||
Assignee: | - | % Done: | 0% | |
Category: | - | Estimated time: | 16.00 hours | |
Target version: | Release TBD |
Description
Po ostatnich zmianach w sposobie przechowywania tokenów w bazie danych nowy sposób zapisu tokenizacji do bazy wydaje się być mało wydajny (przypuszczenie). Wstawienie każdego tagu morfologicznego dla tokenu wykonuje zapytanie SELECT. Należy przerobić skrypt tak, aby ustalenie id dla tagu morfologicznego odbywało się off-line. Trzeba sprawdzić, czy taki scenariusz będzie bardziej wydajny:
- Tokenizacja i utworzenie listy tokenów.
- Wstawienie tokenów do bazy.
- Lock na tabeli z tagami morfologicznymi.
- Pobranie wszystkich tagów morfologicznych.
- Dodanie brakujących tagów (zapis w bazie i pobranie ich id).
- Wstawienie tagów morfologicznych dla tokenów.
- Zwolenienie locka.
History
#1 Updated by Michał Marcińczuk over 6 years ago
- Assignee deleted (
Adam Kaczmarek)
#2 Updated by Michał Marcińczuk over 5 years ago
- Target version set to Release TBD
- Estimated time set to 16.00