Zadanie #5130

Optymalizacja wstawiania tokenizacji do bazy danych

Added by Michał Marcińczuk over 9 years ago. Updated over 5 years ago.

Status:NowyStart date:09 Jan 2014
Priority:NormalnyDue date:
Assignee:-% Done:

0%

Category:-Estimated time:16.00 hours
Target version:Release TBD

Description

Po ostatnich zmianach w sposobie przechowywania tokenów w bazie danych nowy sposób zapisu tokenizacji do bazy wydaje się być mało wydajny (przypuszczenie). Wstawienie każdego tagu morfologicznego dla tokenu wykonuje zapytanie SELECT. Należy przerobić skrypt tak, aby ustalenie id dla tagu morfologicznego odbywało się off-line. Trzeba sprawdzić, czy taki scenariusz będzie bardziej wydajny:
  1. Tokenizacja i utworzenie listy tokenów.
  2. Wstawienie tokenów do bazy.
  3. Lock na tabeli z tagami morfologicznymi.
  4. Pobranie wszystkich tagów morfologicznych.
  5. Dodanie brakujących tagów (zapis w bazie i pobranie ich id).
  6. Wstawienie tagów morfologicznych dla tokenów.
  7. Zwolenienie locka.

History

#1 Updated by Michał Marcińczuk over 6 years ago

  • Assignee deleted (Adam Kaczmarek)

#2 Updated by Michał Marcińczuk over 5 years ago

  • Target version set to Release TBD
  • Estimated time set to 16.00

Also available in: Atom PDF