Zadanie #2356

Oszacowanie szybkości działania

Added by Michał Marcińczuk almost 12 years ago. Updated almost 12 years ago.

Status:ZamkniętyStart date:28 Sep 2011
Priority:NormalnyDue date:
Assignee:Maciej Janicki% Done:

100%

Category:-
Target version:-

Description

Oszacowanie następujących parametrów:
  • czas inicjalizacji linera --- może to być czas otagowania jednego słowa,
  • czas inicjalizacji nerda --- wygenerowanie atrybutów dla jednego słowa,
  • liczba tokenów przetwarzanych na sekundę (z pominięciem czasu inicjalizacji) policzone dla 2 korpusów (gpw4d-maca.iob i wikinews4-maca.iob).
Szybkość działania powinna być policzona dla następującej konfiguracji:
  • chunker c1:crfpp-load:=xxx -- wyuczony na korpusie gpw4d-maca i wikinews4-maca i konfiguracji ini_features38_window2_names4_agr.ini (w information_extraction/liner2-models),
  • chunker c2:dict-load:xxx:types=COUNTRY_NAM,CITY_NAM -- chunker słownikowy skompilowany na podstawie pliku db_proper_names_plain.txt
  • -chunker c3:heuristic:road-prefix
  • -use c1+c2+c3

History

#1 Updated by Maciej Janicki almost 12 years ago

  • % Done changed from 0 to 100

Wyniki:

jedno słowo:
Chunking time: 0.0015 s
NERD time: 7.9553 s
Tokens processed: 1
Tokens per second: 689.4621
Liner2 total time: 12.9580 s

gpw4c-maca:
Chunking time: 67.5030 s
NERD time: 124.5426 s
Tokens processed: 316154
Tokens per second: 4683.5549
Liner2 total time: 216.3088 s

wikinews-gospodarka-nam2:
Chunking time: 14.4718 s
NERD time: 70.4374 s
Tokens processed: 144004
Tokens per second: 9950.6560
Liner2 total time: 99.7241 s

#2 Updated by Michał Marcińczuk almost 12 years ago

gpw4c-maca:
  • words: 244676
  • words/second: 1133

#3 Updated by Maciej Janicki almost 12 years ago

Z wliczaniem generowania cech do czasu przetwarzania tokenów:

jedno słowo:
Processing time: 0.0034 s
NERD time: 8.2007 s
Tokens processed: 1
Tokens per second: 289.9773
Liner2 total time: 13.6036 s

gpw4d-maca.iob:
Processing time: 221.1549 s
NERD time: 126.4545 s
Tokens processed: 316154
Tokens per second: 1429.5594
Liner2 total time: 232.6384 s

wikinews4-maca.iob:
Processing time: 103.3680 s
NERD time: 85.4682 s
Tokens processed: 147734
Tokens per second: 1429.2047
Liner2 total time: 120.1654 s

#4 Updated by Maciej Janicki almost 12 years ago

Jak wyżej, ale bez cech słownikowych i chunkera słownikowego:

jedno słowo:
Processing time: 0.0031 s
NERD time: 3.6781 s
Tokens processed: 1
Tokens per second: 318.4534
Liner2 total time: 3.6893 s

gpw4d-maca.iob:
Processing time: 128.5026 s
NERD time: 93.2652 s
Tokens processed: 316154
Tokens per second: 2460.2931
Liner2 total time: 131.7822 s

wikinews4-maca.iob:
Processing time: 58.9195 s
NERD time: 43.8603 s
Tokens processed: 147734
Tokens per second: 2507.3862
Liner2 total time: 62.1729 s

#5 Updated by Maciej Janicki almost 12 years ago

  • Status changed from Przypisany to Zamknięty

Also available in: Atom PDF