Tryb Eval¶

Wstęp¶

Tryb eval służy do oceny wyników klasyfikacji nazw własnych.

Sposób wywołania

liner2-cli eval -i format -f plik -ini konfiguracja

Zbiór kanałów anotacji poddanych ocenie można zawężyć poprzez parametr -types

Jako jego wartość należy podać listę konkretnych kanałów lub wyrażeń regularnych oddzielonych przecinkiem, np.:

• -types nam_liv_person_first,nam_liv_person_last
• -types nam_.*

Sposoby oceny¶

Ocena zadanego zbioru testowego

Porównanie zbioru nazw własnych wczytanego ze danych wejściowych i wygenerowanego przez Liner2.

Kroswalidacja

Aby uruchomić tryb kroswalidacji należy poprzedzić format danych przedrostkiem cv:, np. cv:ccl.
(format batch nie jest obsługiwany, zamiast tego fold może składać się z wielu plików)

Przygotowanie danych do kroswalidacji:

• Dane wejściowe muszą uprzednio zostać podzielone na foldy, sktruktura pliku wejściowego powinna wyglądać nasŧepująco (tsv):
  

  plik1\tnumer_foldu
  plik2\tnumer_foldu
  plik3\tnumer_foldu
  ...
  

Numeracja foldów zaczyna się od 1.

• W konfiguracji chunkera CRF należy ustawić wartości:
  

  [main]
  mode=train
  threads={dowolnie}
  template={dowolnie}
  store={dowolna ścieżka}
  
  [data]
  types={najlepiej zgodny z types wykorzystywanym przez eval}
  source={CV_TRAIN}
  

Przykłady¶

(wykorzystywane configi dostępne są jako załączniki)

Wykonuje ocenę wszystkich anotacji w korpusie z wykorzystaniem wyuczonego wcześniej modelu.

liner2-cli eval -f ~/korpusy/kpwr-1.2.5-disamb/index_names_100.txt -i batch:ccl -ini config-56nam.ini

Kroswalidacja, pod uwagę brane są jedynie anotacje nam_.*

liner2-cli eval -f ~/korpusy/kpwr-1.2.5-disamb/crosval.txt -i cv:ccl -ini config-56nam-cv.ini