Zadanie #4851

Rozszerzyć moduł do oceny (eval i evalcv)

Added by Michał Marcińczuk over 10 years ago. Updated over 10 years ago.

Status:ZamkniętyStart date:26 Jul 2013
Priority:NormalnyDue date:
Assignee:Michał Krautforst% Done:

100%

Category:-
Target version:Liner 2.4

Description

Do klasy ChunkerEvaluator należy dodać ocenę jakości rozpoznawania granic anotacji z pominięciem ich kategorii. Obecny tryb oceny powinien być zachowany, nowy model oceny ma być liczony razem z obecnym. Nowy tryb oceny ignoruje kategorię anotacji przy sprawdzaniu zgodności anotacji.

Na przykład mając poniższe anotacje w zbiorze wzorcowym PERSON i ORGANIZATION oraz zbiorze do oceny PERSON i LOCATION przy obecnej ocenie otrzymamy jedną pełną zgodność dla PERSON (1 TP), jedną brakującą anotację ORGANIZATION (1 FN) i jedną błędne rozpoznaną anotację LOCATION.

Przy ocenie pomijającej kategorię anotacji będziemy mieli w korpusie wzorcowym NAM i NAM oraz w korpusie do oceny NAM i NAM co zostanie ocenione jako 2 TP.

Wynik oceny powinien być prezentowany dla obu wariantów oceny, obecnej i nowej.

History

#1 Updated by Michał Krautforst over 10 years ago

  • Status changed from Przypisany to Rozwiązany
  • % Done changed from 0 to 100

#2 Updated by Michał Marcińczuk over 10 years ago

  • Status changed from Rozwiązany to Zamknięty

Also available in: Atom PDF