Zadanie #4851
Rozszerzyć moduł do oceny (eval i evalcv)
| Status: | Zamknięty | Start date: | 26 Jul 2013 | |
|---|---|---|---|---|
| Priority: | Normalny | Due date: | ||
| Assignee: | Michał Krautforst | % Done: | 100% | |
| Category: | - | |||
| Target version: | Liner 2.4 |
Description
Do klasy ChunkerEvaluator należy dodać ocenę jakości rozpoznawania granic anotacji z pominięciem ich kategorii. Obecny tryb oceny powinien być zachowany, nowy model oceny ma być liczony razem z obecnym. Nowy tryb oceny ignoruje kategorię anotacji przy sprawdzaniu zgodności anotacji.
Na przykład mając poniższe anotacje w zbiorze wzorcowym PERSON i ORGANIZATION oraz zbiorze do oceny PERSON i LOCATION przy obecnej ocenie otrzymamy jedną pełną zgodność dla PERSON (1 TP), jedną brakującą anotację ORGANIZATION (1 FN) i jedną błędne rozpoznaną anotację LOCATION.
Przy ocenie pomijającej kategorię anotacji będziemy mieli w korpusie wzorcowym NAM i NAM oraz w korpusie do oceny NAM i NAM co zostanie ocenione jako 2 TP.
Wynik oceny powinien być prezentowany dla obu wariantów oceny, obecnej i nowej.
History
#1 Updated by Michał Krautforst over 10 years ago
- Status changed from Przypisany to Rozwiązany
- % Done changed from 0 to 100
#2 Updated by Michał Marcińczuk over 10 years ago
- Status changed from Rozwiązany to Zamknięty