Błąd #5606
Rozbieżność w podsumowaniu dla MUC match evaluation
| Status: | Zamknięty | Start date: | 24 Jul 2014 | |
|---|---|---|---|---|
| Priority: | Normalny | Due date: | ||
| Assignee: | Michał Krautforst | % Done: | 0% | |
| Category: | - | |||
| Target version: | Liner 2.4 |
Description
Dla oceny MUC match evaluation i jednego typu anotacji występuje rozbieżność w ocenie. Przykład poniżej. TOTAL ma inny wynik niż nam, pomimo, że nam jest jedyną ocenianą anotacją.
======================================================================================
# Exact match evaluation -- annotation span and types evaluation
======================================================================================
Annotation & TP & FP & FN & Precision & Recall & F$_1$ \\
\hline
nam & 984 & 302 & 335 & 76,52% & 74,60% & 75,55% \\
\hline
*TOTAL* & 984 & 302 & 335 & 76,52% & 74,60% & 75,55% \\
======================================================================================
# Annotation span evaluation (annotation types are ignored)
======================================================================================
Annotation & TP & FP & FN & Precision & Recall & F$_1$ \\
\hline
*TOTAL* & 984 & 302 & 335 & 76,52% & 74,60% & 75,55% \\
======================================================================================
# MUC match evaluation
======================================================================================
Annotation & COR & ACT & POS & Precision & Recall & F$_1$ \\
\hline
nam & 2131 & 441 & 512 & 82,85% & 80,63% & 81,73% \\
\hline
*TOTAL* & 2131 & 441 & 598 & 82,85% & 78,09% & 80,40%
History
#1 Updated by Michał Krautforst about 9 years ago
- Status changed from Przypisany to Rozwiązany
#2 Updated by Michał Marcińczuk about 9 years ago
- Status changed from Rozwiązany to Zamknięty