Zadanie #4852
Ocena klasyfikacji anotacji tylko dla anotacji o poprawnych granicach
Status: | Zamknięty | Start date: | 26 Jul 2013 | |
---|---|---|---|---|
Priority: | Normalny | Due date: | ||
Assignee: | Michał Krautforst | % Done: | 100% | |
Category: | - | |||
Target version: | Liner 2.4 |
Description
Do ChunkerEvaluator należy dodać nowy sposób oceny wyników polegający na ocenie poprawności klasyfikacji anotacji. Do oceny powinny zostać wzięte wyłącznie anotacje, których granice są zgodne z granicami anotacji w korpusie wzorcowym.
Na przykład, mają korpus wzorcowy z anotacjami:- PERSON 1,5
- PERSON 6,10
- LOCATION 11,14
- ORGANIZATION 17,18
- PERSON 1,5
- PERSON 15,16
- PERSON 11,14
- LOCATION 17,20
- PERSON 1,5
- PERSON 11,14
- PERSON 15,16
- LOCATION 17,20
Dla poszczególnych kategorii anotacji będzie liczone accuracy, tj. liczba poprawnie sklasyfikowanych do wszystkich decyzji dla danej kategorii. Czyli dla PERSON będzie 1/2=50%.
History
#1 Updated by Michał Krautforst almost 10 years ago
- Status changed from Nowy to Gotowy
- % Done changed from 0 to 100
#2 Updated by Michał Marcińczuk almost 10 years ago
- Status changed from Gotowy to Zamknięty