Zadanie #4852

Ocena klasyfikacji anotacji tylko dla anotacji o poprawnych granicach

Added by Michał Marcińczuk almost 10 years ago. Updated almost 10 years ago.

Status:ZamkniętyStart date:26 Jul 2013
Priority:NormalnyDue date:
Assignee:Michał Krautforst% Done:

100%

Category:-
Target version:Liner 2.4

Description

Do ChunkerEvaluator należy dodać nowy sposób oceny wyników polegający na ocenie poprawności klasyfikacji anotacji. Do oceny powinny zostać wzięte wyłącznie anotacje, których granice są zgodne z granicami anotacji w korpusie wzorcowym.

Na przykład, mają korpus wzorcowy z anotacjami:
  • PERSON 1,5
  • PERSON 6,10
  • LOCATION 11,14
  • ORGANIZATION 17,18
oraz zestaw anotacji do oceny:
  • PERSON 1,5
  • PERSON 15,16
  • PERSON 11,14
  • LOCATION 17,20
Do oceny powinny zostać wzięte anotacje:
  • PERSON 1,5
  • PERSON 11,14
Pozostałe dwie anotacje zostaną zignorowane, ponieważ ich granice nie pokrywają się w całości z anotacjami z korpusu wzorcowego.
  • PERSON 15,16
  • LOCATION 17,20

Dla poszczególnych kategorii anotacji będzie liczone accuracy, tj. liczba poprawnie sklasyfikowanych do wszystkich decyzji dla danej kategorii. Czyli dla PERSON będzie 1/2=50%.

History

#1 Updated by Michał Krautforst almost 10 years ago

  • Status changed from Nowy to Gotowy
  • % Done changed from 0 to 100

#2 Updated by Michał Marcińczuk almost 10 years ago

  • Status changed from Gotowy to Zamknięty

Also available in: Atom PDF