Zadanie #4399

Ocenić istotność statystyczną różnic

Added by Adam Radziszewski about 11 years ago. Updated about 11 years ago.

Status:ZamkniętyStart date:11 Oct 2012
Priority:NormalnyDue date:
Assignee:Paweł Orłowicz% Done:

0%

Category:-
Target version:-

Description

Załączam arkusz, który sprawdza, czy różnica wyników dwóch tagerów jest istotna. To jest test t-Studenta dla prób zależnych (paired t-test).
W środku jest zaszyty próg ufności 5%, ale taki właśnie się najczęściej przyjmuje.

Test sprawdza, czy tager B działa lepiej niż tager A.

W kolumnie tagger A trzeba wkleić wyniki z kolejnych foldów przyjętej miary, w kolumnie B — to samo dla tagera B. Ważne, by w A dawać ten, który ma niższe wartości miary, bo test sprawdza czy B lepszy od A, jednostronnie.

Jako miarę do porównań przyjmujemy weak correctness lower bound (nazywamy to w artykule dla uproszczenia accuracy lower bound, bo i tak tager zawsze daje jeden tag).

W ten sposób należy porównać:
  1. WCRFT z guesserem <> WCRFT bez guessera (chodzi mi o użycie guessera z corpus1, to co ostatnio puszczałeś)
  2. WCRFT z guesserem <> Kuba Waszczuk (wyniki z http://furtka.ogrodek.waw.pl/~kuba/no-maca-guesser/)
  3. WCRFT bez guessera <> Kuba Waszczuk

tagr-eval.ods (22.8 KB) Adam Radziszewski, 11 Oct 2012 12:37

tagr-eval_cmp.ods (28 KB) Paweł Orłowicz, 15 Oct 2012 13:56

wynikinadobrymtestana_ng.zip - Wyniki porównania po poprawkach (35.3 KB) Adam Radziszewski, 08 Nov 2012 13:47

History

#1 Updated by Adam Radziszewski about 11 years ago

Open Office jest wrażliwy na znak przecinka/kropki, to chyba zależy od systemowego locale (albo od języka dokumentu, nie wiem). U mnie musi to być przecinek, bo w innym wypadku traktuje liczby jako tekst (a czasem daty).

#2 Updated by Paweł Orłowicz about 11 years ago

Wyniki porównania taggerów

#3 Updated by Adam Radziszewski about 11 years ago

Also available in: Atom PDF