Zadanie #4399
Ocenić istotność statystyczną różnic
| Status: | Zamknięty | Start date: | 11 Oct 2012 | |
|---|---|---|---|---|
| Priority: | Normalny | Due date: | ||
| Assignee: | Paweł Orłowicz | % Done: | 0% | |
| Category: | - | |||
| Target version: | - |
Description
Załączam arkusz, który sprawdza, czy różnica wyników dwóch tagerów jest istotna. To jest test t-Studenta dla prób zależnych (paired t-test).
W środku jest zaszyty próg ufności 5%, ale taki właśnie się najczęściej przyjmuje.
Test sprawdza, czy tager B działa lepiej niż tager A.
W kolumnie tagger A trzeba wkleić wyniki z kolejnych foldów przyjętej miary, w kolumnie B — to samo dla tagera B. Ważne, by w A dawać ten, który ma niższe wartości miary, bo test sprawdza czy B lepszy od A, jednostronnie.
Jako miarę do porównań przyjmujemy weak correctness lower bound (nazywamy to w artykule dla uproszczenia accuracy lower bound, bo i tak tager zawsze daje jeden tag).
W ten sposób należy porównać:- WCRFT z guesserem <> WCRFT bez guessera (chodzi mi o użycie guessera z corpus1, to co ostatnio puszczałeś)
- WCRFT z guesserem <> Kuba Waszczuk (wyniki z http://furtka.ogrodek.waw.pl/~kuba/no-maca-guesser/)
- WCRFT bez guessera <> Kuba Waszczuk
History
#1 Updated by Adam Radziszewski over 10 years ago
Open Office jest wrażliwy na znak przecinka/kropki, to chyba zależy od systemowego locale (albo od języka dokumentu, nie wiem). U mnie musi to być przecinek, bo w innym wypadku traktuje liczby jako tekst (a czasem daty).
#2 Updated by Paweł Orłowicz over 10 years ago
- File tagr-eval_cmp.ods added
Wyniki porównania taggerów
#3 Updated by Adam Radziszewski over 10 years ago
- File wynikinadobrymtestana_ng.zip added
- Status changed from Nowy to Zamknięty