Zadanie #6112
Przeniesienie opisu chunkerów do głównego pliku ini
Status: | Zamknięty | Start date: | 19 Sep 2014 | |
---|---|---|---|---|
Priority: | Normalny | Due date: | ||
Assignee: | Michał Krautforst | % Done: | 100% | |
Category: | - | |||
Target version: | Liner 2.4 |
Description
Założenia:
- do sekcji chunkera [chunker_*] w pliku ini dojdzie parametr type określający typ chunkera, tj. crfpp, wccl, itd.
- dodatkowe parametry chunkera będą zapisywane jako parametry w sekcji tego chunkera,
- zmieni się interfejs ChunkerFactoryItem ze Stringa na Ini.Section.
Przykład pliku przed zmianami:
[main] features={INI_PATH}/ini/features-56nam.txt chunker=c types={INI_PATH}/ini/muc-types.txt [chunker_c1] description=crfpp:{INI_PATH}/ini/nam-crfpp-pipe.ini [chunker_c2] description=CRFclassifier:{INI_PATH}/ini/muc-classify-crfpp-pipe.ini [chunker_cp] description=propagate:c1 [chunker_c] description=ensamble:c1>c2
Plik po zmianach:
[main] features={INI_PATH}/ini/features-56nam.txt chunker=c types={INI_PATH}/ini/muc-types.txt [chunker_c1] type=crfpp mode=train threads=3 template={INI_PATH}/template-56nam.txt store={INI_PATH}/../data/bins/model_nam_snapshot.bin training-data-converter=annotation-mapping:{INI_PATH}/kpwr-mapping-nam.txt,annotation-remove-nested types={INI_PATH}/nam-types.txt format=batch:ccl source={CV_TRAIN} [chunker_c2] type=CRFclassifier mode=train threads= template={INI_PATH}/template-56nam.txt store={INI_PATH}/../data/bins/model_muc_snapshot.bin base=nam context=-2:-1:0:1:2 types={INI_PATH}/types.txt format=batch:ccl source={CV_TRAIN} [chunker_cp] type=propagate chunker=c1 [chunker_c] type=ensamble description=c1>c2
History
#1 Updated by Michał Marcińczuk over 8 years ago
- Description updated (diff)
#2 Updated by Michał Krautforst over 8 years ago
- % Done changed from 0 to 70
Kwestie które wyszły przy przerabianiu chunkerów:
-w niektórych chunkerach (np. Dictionary) types jest stringiem, z listą typów. Może warto ujednolicić to żeby były w osobnym pliku jak dla crfpp
-DictionaryChunker i FullDictionary chunker - tona powtarzającego się kodu, może jednak zrobić jedną klase razem z load? (dodatkowo w full nie ma warunku if(sentenceLength > 500) return chunking, a w drugim jest, brakuje czy nie powinno być?)
-pousuwałem rzutowania na interfesy dla chunkerow bo kompilator uwaza je za niepotrzebne
-stary klasyfikator anotacji trzeba potestowac, jest tam jakies ToDo ale nieopisane
#3 Updated by Michał Marcińczuk over 8 years ago
- Description updated (diff)
#4 Updated by Michał Marcińczuk over 6 years ago
- Status changed from Przypisany to Zamknięty
- % Done changed from 70 to 100