Zadanie #6112

Przeniesienie opisu chunkerów do głównego pliku ini

Added by Michał Marcińczuk over 8 years ago. Updated over 6 years ago.

Status:ZamkniętyStart date:19 Sep 2014
Priority:NormalnyDue date:
Assignee:Michał Krautforst% Done:

100%

Category:-
Target version:Liner 2.4

Description

Założenia:
  • do sekcji chunkera [chunker_*] w pliku ini dojdzie parametr type określający typ chunkera, tj. crfpp, wccl, itd.
  • dodatkowe parametry chunkera będą zapisywane jako parametry w sekcji tego chunkera,
  • zmieni się interfejs ChunkerFactoryItem ze Stringa na Ini.Section.

Przykład pliku przed zmianami:

[main]
features={INI_PATH}/ini/features-56nam.txt
chunker=c
types={INI_PATH}/ini/muc-types.txt

[chunker_c1]
description=crfpp:{INI_PATH}/ini/nam-crfpp-pipe.ini

[chunker_c2]
description=CRFclassifier:{INI_PATH}/ini/muc-classify-crfpp-pipe.ini

[chunker_cp]
description=propagate:c1

[chunker_c]
description=ensamble:c1>c2

Plik po zmianach:

[main]
features={INI_PATH}/ini/features-56nam.txt
chunker=c
types={INI_PATH}/ini/muc-types.txt

[chunker_c1]
type=crfpp
mode=train
threads=3
template={INI_PATH}/template-56nam.txt
store={INI_PATH}/../data/bins/model_nam_snapshot.bin
training-data-converter=annotation-mapping:{INI_PATH}/kpwr-mapping-nam.txt,annotation-remove-nested
types={INI_PATH}/nam-types.txt
format=batch:ccl
source={CV_TRAIN}

[chunker_c2]
type=CRFclassifier
mode=train
threads=
template={INI_PATH}/template-56nam.txt
store={INI_PATH}/../data/bins/model_muc_snapshot.bin
base=nam
context=-2:-1:0:1:2
types={INI_PATH}/types.txt
format=batch:ccl
source={CV_TRAIN}

[chunker_cp]
type=propagate
chunker=c1

[chunker_c]
type=ensamble
description=c1>c2

History

#1 Updated by Michał Marcińczuk over 8 years ago

  • Description updated (diff)

#2 Updated by Michał Krautforst over 8 years ago

  • % Done changed from 0 to 70

Kwestie które wyszły przy przerabianiu chunkerów:
-w niektórych chunkerach (np. Dictionary) types jest stringiem, z listą typów. Może warto ujednolicić to żeby były w osobnym pliku jak dla crfpp

-DictionaryChunker i FullDictionary chunker - tona powtarzającego się kodu, może jednak zrobić jedną klase razem z load? (dodatkowo w full nie ma warunku if(sentenceLength > 500) return chunking, a w drugim jest, brakuje czy nie powinno być?)

-pousuwałem rzutowania na interfesy dla chunkerow bo kompilator uwaza je za niepotrzebne

-stary klasyfikator anotacji trzeba potestowac, jest tam jakies ToDo ale nieopisane

#3 Updated by Michał Marcińczuk over 8 years ago

  • Description updated (diff)

#4 Updated by Michał Marcińczuk over 6 years ago

  • Status changed from Przypisany to Zamknięty
  • % Done changed from 70 to 100

Also available in: Atom PDF