Zadanie #5125
Weryfikacja tokenizacji w skrypcie tokenize.php
Status: | Nowy | Start date: | 09 Jan 2014 | |
---|---|---|---|---|
Priority: | Normalny | Due date: | ||
Assignee: | - | % Done: | 0% | |
Category: | - | Estimated time: | 8.00 hours | |
Target version: | Release TBD |
Description
W skrypcie do tokenizacji należy dodać sprawdzenie, czy cały tekst został otokenizowany. Zdarzały się przypadki, w których tokenizator zwracał tokeny tylko dla fragmentu tekstu. Wstawienie części tokenów powodowało, że dokument był niepoprawnie otokenizowany, a tokenizacja kończyła się powodzeniem. Taka sytuacja miała miejsce dla dokumentów ccl, które posiadały tagi sentence, ale nie wszyztkie zdania były nim oznaczone. Zdania, które nie były w tagach sentence były pomijane.
History
#1 Updated by Michał Marcińczuk over 6 years ago
- Status changed from Przypisany to Nowy
- Assignee deleted (
Adam Kaczmarek)
#2 Updated by Michał Marcińczuk over 5 years ago
- Target version set to Release TBD
- Estimated time set to 8.00