Zadanie #5125

Weryfikacja tokenizacji w skrypcie tokenize.php

Added by Michał Marcińczuk over 9 years ago. Updated over 5 years ago.

Status:NowyStart date:09 Jan 2014
Priority:NormalnyDue date:
Assignee:-% Done:

0%

Category:-Estimated time:8.00 hours
Target version:Release TBD

Description

W skrypcie do tokenizacji należy dodać sprawdzenie, czy cały tekst został otokenizowany. Zdarzały się przypadki, w których tokenizator zwracał tokeny tylko dla fragmentu tekstu. Wstawienie części tokenów powodowało, że dokument był niepoprawnie otokenizowany, a tokenizacja kończyła się powodzeniem. Taka sytuacja miała miejsce dla dokumentów ccl, które posiadały tagi sentence, ale nie wszyztkie zdania były nim oznaczone. Zdania, które nie były w tagach sentence były pomijane.

History

#1 Updated by Michał Marcińczuk over 6 years ago

  • Status changed from Przypisany to Nowy
  • Assignee deleted (Adam Kaczmarek)

#2 Updated by Michał Marcińczuk over 5 years ago

  • Target version set to Release TBD
  • Estimated time set to 8.00

Also available in: Atom PDF