Inforex

W skrypcie do tokenizacji należy dodać sprawdzenie, czy cały tekst został otokenizowany. Zdarzały się przypadki, w których tokenizator zwracał tokeny tylko dla fragmentu tekstu. Wstawienie części tokenów powodowało, że dokument był niepoprawnie otokenizowany, a tokenizacja kończyła się powodzeniem. Taka sytuacja miała miejsce dla dokumentów ccl, które posiadały tagi sentence, ale nie wszyztkie zdania były nim oznaczone. Zdania, które nie były w tagach sentence były pomijane.