Podporna orodja in metodologija za evalvacijo strojnega prevajalnika
Predvsem z vidika zbiranja in obdelave besedil za učenje strojnega prevajalnika bo potrebno razviti nekatera orodja. V okviru projekta bomo tako izdelali orodja za anonimizacijo osebnih podatkov, za (pol)avtomatsko poravnavo dvojezičnih besedil in za ekstrakcijo primernih besedil iz večjih zbirk podatkov.
Poleg podpornih orodij bomo razvili tudi metodologijo za vrednotenje strojnega prevajalnika. V projektu bo primarna metoda za ugotavljanje kakovosti prevajalnika, ki se kaže v kakovosti njegovih strojnih prevodov, avtomatska metrika BLEU. Ker pa ta ne daje vedno celostnega vpogleda v kakovost prevajalnika, bomo razvili dodatno metodo evalviranja – takšno, ki bo osnovana na ročnem pregledu strojnih prevodov. Ročno evalvacijo bodo izvajali študenti prevajalstva druge stopnje, ki bodo pred začetkom evalvacije ustrezno usposobljeni. Rezultate evalvacij bo pregledal koordinator, ki bo opravil tudi analizo rezultatov.
Pred razvojem strojnega prevajalnika bomo ponovili evalvacijo referenčnega strojnega prevajalnika, in sicer bo to strojni prevajalnik, razvit na Institutu "Jožef Stefan" v okviru projekta TraMOOC, ki je bil financiran iz programa Evropske unije Horizon 2020 in je na voljo v odprtem dostopu na spletnem mestu www.translexy.com.