Slovenščina.eu

Zbiranje besedil za korpus Šolar

davidb — Mon, 16 Jan 2023 20:30:05 +0000

Zbiranje besedil za korpus Šolar davidb Pon, 01/16/2023 - 21:30

Portal za prispevanje besedil

S prispevanjem besedil v korpus Šolar boste omogočili raziskave šolske pisne produkcije, za pripravo učnih gradiv in razvoj orodij, ki podpirajo učiteljsko delo.

PRISPEVAJTE BESEDILA

Korpus Šolar je zbirka besedil (spisov oz. esejev, neumetnostnih besedil, strokovnih poročil in podobno), ki so jih učenci in dijaki pripravili pri pouku v slovenskih osnovnih in srednjih šolah. Številna besedila vsebujejo tudi učiteljske popravke. Korpus lahko uporabljamo za raziskave šolske pisne produkcije, za pripravo učnih gradiv in razvoj orodij, ki podpirajo učiteljsko delo.

Kako poteka priprava korpusa Šolar, si lahko ogledate na predstavitvenem posnetku, ki smo ga pripravili, ko smo korpus nazadnje nadgrajevali. Kontaktne informacije na posnetku so zastarele, sam postopek pa ostaja enak.

Korpus Šolar se je do sedaj razvijal relativno počasi. V projektu RSDO želimo razvoj poenostaviti, tako za učiteljsko skupnost, ki sodeluje pri zbiranju besedil, kot za raziskovalce, ki besedila transkribirajo, anonimizirajo in vsebinsko označijo učiteljske popravke. Za učiteljice in učitelje smo zato pripravili portal za oddajo besedil in spodnja navodila.

Zakaj sodelovati? Motivacija je lahko različna: prispevali boste k razvoju empirično podprtih učnih gradiv in orodij, ki bodo na daljši rok tudi vam prihranila dragoceni čas; spoznali boste nastanek korpusa Šolar, kar vam bo pomagalo, da ga bolje razumete in tudi sami učinkovito uporabljate; projektno delo vam bo omogočilo pridobivanje točk za napredovanje; timsko delo bo pripomoglo h krepitvi kolektiva; gradili boste vir, ki je pomemben za celotno slovensko govorečo skupnost.

Koraki za oddajo besedil

1. Odločitev za sodelovanje

Optimalen čas za pričetek sodelovanja je ob začetku šolskega leta, vendar se lahko pridružite kadarkoli. Predvideva se, da boste sodelovali dve zaporedni šolski leti. Vsako leto izbirate med dvema vlogama: mentor/-ica ima odgovornost za zbiranje in oddajo šolskih besedil, koordinator/-ka pa poleg tega skrbi še za komunikacijo z vodstvom šole in znotraj (morebitne) širše ekipe.

2. Urejanje sodelovanja s šolo

Koordinator/-ka obvesti vodstvo šole o namenu sodelovanja pri razvoju korpusa Šolar in uredi podpis pogodbe s šolo. Nato z ekipo mentorjev pripravi okviren načrt sodelovanja za tekoče šolsko leto ter poskrbi za podpis pogodbe z učenci oz. pogodbe z njihovimi zastopniki.

3. Zbiranje besedil

Zbiramo avtentična šolska besedila zadnje triade OŠ in vseh vrst SŠ. Besedila naj bodo dolga vsaj 40 besed in v digitalni obliki: lahko so natipkana in popravljena v Wordu ali barvno skenirana (z zajetimi robovi oz. vidno celoto besedila). Najmanj zaželena oblika so fotografije. Če je le možno, se raje poslužujte skeniranja.

Dobrodošla so besedila z jezikovnimi popravki učiteljev, kar pa ni predpogoj za sodelovanje.

4. Oddaja besedil

Besedila oddate prek portala. Za vstop v portal se je treba registrirati. Ob uspešni registraciji dobite na svoj e-naslov potrditveno sporočilo in počakate na odobritev. Ko je vaša registracija odobrena, se lahko prijavite v svoj profil, kjer se zbirajo vsi podatki o oddanih besedilih, sodelujočih članih ekipe, o šoli ipd.

Vprašanja in odgovori

VLOGA (KOORDINATOR/-KA, MENTOR/-ICA), TOČKE IN POTRDILA O SODELOVANJU

Katero vlogo naj izberem?

Če ste prvi ali edini sodelujoči z vaše šole, avtomatsko prevzamete koordinatorsko vlogo, sicer se glede vlog uskladite sami v kolektivu. Ker se potrdila o sodelovanju pripravljajo vsako leto, je mogoče vlogo po prvem letu tudi zamenjati. Vloga, ki jo boste izbrali, bo zabeležena na potrdilu o sodelovanju, ki vam ga bomo pripravili, in od nje je odvisno število točk za napredovanje.

Koliko koordinatorjev in mentorjev je lahko na isti šoli?

Na šoli je lahko v enem šolskem letu le en/-a koordinator/-ka, število mentorskih vlog pa ni omejeno. V drugem šolskem letu se lahko vloge po dogovoru med sodelujočimi člani v kolektivu tudi zamenjajo.

Koliko točk dobim za sodelovanje, glede na vlogo, ki jo opravljam?

Pri izdaji potrdil za točke izhajamo iz Pravilnika o napredovanju zaposlenih na področju vzgoje in izobraževanja v nazive (Uradni list RS, št. 54/02, 123/08, 44/09, 18/10, 113/20). Učitelj/-ica koordinator/-ka prejme 2 točki za enoletno sodelovanje oz. vodenje in koordiniranje izvenšolskega nacionalnega projekta na šoli, učitelj/-ica mentor/-ica pa 1 točko za enoletno izvajanje mentorstva učencem v izvenšolskem nacionalnem projektu.

Ali lahko potrdilo o sodelovanju pri aktivnosti uveljavljam pri napredovanju zaposlenih v vzgoji in izobraževanju v pedagoške nazive?

Da. Potrdila bodo pripravljena v skladu s Pravilnikom o napredovanju zaposlenih na področju vzgoje in izobraževanja v nazive (Uradni list RS, št. 54/02, 123/08, 44/09, 18/10, 113/20).

Treba pa je opozoriti, da se dodatno strokovno delo točkuje in vrednoti šele, ko je vložen predlog za napredovanje posameznega strokovnega delavca oz. delavke, skupaj z dokazili, ki se nanašajo na opravljeno dodatno strokovno delo. Odločitev je v rokah Ministrstva in zanjo ne moremo jamčiti. Pričakujemo pa, da bo v skladu s Pravilnikom: dve točki za enoletno vodenje in koordiniranje izvenšolskega nacionalnega ali mednarodnega projekta na šoli, ena točka za enoletno izvajanje mentorstva učencem v izvenšolskem nacionalnem projektu.

Ali je sodelovanje pri projektu vezano na šolsko ali koledarsko leto?

Načeloma je sodelovanje v projektih na področju vzgoje in izobraževanja vezano na šolsko leto, vendar pa se lahko v skladu s Pravilnikom o napredovanju zaposlenih na področju vzgoje in izobraževanja v nazive (Uradni list RS, št. 54/02, 123/08, 44/09, 18/10, 113/20) upošteva tudi sodelovanje, vezano na koledarsko leto.

Kaj se zgodi, če po prvem letu ne morem več sodelovati?

Sistemsko je predvideno, da šole sodelujejo dve leti. Če se zgodi, da po prvem letu ne morete več sodelovati, lahko za sodelovanje pooblastite koga drugega iz kolektiva. Če to ni izvedljivo, lahko sporočite spremembo in vseeno uveljavite sodelovanje za prvo leto.

Ali lahko sodelujejo samo učitelji/-ce, ki poučujejo slovenščino?

Dobrodošli ste tudi učitelji in učiteljice drugih predmetov, pri katerih nastajajo šolska besedila (npr. zgodovina, geografija in podobno). Pomembno je, da so besedila relevantna: da ne gre za teste/šolske naloge, ki vključujejo odgovore na vprašanja DA/NE/MOGOČE, ampak vezana avtorska besedila, četudi kratka.

POGODBE

Imam težave pri razumevanju podpisovanja pogodb in soglasij. Prosim za dodatne informacije in usmeritve glede ustreznosti podpisov.

Ustreznost podpisov na posameznih pogodbah:

(a) pogodba o sodelovanju oz. pogodba s šolo:

- pri ''Podpis zastopnika šole'' se podpiše ravnatelj/-ica
- ''Podpis zastopnika izvajalca'' zagotovimo na naši strani, torej Univerza v Ljubljani

(b) pogodba o prenosu pravic oz. pogodba z učenci ali njihovimi zastopniki:

- če avtor/-ica šolskega besedila še ni polnoleten oz. polnoletna, pogodbo podpiše starš, in sicer v rubriki ''Podpis starša/zakonitega zastopnika učenca/-ke''
- če je avtor/-ica šolskega besedila že polnoleten oz. polnoletna, se podpiše sam/-a, in sicer v rubriki ''Podpis avtorja (dijaka/-inje oz. študenta/-ke)''
- ''Podpis zastopnika izvajalca'' zagotovimo na naši strani, torej Univerza v Ljubljani
Ali moramo dati v podpis 2 pogodbi: eno za šolo in eno za starše?

Potrebujemo po dva podpisana izvoda pogodbe s šolo (podpiše ravnatelj/-ica) in po dva podpisana izvoda pogodbe z vsakim avtorjem oz. avtorico šolskih besedil oz. njihovim zakonitim zastopnikom. Vse nam v fizični obliki pošljete na naslov: CJVT, Večna pot 113, 1000 Ljubljana, mi pa vam bomo potem en podpisani izvod vrnili.

Ali lahko pogodbe/soglasja za sodelovanje pri vaši aktivnosti nadomestim z internimi obrazci, ki jih že uporabljamo za pridobivanje soglasij za izvajanje podobnih aktivnosti na šoli?

Ne. Veljavne so samo pogodbe Univerze v Ljubljani, ki so na voljo višje na tej strani, v razdelku Koraki za oddajo besedil - 2. Urejanje sodelovanja s šolo. Te pogodbe zagotavljajo anonimnost sodelujočih in opredeljujejo, na kakšen način lahko besedila uporabljamo in hranimo.

BESEDILA

Kakšne vrste besedil zbiramo: so to lahko basni, dnevniški zapisi ali spisi o različnih tematikah?

Vse navedene vrste besedil so povsem ustrezne. Ne gre toliko za vsebino (vrsto obravnave), pomembna je količina teksta. Kratki odgovori na vprašanja, npr. v testih ali preizkusih znanja (DA ali NE), torej niso dobrodošli.

Dobrodošlo je, da prispevate čim bolj homogeno celoto besedil (glede na razred, vrsto/tip besedila ipd.), kar omogoča bolj učinkovito obdelavo pridobljenih podatkov in poglobljene primerjalne jezikovne analize (npr. 20 esejev na isto temo, ki so jih napisali učenci iz istega razreda).

Lahko oddamo tudi besedila, ki niso nastala pri pouku, ampak pri delu doma?

Če se le da, prispevajte besedila, ki so nastala pri pouku. Če tovrstnega gradiva nimate dovolj, lahko oddate tudi besedila, napisana po pouku oz. doma. Če na portalu ne najdete ustrezne kategorije za svoj tip besedila, nas, prosimo, kontaktirajte in na to opozorite.

Ali je določeno minimalno število besedil, ki jih je treba oddati?

Za izdajo potrdil za sodelovanje se pričakuje paket 60 besedil v vsakem šolskem/koledarskem letu sodelovanja. Se je pa o številu pred začetkom sodelovanja možno tudi dogovoriti glede na specifične razmere sodelujočega.

Zbiranje besedil za razvoj korpusa Šolar.

Dostop do portala za prispevanje besedil

Povratne informacije

davidb — Tue, 15 Nov 2022 22:05:19 +0000

Povratne informacije davidb Tor, 11/15/2022 - 23:05

Imate predloge? Pripombe? Ideje? Veseli bomo vašega mnenja.

Pišite nam preko spodnjega obrazca in nam posredujte vaše želje, zamisli in morebitne pripombe.

Orodja razvijamo za vas in vaše mnenje nam zelo veliko pomeni.

Kazalniki

davidb — Wed, 09 Nov 2022 11:25:05 +0000

Kazalniki davidb Sre, 11/09/2022 - 12:25

KAZALNIK	REZULTAT	GITHUB	CLARIN.SI	DEMO	WIKI / DOKUMENT
K1.1 - Nadgrajeni odprto dostopni jezikovni viri (korpusni in leksikonski) na repozitoriju CLARIN.SI.	učni korpus		SUK 1.0 - za standardno slovenščino Janes-Tag 3.0 - za nestandardno slovenščino		Strategija razvoja
	SuperGLUE	Orodje (GitHub)	Korpus
	učna množica Janes-Norm		Korpus
	leksikon Sloleks		Leksikon
	govorni korpus GOS		Korpus
	korpus siParl		Korpus
K1.2 - Novi jezikovni viri, dostopni v obstoječih konkordančnikih (CLARIN.SI, viri.cjvt.si)	GOS 2.0			Konkordančnik KonText Konkordančnik NoSketchEngine
	Šolar 3.0		Korpus	Konkordančnik KonText, besedila učencev Konkordančnik KonText, učiteljski popravki
	siParl 3.0			Konkordančnik KonText Konkordančnik NoSketch Engine
	Metakorpus vseh večjih slovenskih korpusov		Korpus	Konkordančnik KonText Konkordančnik NoSketch Engine
K1.3 - Št. temeljnih jez. virov za slo. (korpusnih in leksikonskih z razvito infra.) za učinkovit in kontinuiran razvoj	Gigafida				Poročilo
	Janes				Poročilo
	GOS				Poročilo
	Šolar				Poročilo
	KOST				Poročilo
	Sloleks				Poročilo
	Učni korpus				Poročilo
	SuperGLUE				Poročilo
	Metakorpus				Poročilo
K1.4 - Nova programska orodja za strojno in ročno označevanje slo. besedil na različnih nivojih	cevovod za označevanje slovenščine	Orodje (GitHub)	Model (CLASSLA)	Spletni portal (Označevalnik)
	program za anotacijo jezikovnih napak	Orodje (GitHub)		Spletni portal (Svala)
	program za anotacijo slovenskih parlamentarnih razprav	Orodje (GitHub)
	program za popravljanje strojno izluščenih podatkov specifično za leksikon Sloleks			Spletni portal (PyBossa)
K2.1 - Št. ur dostopnih govornih baz na način CC BY-SA za razpoznavalnik tekočega govora v slovenščini	govorna baza za razpoznavalnik govora		Transkripcije (Artur) Avdio (Artur)
K2.2 - Št. podpornih orodij za izdelavo in uporabo razpoznavalnika slovenskega govora	akustični normalizator	Orodje (GitHub)
	sintaktični normalizator	Orodje (GitHub)	Model
	sintaktični denormalizator	Orodje (GitHub)	Model
	orodje za pretvorbo grafemov v foneme	Orodje (GitHub)
	orodje za postavljanje ločil v surovi tekst	Orodje (GitHub)	Orodje (CLARIN) Model
K2.3 - Razpozavalnik slovenskega govora	razpoznavalnik slovenskega govora	Orodje (GitHub)	Orodje (CLARIN) Model	Demonstracijski portal	Strategija razvoja
K3.1 - Izdelava digitalne slovarske baze in smernic za splošno orodje za procesiranje besedil	podatkovni model z vsebovanimi podatki virov, ki bodo skupaj predstavljali digitalno slovarsko bazo				Opis podatkovnega modela in API
	zasnova orodja in smernice za gradnjo interoperabilnih semantičnih tehnologij				Zasnova orodja in strategija razvoja
K3.2 - Semantična mreža in podporna orodja za ekstrakcijo pomenskih delov iz besedil	orodje za prepoznavanje imenskih entitet	Orodje (GitHub)	Model	Demonstracijski portal
	orodje za odkrivanje koreferenčnosti	Orodje (GitHub)	Model	Demonstracijski portal
	orodje za ekstrakcijo povezav	Orodje (GitHub)	Korpus	Demonstracijski portal
	orodje za avtomatsko ekstrakcijo semantične mreže	Orodje (GitHub)	Model	Demonstracijski portal
	orodje za avtomatsko zgrajeno semantično mrežo (vir)	Orodje (GitHub)	Korpus
K3.3 - Št. naprednih semantičnih orodij	orodje za izračun vektorskih vložitev BERT hkrati z njihovim obračunom in objavo	Orodje (GitHub)	Model
	izdelava orodij za razdvoumljanje	Orodje (GitHub)	Model	Demonstracijski portal
	prepoznavanje semantičnih premikov in diahronih analiz	Orodje (GitHub)	Model	Demonstracijski portal (2017-2018) Demonstracijski portal (1997-2018) Demonstracijski portal (1997-2002-2007-2013-2018)
	avtomatsko povzemanje krajših in daljših besedil	Orodje (GitHub)	Modeli	Demonstracijski portal
	avtomatsko odgovarjanje na vprašanja	Orodje (GitHub)	Modeli Korpus (razširjeni SuperGLUE) Korpus (SQuAD)	Demonstracijski portal
K4.1 - Obseg dvojezičnih besedil dostopnih na način CC BY-SA za strojni prevajalnik za jezikovni par SL-AN in AN-SL	obseg dvojezičnih besedil dostopnih na način CC BY-SA za strojni prevajalnik za jezikovni par SL-AN in AN-SL		Korpus
K4.2 - Št. podpornih orodij za izdelavo in uporabo strojnega prevajalnika za jezikovni par SL-AN in AN-SL	Št. podpornih orodij za izdelavo in uporabo strojnega prevajalnika za jezikovni par SL-AN in AN-SL	Orodja (GitHub)
	prevajalnik	Orodje (GitHub)	Orodje (CLARIN) Model	Demonstracijski portal	Strategija razvoja
K5.1 - Terminološki portal z vgrajeno infrastrukturo za samostojno izdelavo terminoloških virov in luščilnikom	terminološki portal z vgrajeno infrastrukturo za samostojno izdelavo terminoloških virov in luščilnikom	Orodje (GitHub)		Spletni portal	Strategija razvoja
K5.2 - Št. odprtodost. term. virov, namenjenih za jezikovno tehnološko obdelavo, deponiranih v repozitorij Clarin.si	Davčni terminološki slovar		Slovar
	Terminološki slovar elektronskega kajenja		Slovar
	Glosar s področja konjeništva		Slovar
	Vojaški slovar študentov obramboslovja		Slovar
	Terminološki slovar s področja umetne inteligence		Slovar
	Glosar akademske integritete		Slovar
	Slovensko-angleški pojmovnik s področja vzgoje in izobraževanja		Slovar
K5.3 - Odprtodostopni urejevalnik za izdelavo terminoloških virov	odprtodostopni urejevalnik za izdelavo terminoloških virov	Orodje (GitHub)
K5.4 - Št. slovarjev, pretvorjenih v standardni format in integriranih v terminološki portal	Davčni terminološki slovar			Slovar na portalu
	Terminološki slovar elektronskega kajenja			Slovar na portalu
	Glosar s področja konjeništva			Slovar na portalu
	Vojaški slovar študentov obramboslovja			Slovar na portalu
	Terminološki slovar s področja umetne inteligence			Slovar na portalu
	Glosar akademske integritete			Slovar na portalu
	Slovensko-angleški pojmovnik s področja vzgoje in izobraževanja			Slovar na portalu
K5.5 - Odprtokodno orodje za samodejno luščenje terminologije, vgrajeno v terminološki portal	Odprtokodno orodje za samodejno luščenje terminologije, vgrajeno v terminološki portal	Orodje (GitHub)
K5.6 - Smernice in navodila za izdelavo terminološkiih virov	smernice in navodila za izdelavo terminoloških virov				Smernice in navodila
K6.1 - Sheme za validacijo virov	sheme za validacijo virov	Shema TEI (GitHub)			Shema TEI (priporočila)
K6.2 - Tehnično brezhibni jezikovni viri projekta, arhivirani v repozitorij CLARIN.SI	Tehnično brezhibni jezikovni viri projekta, arhivirani v repozitorij CLARIN.SI		Jezikovni viri na CLARIN.SI
K6.3 - Postavitev korpusov pod konkordančnike CLARIN.SI	Postavitev korpusov pod konkordančnike CLARIN.SI			Konkordančniki CLARIN
K7.1 - Odkupljeni jezikovni viri ali jezikovni podatki	Odkupljeni jezikovni viri ali jezikovni podatki				Seznam slovarjev in enciklopedij pod licenco CC BY-SA
K7.2 - Aktivna spletna stran projekta	aktivna spletna stran projekta			Spletna stran
K7.3 - Zaključna konferenca projekta	zaključna konferenca projekta			Objava Videolectures

Na tej strani lahko dostopate do projektnih rezultatov.

Demonstracijski portal projekta

Anketa o korpusih Gigafida 2.0 in Janes

davidb — Tue, 15 Jun 2021 09:32:11 +0000

Anketa o korpusih Gigafida 2.0 in Janes davidb Tor, 06/15/2021 - 11:32

Anketa o korpusih Gigafida 2.0 in Janes, ki je potekala v poletnih in jesenskih mesecih 2021, je sedaj zaključena. Hvala vsem, ki ste jo izpolnili! Bilo vas je več kot 300.

Vaše odgovore in komentarje bomo v prihodnjih mesecih skrbno pregledali, nekaterim od vas pa se še dodatno oglasili s prošnjo za poglobljeni intervju. Izsledki vseh uporabniških raziskav bodo javno dostopni, uporabili pa jih bomo za nadaljnji razvoj korpusov in njihovih vmesnikov.

V okviru projekta Razvoj slovenščine v digitalnem okolju se med drugim posvečamo dvema temeljnima korpusoma pisne slovenščine: Gigafidi 2.0 in Janesu. Zavedamo se, da je treba poskrbeti za njuno nadaljnje in dolgoročno posodabljanje, pri čemer bi radi upoštevali tudi izkušnje ter mnenje uporabnikov in uporabnic. Tokratno anketiranje o Gigafidi je že tretje po vrsti in upamo, da se bo tudi to pot potrdila tradicija dobrega odziva.

V prvi fazi odzive zbiramo z anketo, v drugi pa bodo sledili še poglobljeni intervjuji s predstavniki in predstavnicami posameznih uporabniških skupin.

Zbrati želimo tako mnenja tistih, ki korpus(a) redno uporabljate, kot tistih, ki (enega ali oba) vira poznate le bežno. Hvaležni bomo, če boste na anketo opozorili tudi kolegice in kolege.

Operacijo Razvoj slovenščine v digitalnem okolju sofinancirata Republika Slovenija in Evropska unija iz Evropskega sklada za regionalni razvoj. Operacija se izvaja v okviru Operativnega programa za izvajanje evropske kohezijske politike v obdobju 2014–2020.

Anketa Novice

Predstavitev aktivnosti na področju razvoja strojnih prevajalnikov za jezikovni par ANG–SLO

davidb — Thu, 03 Jun 2021 12:36:23 +0000

Predstavitev aktivnosti na področju razvoja strojnih prevajalnikov za jezikovni par ANG–SLO davidb Čet, 06/03/2021 - 14:36

Konzorcij projekta Razvoj slovenščine v digitalnem okolju (www.slovenscina.eu) v torek 15. junija ob 10h vabi na predstavitev aktivnosti na področju razvoja strojnih prevajalnikov za jezikovni par ANG–SLO, ki se izvajajo v okviru projekta Razvoj slovenščine v digitalnem okolju. Na dogodku bomo na poljuden način razložili delovanje nevronskih strojnih prevajalnikov, predstavili trenutno stanje na področju strojnega prevajanja za slovenski jezik, primerjali kakovost različnih prostodostopnih strojnih prevajalnikov in podali primere, kdaj je uporaba strojnega prevajalnika smiselna.

Posebno pozornost bomo posvetili zbiranju besedil za učenje strojnih prevajalnikov. Za kakovostne modele je namreč potrebna velika količina prevedenih besedil, iz katerih se nevronski algoritmi lahko učijo. Zaradi svoje majhnosti je slovenščina v slabšem položaju v primerjavi z večjimi jeziki, zato bomo na dogodku predstavili portal za zbiranje prevodov, prek katerega lahko besedilodajalci na enostaven način oddajo svoj prevod in tako prispevanju k razvoju jezikovnih tehnologij za slovenski jezik.

Program:

— Uvodni nagovor in predstavitev projekta RSDO, vodja projekta Simon Krek

— Kako delujejo sodobni nevronski strojni prevajalniki, Marko Bajec, predstavnik Strateškega sveta za digitalizacijo / Iztok Lebar Bajec, tehnični koordinator razvoja strojnega prevajanja

— Stanje na področju strojnih prevajalnikov za par ANG–SLO, Andraž Repar, koordinator zbiranja virov za učenje strojnih prevajalnikov

— Praktični vidiki zbiranja besedil za učenje strojnih prevajalnikov, Andraž Repar, koordinator zbiranja virov za učenje strojnih prevajalnikov

Dogodek bo potekal prek Zoom konference na spodnji povezavi:
https://us02web.zoom.us/meeting/86443086918 (koda za dostop: 347373).

Na voljo bo tudi prenos v živo na YouTube kanalu Centra za jezikovne vire in tehnologije (https://www.youtube.com/watch?v=BUDFj94HbWs).

Novice

Uvod

Predstavitveni dogodek se bo odvil 15. junija ob 10h.

Zbiranje besedil za korpus Gigafida

davidb — Thu, 27 May 2021 14:39:20 +0000

Zbiranje besedil za korpus Gigafida davidb Čet, 05/27/2021 - 16:39

Portal za prispevanje besedil

S prispevanjem besedil v korpus Gigafida pomembno prispevate k razvoju sodobnih jezikovnih tehnologij za slovenski jezik.

PRISPEVAJTE BESEDILA

Zbiranje besedil za razvoj referenčnega korpusa Gigafida.

Dostop do portala za prispevanje besedil

Zbiranje prevodov

davidb — Thu, 27 May 2021 14:21:26 +0000

Zbiranje prevodov davidb Čet, 05/27/2021 - 16:21

Portal za prispevanje prevodov

S prispevanjem besedil v korpus prevodov boste pomembno prispevali k razvoju slovenskega strojnega prevajalnika med angleščino in slovenščino.

PRISPEVAJTE PREVODE

V sklopu 4 bomo razvili strojni prevajalnik za jezikovni par angleščina-slovenščina, ki bo na voljo na portalu RSDO kot spletna aplikacija, kot del cevovoda za govorno prevajanje in kot programska koda pod odprtokodno licenco, ki bo omogočala tudi komercialno rabo.

Razvoj jezikovnih tehnologij, kot je strojno prevajanje, je ključnega pomena za preživetje jezika v digitalni dobi, saj jih ne bo mogoče vključiti v nove načine komunikacije in metode dela ter preživljanja prostega časa, ki nam bodo na voljo v prihodnosti. Del te nevarnosti lahko že opazimo v segmentu pametnih asistentov, s katerimi se že danes lahko pogovarjamo – vendar le v nekaj jezikih (Amazon Alexa, 8 jezikov, Google Assistant, 13 jezikov in Apple Siri, 21 jezikov). S projektom RSDO želimo slovenščino pripeljati v družbo teh jezikov.

Za razvoj kakovostnega strojnega prevajalnika je treba zbrati čim večje količine prevedenih in poravnanih besedil. V primerjavi z večjimi jeziki je slovenščina v slabšem položaju, saj manj govorcev pomeni tudi manjšo količino prevodov, poleg tega pa so manjši jeziki tudi manj tržno zanimivi za razvoj komercialnih rešitev. Groba ocena količine poravnanih segmentov za jezikovni par ANG-SLO je 36 milijonov, pri čemer več kot polovica teh segmentov izvira iz podnapisov na spletnem portalu OpenSubtitles, zato so manj uporabni za razvoj strojnega prevajalnika, ki bo lahko uspešno prevajal raznolike tipe besedil. Jeziki z večjim številom govorcev imajo na voljo tudo 3 do 4-krat večje korpuse prevodov.

Iz tega razloga je eden ključnih ciljev sklopa 4 zbiranje poravnanih prevodov in izvirnikov z najrazličnejših področij, zato pozivamo vse, ki pri svojem delu proizvajajo prevode, da prispevajo svoja besedila v korpus prevodov ANG-SLO in tako pomagajo pri razvoju slovenščine v digitalnem okolju.

Potencialni besedilodajalci so lahko javne ustanove, zasebna podjetja, prevajalske agencije in posamezni prevajalci. Spodaj smo pripravili seznam najpogostejših vprašanj in odgovorov, povezanih z zbiranjem.

Odgovori in vprašanja za podjetja in lastnike besedil

Kakšna besedila lahko prispevam?

Za razvoj strojnega prevajalnika potrebujemo originalna besedila in prevode, ki so segmentirani. Tipično to pomeni, da so bili prevedeni s programom za računalniško podprto prevajanje (CAT) in so na voljo v dvojezični XML obliki (pomnilniki prevodov, datoteke XLIFF). Večina profesionalnih prevajalcev in agencij za svoje delo uporablja orodja CAT, da prevode shranijo v bazo in jih pozneje lahko hitro prikličejo, zato jih lahko enostavno vključimo v korpus.

Prevajalska agencija ali prevajalec mi ni posredoval dvojezičnih datotek. Kaj lahko storim?

Običajna praksa v prevajalski industriji je, da prevod ostanejo last naročnika, razen če je s pogodbo izrecno določeno drugače. Zato lahko pozovete svojega ponudnika prevodov, naj vam posreduje dvojezične datoteke, ki jih potem lahko prispevate v projekt RSDO.

Kaj pa če vseeno ne morem dobiti dvojezičnih datotek?

Večje količine izvirnih besedil in njihovih prevodov je mogoče poravnati tudi naknadno. Najnovejše samodejne rešitve dosegajo visoko natančnost in v projektu bomo razvili aplikacije, ki bodo omogočale strojno poravnavo besedil med jeziki, zato lahko prispevate tudi prevode, ki niso poravnani.

Želim prispevati besedila, vendar so v njih osebni podatki. Kaj lahko storim?

Osebni podatki in druge občutljive informacije je mogoče anonimizirati s postopki polavtomatske psevdonimizacije. Rezultati so zelo dobri in pred vključitvijo besedil v korpus jih boste dobili v pregled. Šele po vaši odobritvi jih bomo dodali v korpus.

Želim prispevati besedila, vendar ne želim, da bi tretje osebe lahko dostopale do mojih dokumentov.

Stavki v korpusu bodo randomizirani, t.j. pomešani med seboj v naključnem vrstnem redu. Prav tako bomo odstranili vse metapodatke, na podlagi katerih bi bilo mogoče retroaktivno sestaviti celotne dokumente, dodatno pa lahko tudi anonimiziramo imena podjetij, nazive izdelkov, naslove in podobno.

Želim prispevati besedila, vendar nisem zadovoljen s kakovostjo prevodov.

To je pogost pomislek številnih potencialnih besedilodajalcev in kaže na visoko stopnjo skrbi za materni jezik, vendar je v večini primerov ta skrb odveč. Sodobni algoritmi, ki delujejo po principu globokih nevronskih mrež, namreč lahko zelo učinkovito prepoznajo slabe oz. nestandardne prevode in jih v procesu učenja izločijo. Glede na princip gradnje korpusa (randomizirani stavki, brez metapodatkov) pa tudi ni bojazni, da bi bilo enostavno ugotoviti izvor morebitnih slabih prevodov v korpusu.

Ali je za prispevanje prevodov v korpus predvideno nadomestilo?

V okviru projekta RSDO je predvideno določeno denarno nadomestilo za prispevanje prevodov v korpus prevodov ANG-SLO. Višina je odvisna od količine besedil, področja in relevantnosti. Predlagamo, da nas kontaktirate in pripravili vam bomo prilagojeno ponudbo.

Ali bo korpus javno dostopen?

Da, v skladu z zahtevami projekta bo korpus prevodov ANG-SLO na voljo na portalu CLARIN pod licenco CC-BY-SA 4.0.

Odgovori in vprašanja za prevajalce in prevajalske agencije

Zakaj bi kot prevajalec pomagal pri aktivnosti, ki mi jemlje delo in zaslužek?

Strojni prevajalniki so zagotovo spremenili prevajalski trg v zadnjih 10 do 15 letih. Če so bili še pred desetletjem strojni prevodi iz angleščine v slovenščino praktično neuporabni, so danes vse bolj del običajnega prevajalskega vsakdana v obliki posteditinga, zlasti pri tujih naročnikih. Čeprav je neizogibno dejstvo, da so se tarife znižale, pa je po drugi strani res tudi, da svetovna prevajalska industrija iz leta v leto raste. Tako kot so pred slabimi 30 leti na trg prišla orodja za računalniško podprto prevajanje in povsem spremenila način dela v prevajalski panogi, se zdaj podoben preskok dogaja s strojnim prevajanjem. S projektom RSDO država Slovenija zagotavlja, da se razvoj slovenskega jezika ne bo dogajal samo v zaprtih krogih znotraj velikih (po večini) ameriških multinacionalk, obenem pa želimo tudi izobraziti slovensko javnost in naročnike prevodov, kaj je strojno prevajanje in v kakšnih primerih je njegova uporaba smiselna.

Ali lahko kot prevajalec oziroma prevajalska agencija prispevam besedila?

Za prispevanje besedil v korpus morate biti lastnik prevodov in originalnih besedil, kar prevajalci običajno niso. Preverite, kaj o tem piše v pogodbah o izvajanju prevajalskih storitev z vašimi naročniki.

Ali lahko kako drugače pomagam pri zbiranju besedil za korpus prevodov?

Kot prevajalec lahko obvestite svoje naročnike, da država Slovenija v okviru projekta RSDO odkupuje prevode in jim na tak način zagotovite dodaten vir dohodka. Vaši naročniki bodo zagotovo cenili tak predlog, s čimer boste še poglobili poslovni odnos, kar se bo morda odražalo tudi v novih naročilih prevodov v prihodnosti.

To sporočilo je dobro povzeto na portalu hugo.lv, ki ga je financirala Latvija za latvijski jezik, in je zelo podoben portalu, ki bo razvit v okviru projekta RSDO. V oknu za strojno prevajanje vsebuje naslednje sporočilo:

Mašīntulkošanas rezultāti ļauj saprast teksta nozīmi, bet nevar aizstāt cilvēka radītu tulkojumu.

V prevodu: Strojno prevajanje omogoča razumevanje pomena besedila, vendar ne more nadomestiti profesionalnega prevoda.

(Mimogrede, Google Translate zgornjo poved v slovenščino prevede kot »Rezultati strojnega prevajanja omogočajo razumevanje pomena besedila, vendar ne morejo nadomestiti umetnega prevoda,« kar je še dodaten dokaz, da dela za prevajalce ne bo tako kmalu zmanjkalo.)

Zbiranje besedil za razvoj strojnega prevajalnika.

Dostop do portala za prispevanje prevodov

Strojno prevajanje

Oddajte besedila

davidb — Mon, 15 Mar 2021 21:01:47 +0000

Oddajte besedila davidb Pon, 03/15/2021 - 22:01

Prevodi

S prispevanjem besedil v korpus prevodov boste pomembno prispevali k razvoju slovenskega strojnega prevajalnika med angleščino in slovenščino.

Oddaja besedil

Odgovori na najpogostejša vprašanja

Gigafida

S prispevanjem besedil v korpus Gigafida pomembno prispevate k razvoju sodobnih jezikovnih tehnologij za slovenski jezik.

Oddaja besedil

Odgovori na najpogostejša vprašanja

Šolar

S prispevanjem besedil v korpus Šolar boste omogočili raziskave šolske pisne produkcije, za pripravo učnih gradiv in razvoj orodij, ki podpirajo učiteljsko delo.

Oddaja besedil

Odgovori na najpogostejša vprašanja

Oddajte besedila za razvoj jezikovnih orodij.

Nova spletna stran

davidb — Wed, 25 Nov 2020 21:25:14 +0000

Nova spletna stran davidb Sre, 11/25/2020 - 22:25

Projekt Razvoj slovenščine v digitalnem okolju ima novo spletno stran. Na njej boste našli vse informacije o vsebini projekta, projektnih partnerjih in dinamiki našega dela, sproti pa vas bomo obveščali tudi o trenutno aktualnih projektnih aktivnostih.

RSDO Novice

Podpis pogodbe

davidb — Wed, 25 Nov 2020 21:07:51 +0000

Podpis pogodbe davidb Sre, 11/25/2020 - 22:07

17. 11. 2020 je bila podpisana pogodba za financiranje projekta Razvoj slovenščine v digitalnem okolju med Univerzo v Ljubljani in Ministrstvom za kulturo Republike Slovenije.

Na ta način je bilo zagotovljeno financiranje projekta s sredstvi Evropski strukturnih in investicijskih skladov. Projekt je bil izbran za financiranje 22. 4. 2020, delo na projektu pa se je začelo že v mesecu maju letos.

RSDO Novice

Slovenščina.eu

Zbiranje besedil za korpus Šolar

Portal za prispevanje besedil

Koraki za oddajo besedil

1. Odločitev za sodelovanje

2. Urejanje sodelovanja s šolo

3. Zbiranje besedil

4. Oddaja besedil

Vprašanja in odgovori

VLOGA (KOORDINATOR/-KA, MENTOR/-ICA), TOČKE IN POTRDILA O SODELOVANJU

Katero vlogo naj izberem?

Koliko koordinatorjev in mentorjev je lahko na isti šoli?

Koliko točk dobim za sodelovanje, glede na vlogo, ki jo opravljam?

Ali lahko potrdilo o sodelovanju pri aktivnosti uveljavljam pri napredovanju zaposlenih v vzgoji in izobraževanju v pedagoške nazive?

Ali je sodelovanje pri projektu vezano na šolsko ali koledarsko leto?

Kaj se zgodi, če po prvem letu ne morem več sodelovati?

Ali lahko sodelujejo samo učitelji/-ce, ki poučujejo slovenščino?

POGODBE

(a) pogodba o sodelovanju oz. pogodba s šolo:

(b) pogodba o prenosu pravic oz. pogodba z učenci ali njihovimi zastopniki:

Ali moramo dati v podpis 2 pogodbi: eno za šolo in eno za starše?

Ali lahko pogodbe/soglasja za sodelovanje pri vaši aktivnosti nadomestim z internimi obrazci, ki jih že uporabljamo za pridobivanje soglasij za izvajanje podobnih aktivnosti na šoli?

BESEDILA

Kakšne vrste besedil zbiramo: so to lahko basni, dnevniški zapisi ali spisi o različnih tematikah?

Lahko oddamo tudi besedila, ki niso nastala pri pouku, ampak pri delu doma?

Ali je določeno minimalno število besedil, ki jih je treba oddati?

Povratne informacije

Kazalniki

Anketa o korpusih Gigafida 2.0 in Janes

Predstavitev aktivnosti na področju razvoja strojnih prevajalnikov za jezikovni par ANG–SLO

Zbiranje besedil za korpus Gigafida

Portal za prispevanje besedil

Zbiranje prevodov

Portal za prispevanje prevodov

Odgovori in vprašanja za podjetja in lastnike besedil

Kakšna besedila lahko prispevam?

Prevajalska agencija ali prevajalec mi ni posredoval dvojezičnih datotek. Kaj lahko storim?

Kaj pa če vseeno ne morem dobiti dvojezičnih datotek?

Želim prispevati besedila, vendar so v njih osebni podatki. Kaj lahko storim?

Želim prispevati besedila, vendar ne želim, da bi tretje osebe lahko dostopale do mojih dokumentov.

Želim prispevati besedila, vendar nisem zadovoljen s kakovostjo prevodov.

Ali je za prispevanje prevodov v korpus predvideno nadomestilo?

Ali bo korpus javno dostopen?

Odgovori in vprašanja za prevajalce in prevajalske agencije

Zakaj bi kot prevajalec pomagal pri aktivnosti, ki mi jemlje delo in zaslužek?

Ali lahko kot prevajalec oziroma prevajalska agencija prispevam besedila?

Ali lahko kako drugače pomagam pri zbiranju besedil za korpus prevodov?

Oddajte besedila

Prevodi

Gigafida

Šolar

Nova spletna stran

Podpis pogodbe