fixed bug in verbs_preprocessing

main.py

@@ -14,10 +14,11 @@ postimees_urls = get_postimees_urls()
 
 print("extracting text from the urls...")
 articles = []
-for i in tqdm(range(len(postimees_urls))): # loading bar
+for i in tqdm(range(3935, len(postimees_urls))): # loading bar
 	url = postimees_urls[i]
-	articles.append(get_text(url))
-write_to_file(articles, 'articles.txt')
+	article = get_text(url)
+	write_to_file(article, 'articles.txt', 'a')
+
 
 # # try to find a verb in an article
 # for column in verbs:

postimees.py

@@ -18,5 +18,5 @@ def save_postimees_urls():
 			print("Extracted links from %i pages" % page_index)
 			break
 		page_index += 1
-	write_to_file(url_list, 'postimees_urls.txt')
+	write_to_file(url_list, 'postimees_urls.txt', 'w')
 	return url_list
\ No newline at end of file

postimees_preprocessing.py

+from verbs_preprocessing import get_preprocessed_verbs, preprocess_verbs
+import re
+
+def extract_sentences(verbs, articles):
+	for i in range(len(verbs)):
+		verb = verbs["common_substring"][i]
+		print(verb)
+		occurences = [m.start() for m in re.finditer(verb, articles)]
+		print(occurences)
+
+
+with open('articles.txt', 'r', encoding='utf-8') as articles:
+    articles = articles.read().replace('\n', '')
+verbs = get_preprocessed_verbs()
+extract_sentences(verbs, articles)
\ No newline at end of file

preprocessed_verbs.csv

@@ -55,7 +55,7 @@ alpima,alpida,albib,albitakse,alpige,alpis,alpinud,albitud,al
 alustama,alustada,alustab,alustatakse,alustage,alustas,alustanud,alustatud,alusta
 alustuma,alustuda,alustub,alustutakse,alustuge,alustus,alustunud,alustutud,alustu
 ameerikastuma,ameerikastuda,ameerikastub,ameerikastutakse,ameerikastuge,ameerikastus,ameerikastunud,ameerikastutud,ameerikastu
-amelema,amelda|ameleda,ameleb,ameldakse|ameletakse,amelge|amelege,ameles,amelnud|amelenud,ameldud|ameletud,
+amelema,amelda,ameleb,ameldakse,amelge,ameles,amelnud,ameldud,amel
 amerikaniseeruma,amerikaniseeruda,amerikaniseerub,amerikaniseerutakse,amerikaniseeruge,amerikaniseerus,amerikaniseerunud,amerikaniseerutud,amerikaniseeru
 ammenduma,ammenduda,ammendub,ammendutakse,ammenduge,ammendus,ammendunud,ammendutud,ammendu
 ammuma,ammuda,ammub,ammutakse,ammuge,ammus,ammunud,ammutud,ammu
@@ -204,7 +204,7 @@ efektitsema,efektitseda,efektitseb,efektitsetakse,efektitsege,efektitses,efektit
 ehitama,ehitada,ehitab,ehitatakse,ehitage,ehitas,ehitanud,ehitatud,ehita
 ehmatama,ehmatada,ehmatab,ehmatatakse,ehmatage,ehmatas,ehmatanud,ehmatatud,ehmata
 ehmuma,ehmuda,ehmub,ehmutakse,ehmuge,ehmus,ehmunud,ehmutud,ehmu
-ehtima,ehtida,ehib|ehtib,ehitakse|ehtitakse,ehtige,ehtis,ehtinud,ehitud|ehtitud,ehti
+ehtima,ehtida,ehib,ehitakse,ehtige,ehtis,ehtinud,ehitud,eh
 einestama,einestada,einestab,einestatakse,einestage,einestas,einestanud,einestatud,einesta
 einetama,einetada,einetab,einetatakse,einetage,einetas,einetanud,einetatud,eineta
 eitama,eitada,eitab,eitatakse,eitage,eitas,eitanud,eitatud,eita
@@ -349,7 +349,7 @@ harunema,haruneda,haruneb,harunetakse,harunege,harunes,harunenud,harunetud,harun
 harvenema,harveneda,harveneb,harvenetakse,harvenege,harvenes,harvenenud,harvenetud,harvene
 hassetama,hassetada,hassetab,hassetatakse,hassetage,hassetas,hassetanud,hassetatud,hasseta
 hatutama,hatutada,hatutab,hatutatakse,hatutage,hatutas,hatutanud,hatutatud,hatuta
-hauduma,haududa,haub|haudub,hautakse|haudutakse,hauduge,haudus,haudunud,hautud|haudutud,haudu
+hauduma,haududa,haub,hautakse,hauduge,haudus,haudunud,hautud,hau
 hautama,hautada,hautab,hautatakse,hautage,hautas,hautanud,hautatud,hauta
 heiastuma,heiastuda,heiastub,heiastutakse,heiastuge,heiastus,heiastunud,heiastutud,heiastu
 heiklema,heigelda,heikleb,heigeldakse,heigelge,heikles,heigelnud,heigeldud,hei
@@ -418,7 +418,7 @@ hoomama,hoomata,hoomab,hoomatakse,hoomake,hoomas,hoomanud,hoomatud,hooma
 hooplema,hoobelda,hoopleb,hoobeldakse,hoobelge,hooples,hoobelnud,hoobeldud,hoo
 hoovama,hoovata,hoovab,hoovatakse,hoovake,hoovas,hoovanud,hoovatud,hoova
 hopsama,hopsata,hopsab,hopsatakse,hopsake,hopsas,hopsanud,hopsatud,hopsa
-hõbelema,hõbelda|hõbeleda,hõbeleb,hõbeldakse|hõbeletakse,hõbelge|hõbelege,hõbeles,hõbelnud|hõbelenud,hõbeldud|hõbeletud,
+hõbelema,hõbelda,hõbeleb,hõbeldakse,hõbelge,hõbeles,hõbelnud,hõbeldud,hõbel
 hõbendama,hõbendada,hõbendab,hõbendatakse,hõbendage,hõbendas,hõbendanud,hõbendatud,hõbenda
 hõbenema,hõbeneda,hõbeneb,hõbenetakse,hõbenege,hõbenes,hõbenenud,hõbenetud,hõbene
 hõbestuma,hõbestuda,hõbestub,hõbestutakse,hõbestuge,hõbestus,hõbestunud,hõbestutud,hõbestu
@@ -438,7 +438,7 @@ huigatama,huigatada,huigatab,huigatatakse,huigatage,huigatas,huigatanud,huigatat
 huiklema,huigelda,huikleb,huigeldakse,huigelge,huikles,huigelnud,huigeldud,hui
 huilatama,huilatada,huilatab,huilatatakse,huilatage,huilatas,huilatanud,huilatatud,huilata
 huilutama,huilutada,huilutab,huilutatakse,huilutage,huilutas,huilutanud,huilutatud,huiluta
-hukkuma,hukkuda,hukkub|hukub,hukkutakse|hukutakse,hukkuge,hukkus,hukkunud,hukkutud|hukutud,hukku
+hukkuma,hukkuda,hukkub,hukkutakse,hukkuge,hukkus,hukkunud,hukkutud,hukku
 huligaanitsema,huligaanitseda,huligaanitseb,huligaanitsetakse,huligaanitsege,huligaanitses,huligaanitsenud,huligaanitsetud,huligaanitse
 huljuma,huljuda,huljub,huljutakse,huljuge,huljus,huljunud,huljutud,hulju
 hulkuma,hulkuda,hulgub,hulgutakse,hulkuge,hulkus,hulkunud,hulgutud,hul
@@ -461,7 +461,7 @@ hägustuma,hägustuda,hägustub,hägustutakse,hägustuge,hägustus,hägustunud,h
 häilatama,häilatada,häilatab,häilatatakse,häilatage,häilatas,häilatanud,häilatatud,häilata
 häirima,häirida,häirib,häiritakse,häirige,häiris,häirinud,häiritud,häiri
 häiruma,häiruda,häirub,häirutakse,häiruge,häirus,häirunud,häirutud,häiru
-hälbima,hälbida,hälbib|hälvib,hälbitakse|hälvitakse,hälbige,hälbis,hälbinud,hälbitud|hälvitud,hälbi
+hälbima,hälbida,hälbib,hälbitakse,hälbige,hälbis,hälbinud,hälbitud,hälbi
 hälvitama,hälvitada,hälvitab,hälvitatakse,hälvitage,hälvitas,hälvitanud,hälvitatud,hälvita
 hämarduma,hämarduda,hämardub,hämardutakse,hämarduge,hämardus,hämardunud,hämardutud,hämardu
 hämarnema,hämarneda,hämarneb,hämarnetakse,hämarnege,hämarnes,hämarnenud,hämarnetud,hämarne
@@ -588,7 +588,7 @@ isutsema,isutseda,isutseb,isutsetakse,isutsege,isutses,isutsenud,isutsetud,isuts
 itsitama,itsitada,itsitab,itsitatakse,itsitage,itsitas,itsitanud,itsitatud,itsita
 jaburdama,jaburdada,jaburdab,jaburdatakse,jaburdage,jaburdas,jaburdanud,jaburdatud,jaburda
 jagama,jagada,jagab,jagatakse,jagage,jagas,jaganud,jagatud,jaga
-jagelema,jagelda|jageleda,jageleb,jageldakse|jageletakse,jagelge|jagelege,jageles,jagelnud|jagelenud,jageldud|jageletud,
+jagelema,jagelda,jageleb,jageldakse,jagelge,jageles,jagelnud,jageldud,jagel
 jagunema,jaguneda,jaguneb,jagunetakse,jagunege,jagunes,jagunenud,jagunetud,jagune
 jahendama,jahendada,jahendab,jahendatakse,jahendage,jahendas,jahendanud,jahendatud,jahenda
 jahenema,jaheneda,jaheneb,jahenetakse,jahenege,jahenes,jahenenud,jahenetud,jahene
@@ -655,7 +655,7 @@ juhmuma,juhmuda,juhmub,juhmutakse,juhmuge,juhmus,juhmunud,juhmutud,juhmu
 juhtima,juhtida,juhib,juhitakse,juhtige,juhtis,juhtinud,juhitud,juh
 juhtuma,juhtuda,juhtub,juhtutakse,juhtuge,juhtus,juhtunud,juhtutud,juhtu
 jukerdama,jukerdada,jukerdab,jukerdatakse,jukerdage,jukerdas,jukerdanud,jukerdatud,jukerda
-julgema,julgeda,julgeb,juletakse|julgetakse,julgege,julges,julenud|julgenud,juletud|julgetud,
+julgema,julgeda,julgeb,juletakse,julgege,julges,julenud,juletud,jul
 julgustama,julgustada,julgustab,julgustatakse,julgustage,julgustas,julgustanud,julgustatud,julgusta
 julmutsema,julmutseda,julmutseb,julmutsetakse,julmutsege,julmutses,julmutsenud,julmutsetud,julmutse
 jumaldama,jumaldada,jumaldab,jumaldatakse,jumaldage,jumaldas,jumaldanud,jumaldatud,jumalda
@@ -737,7 +737,7 @@ kahtuma,kahtuda,kahtub,kahtutakse,kahtuge,kahtus,kahtunud,kahtutud,kahtu
 kahutama,kahutada,kahutab,kahutatakse,kahutage,kahutas,kahutanud,kahutatud,kahuta
 kahvatama,kahvatada,kahvatab,kahvatatakse,kahvatage,kahvatas,kahvatanud,kahvatatud,kahvata
 kahvatuma,kahvatuda,kahvatub,kahvatutakse,kahvatuge,kahvatus,kahvatunud,kahvatutud,kahvatu
-kaikuma,kaikuda,kaigub|kaikub,kaigutakse|kaikutakse,kaikuge,kaikus,kaikunud,kaigutud|kaikutud,kaiku
+kaikuma,kaikuda,kaigub,kaigutakse,kaikuge,kaikus,kaikunud,kaigutud,kai
 kainendama,kainendada,kainendab,kainendatakse,kainendage,kainendas,kainendanud,kainendatud,kainenda
 kainenema,kaineneda,kaineneb,kainenetakse,kainenege,kainenes,kainenenud,kainenetud,kainene
 kaitsma,kaitsta,kaitseb,kaitstakse,kaitske,kaitses,kaitsnud,kaitstud,kaits
@@ -890,7 +890,7 @@ kigatsema,kigatseda,kigatseb,kigatsetakse,kigatsege,kigatses,kigatsenud,kigatset
 kigisema,kigiseda,kigiseb,kigisetakse,kigisege,kigises,kigisenud,kigisetud,kigise
 kihama,kihada,kihab,kihatakse,kihage,kihas,kihanud,kihatud,kiha
 kiharduma,kiharduda,kihardub,kihardutakse,kiharduge,kihardus,kihardunud,kihardutud,kihardu
-kihelema,kihelda|kiheleda,kiheleb,kiheldakse|kiheletakse,kihelge|kihelege,kiheles,kihelnud|kihelenud,kiheldud|kiheletud,
+kihelema,kihelda,kiheleb,kiheldakse,kihelge,kiheles,kihelnud,kiheldud,kihel
 kiherdama,kiherdada,kiherdab,kiherdatakse,kiherdage,kiherdas,kiherdanud,kiherdatud,kiherda
 kiherduma,kiherduda,kiherdub,kiherdutakse,kiherduge,kiherdus,kiherdunud,kiherdutud,kiherdu
 kihisema,kihiseda,kihiseb,kihisetakse,kihisege,kihises,kihisenud,kihisetud,kihise
@@ -1204,7 +1204,7 @@ kõbistama,kõbistada,kõbistab,kõbistatakse,kõbistage,kõbistas,kõbistanud,k
 kõduma,kõduda,kõdub,kõdutakse,kõduge,kõdus,kõdunud,kõdutud,kõdu
 kõdunema,kõduneda,kõduneb,kõdunetakse,kõdunege,kõdunes,kõdunenud,kõdunetud,kõdune
 kõgisema,kõgiseda,kõgiseb,kõgisetakse,kõgisege,kõgises,kõgisenud,kõgisetud,kõgise
-kõhelema,kõhelda|kõheleda,kõheleb,kõheldakse|kõheletakse,kõhelge|kõhelege,kõheles,kõhelnud|kõhelenud,kõheldud|kõheletud,
+kõhelema,kõhelda,kõheleb,kõheldakse,kõhelge,kõheles,kõhelnud,kõheldud,kõhel
 kõhetuma,kõhetuda,kõhetub,kõhetutakse,kõhetuge,kõhetus,kõhetunud,kõhetutud,kõhetu
 kõhisema,kõhiseda,kõhiseb,kõhisetakse,kõhisege,kõhises,kõhisenud,kõhisetud,kõhise
 kõhklema,kõhelda,kõhkleb,kõheldakse,kõhelge,kõhkles,kõhelnud,kõheldud,kõh
@@ -1282,7 +1282,7 @@ krampuma,krampuda,krampub,kramputakse,krampuge,krampus,krampunud,kramputud,kramp
 krapsatama,krapsatada,krapsatab,krapsatatakse,krapsatage,krapsatas,krapsatanud,krapsatatud,krapsata
 kratsima,kratsida,kratsib,kratsitakse,kratsige,kratsis,kratsinud,kratsitud,kratsi
 krebima,krebida,krebib,krebitakse,krebige,krebis,krebinud,krebitud,krebi
-kribelema,kribelda|kribeleda,kribeleb,kribeldakse|kribeletakse,kribelge|kribelege,kribeles,kribelnud|kribelenud,kribeldud|kribeletud,
+kribelema,kribelda,kribeleb,kribeldakse,kribelge,kribeles,kribelnud,kribeldud,kribel
 kribisema,kribiseda,kribiseb,kribisetakse,kribisege,kribises,kribisenud,kribisetud,kribise
 krigisema,krigiseda,krigiseb,krigisetakse,krigisege,krigises,krigisenud,krigisetud,krigise
 kriiksatama,kriiksatada,kriiksatab,kriiksatatakse,kriiksatage,kriiksatas,kriiksatanud,kriiksatatud,kriiksata
@@ -1389,7 +1389,7 @@ kurtuma,kurtuda,kurtub,kurtutakse,kurtuge,kurtus,kurtunud,kurtutud,kurtu
 kurvastuma,kurvastuda,kurvastub,kurvastutakse,kurvastuge,kurvastus,kurvastunud,kurvastutud,kurvastu
 kurvatsema,kurvatseda,kurvatseb,kurvatsetakse,kurvatsege,kurvatses,kurvatsenud,kurvatsetud,kurvatse
 kusema,kusta,kuseb,kustakse,kuske,kusi,kusnud,kustud,kus
-kuselema,kuselda|kuseleda,kuseleb,kuseldakse|kuseletakse,kuselge|kuselege,kuseles,kuselnud|kuselenud,kuseldud|kuseletud,
+kuselema,kuselda,kuseleb,kuseldakse,kuselge,kuseles,kuselnud,kuseldud,kusel
 kustuma,kustuda,kustub,kustutakse,kustuge,kustus,kustunud,kustutud,kustu
 kustunema,kustuneda,kustuneb,kustunetakse,kustunege,kustunes,kustunenud,kustunetud,kustune
 kustutama,kustutada,kustutab,kustutatakse,kustutage,kustutas,kustutanud,kustutatud,kustuta
@@ -1488,7 +1488,7 @@ köönerdama,köönerdada,köönerdab,köönerdatakse,köönerdage,köönerdas,k
 kööpama,kööbata,kööpab,kööbatakse,kööbake,kööpas,kööbanud,kööbatud,köö
 köötsutama,köötsutada,köötsutab,köötsutatakse,köötsutage,köötsutas,köötsutanud,köötsutatud,köötsuta
 küdema,küdeda,köeb,köetakse,küdege,küdes,küdenud,köetud,k
-kügelema,kügelda|kügeleda,kügeleb,kügeldakse|kügeletakse,kügelge|kügelege,kügeles,kügelnud|kügelenud,kügeldud|kügeletud,
+kügelema,kügelda,kügeleb,kügeldakse,kügelge,kügeles,kügelnud,kügeldud,kügel
 kühmitama,kühmitada,kühmitab,kühmitatakse,kühmitage,kühmitas,kühmitanud,kühmitatud,kühmita
 kühmuma,kühmuda,kühmub,kühmutakse,kühmuge,kühmus,kühmunud,kühmutud,kühmu
 kühmutama,kühmutada,kühmutab,kühmutatakse,kühmutage,kühmutas,kühmutanud,kühmutatud,kühmuta
@@ -1512,7 +1512,7 @@ kütkestuma,kütkestuda,kütkestub,kütkestutakse,kütkestuge,kütkestus,kütkes
 küttuma,küttuda,küttub,küttutakse,küttuge,küttus,küttunud,küttutud,küttu
 küübestuma,küübestuda,küübestub,küübestutakse,küübestuge,küübestus,küübestunud,küübestutud,küübestu
 küünitama,küünitada,küünitab,küünitatakse,küünitage,küünitas,küünitanud,küünitatud,küünita
-küündima,küündida,küündib|küünib,küünditakse|küünitakse,küündige,küündis,küündinud,küünditud|küünitud,küündi
+küündima,küündida,küündib,küünditakse,küündige,küündis,küündinud,küünditud,küündi
 küünituma,küünituda,küünitub,küünitutakse,küünituge,küünitus,küünitunud,küünitutud,küünitu
 küürduma,küürduda,küürdub,küürdutakse,küürduge,küürdus,küürdunud,küürdutud,küürdu
 küürima,küürida,küürib,küüritakse,küürige,küüris,küürinud,küüritud,küüri
@@ -1522,7 +1522,7 @@ küütlema,küüdelda,küütleb,küüdeldakse,küüdelge,küütles,küüdelnud,k
 küütsutama,küütsutada,küütsutab,küütsutatakse,küütsutage,küütsutas,küütsutanud,küütsutatud,küütsuta
 laaberdama,laaberdada,laaberdab,laaberdatakse,laaberdage,laaberdas,laaberdanud,laaberdatud,laaberda
 laabuma,laabuda,laabub,laabutakse,laabuge,laabus,laabunud,laabutud,laabu
-laadima,laadida,laadib|laeb,laaditakse|laetakse,laadige,laadis,laadinud,laaditud|laetud,laadi
+laadima,laadida,laadib,laaditakse,laadige,laadis,laadinud,laaditud,laadi
 laaduma,laaduda,laadub,laadutakse,laaduge,laadus,laadunud,laadutud,laadu
 laagerduma,laagerduda,laagerdub,laagerdutakse,laagerduge,laagerdus,laagerdunud,laagerdutud,laagerdu
 laamendama,laamendada,laamendab,laamendatakse,laamendage,laamendas,laamendanud,laamendatud,laamenda
@@ -1591,7 +1591,7 @@ laperdama,laperdada,laperdab,laperdatakse,laperdage,laperdas,laperdanud,laperdat
 lapsestuma,lapsestuda,lapsestub,lapsestutakse,lapsestuge,lapsestus,lapsestunud,lapsestutud,lapsestu
 larisema,lariseda,lariseb,larisetakse,larisege,larises,larisenud,larisetud,larise
 lartsuma,lartsuda,lartsub,lartsutakse,lartsuge,lartsus,lartsunud,lartsutud,lartsu
-laskma,lasta,laseb,lastakse,laske,lasi|laskis,lasknud,lastud,las
+laskma,lasta,laseb,lastakse,laske,lasi,lasknud,lastud,las
 laskuma,laskuda,laskub,laskutakse,laskuge,laskus,laskunud,laskutud,lasku
 lastima,lastida,lastib,lastitakse,lastige,lastis,lastinud,lastitud,lasti
 lasuma,lasuda,lasub,lasutakse,lasuge,lasus,lasunud,lasutud,lasu
@@ -1619,7 +1619,7 @@ legaliseeruma,legaliseeruda,legaliseerub,legaliseerutakse,legaliseeruge,legalise
 lehistuma,lehistuda,lehistub,lehistutakse,lehistuge,lehistus,lehistunud,lehistutud,lehistu
 lehkama,lehata,lehkab,lehatakse,lehake,lehkas,lehanud,lehatud,leh
 lehkima,lehkida,lehib,lehitakse,lehkige,lehkis,lehkinud,lehitud,leh
-lehtima,lehtida,lehib|lehtib,lehitakse|lehtitakse,lehtige,lehtis,lehtinud,lehitud|lehtitud,lehti
+lehtima,lehtida,lehib,lehitakse,lehtige,lehtis,lehtinud,lehitud,leh
 lehvatama,lehvatada,lehvatab,lehvatatakse,lehvatage,lehvatas,lehvatanud,lehvatatud,lehvata
 lehverdama,lehverdada,lehverdab,lehverdatakse,lehverdage,lehverdas,lehverdanud,lehverdatud,lehverda
 lehvima,lehvida,lehvib,lehvitakse,lehvige,lehvis,lehvinud,lehvitud,lehvi
@@ -1724,7 +1724,7 @@ lodisema,lodiseda,lodiseb,lodisetakse,lodisege,lodises,lodisenud,lodisetud,lodis
 lodustuma,lodustuda,lodustub,lodustutakse,lodustuge,lodustus,lodustunud,lodustutud,lodustu
 loenduma,loenduda,loendub,loendutakse,loenduge,loendus,loendunud,loendutud,loendu
 loetlema,loetleda,loetleb,loetletakse,loetlege,loetles,loetlenud,loetletud,loetle
-logelema,logelda|logeleda,logeleb,logeldakse|logeletakse,logelge|logelege,logeles,logelnud|logelenud,logeldud|logeletud,
+logelema,logelda,logeleb,logeldakse,logelge,logeles,logelnud,logeldud,logel
 logisema,logiseda,logiseb,logisetakse,logisege,logises,logisenud,logisetud,logise
 lohisema,lohiseda,lohiseb,lohisetakse,lohisege,lohises,lohisenud,lohisetud,lohise
 lohkuma,lohkuda,lohkub,lohkutakse,lohkuge,lohkus,lohkunud,lohkutud,lohku
@@ -1829,7 +1829,7 @@ lõõtsatama,lõõtsatada,lõõtsatab,lõõtsatatakse,lõõtsatage,lõõtsatas,l
 lõõtsutama,lõõtsutada,lõõtsutab,lõõtsutatakse,lõõtsutage,lõõtsutas,lõõtsutanud,lõõtsutatud,lõõtsuta
 lõpma,lõppa,lõpeb,lõpetakse,lõpke,lõppis,lõpnud,lõpetud,lõp
 lõpetama,lõpetada,lõpetab,lõpetatakse,lõpetage,lõpetas,lõpetanud,lõpetatud,lõpeta
-lõppema,lõppeda,lõpeb|lõppeb,lõpetakse|lõppetakse,lõppege,lõppes,lõppenud,lõpetud|lõppetud,lõppe
+lõppema,lõppeda,lõpeb,lõpetakse,lõppege,lõppes,lõppenud,lõpetud,lõp
 lõrtsatama,lõrtsatada,lõrtsatab,lõrtsatatakse,lõrtsatage,lõrtsatas,lõrtsatanud,lõrtsatatud,lõrtsata
 lõsutama,lõsutada,lõsutab,lõsutatakse,lõsutage,lõsutas,lõsutanud,lõsutatud,lõsuta
 lõtkuma,lõtkuda,lõtkub,lõtkutakse,lõtkuge,lõtkus,lõtkunud,lõtkutud,lõtku
@@ -2040,14 +2040,14 @@ mõrunema,mõruneda,mõruneb,mõrunetakse,mõrunege,mõrunes,mõrunenud,mõrunet
 mõrustuma,mõrustuda,mõrustub,mõrustutakse,mõrustuge,mõrustus,mõrustunud,mõrustutud,mõrustu
 mõtestama,mõtestada,mõtestab,mõtestatakse,mõtestage,mõtestas,mõtestanud,mõtestatud,mõtesta
 mõtestuma,mõtestuda,mõtestub,mõtestutakse,mõtestuge,mõtestus,mõtestunud,mõtestutud,mõtestu
-mõtlema,mõelda|mõtelda,mõtleb,mõeldakse|mõteldakse,mõelge|mõtelge,mõtles,mõelnud|mõtelnud,mõeldud|mõteldud,
+mõtlema,mõelda,mõtleb,mõeldakse,mõelge,mõtles,mõelnud,mõeldud,mõ
 mõurama,mõurata,mõurab,mõuratakse,mõurake,mõuras,mõuranud,mõuratud,mõura
 mudastuma,mudastuda,mudastub,mudastutakse,mudastuge,mudastus,mudastunud,mudastutud,mudastu
 muganduma,muganduda,mugandub,mugandutakse,muganduge,mugandus,mugandunud,mugandutud,mugandu
 muganema,muganeda,muganeb,muganetakse,muganege,muganes,muganenud,muganetud,mugane
 mugatsema,mugatseda,mugatseb,mugatsetakse,mugatsege,mugatses,mugatsenud,mugatsetud,mugatse
 mugavnema,mugavneda,mugavneb,mugavnetakse,mugavnege,mugavnes,mugavnenud,mugavnetud,mugavne
-muhelema,muhelda|muheleda,muheleb,muheldakse|muheletakse,muhelge|muhelege,muheles,muhelnud|muhelenud,muheldud|muheletud,
+muhelema,muhelda,muheleb,muheldakse,muhelge,muheles,muhelnud,muheldud,muhel
 muhenema,muheneda,muheneb,muhenetakse,muhenege,muhenes,muhenenud,muhenetud,muhene
 muiahtama,muiahtada,muiahtab,muiahtatakse,muiahtage,muiahtas,muiahtanud,muiahtatud,muiahta
 muiatama,muiatada,muiatab,muiatatakse,muiatage,muiatas,muiatanud,muiatatud,muiata
@@ -2185,7 +2185,7 @@ neljakordistuma,neljakordistuda,neljakordistub,neljakordistutakse,neljakordistug
 nestima,nestida,nestib,nestitakse,nestige,nestis,nestinud,nestitud,nesti
 neutraliseeruma,neutraliseeruda,neutraliseerub,neutraliseerutakse,neutraliseeruge,neutraliseerus,neutraliseerunud,neutraliseerutud,neutraliseeru
 nigisema,nigiseda,nigiseb,nigisetakse,nigisege,nigises,nigisenud,nigisetud,nigise
-nihelema,nihelda|niheleda,niheleb,niheldakse|niheletakse,nihelge|nihelege,niheles,nihelnud|nihelenud,niheldud|niheletud,
+nihelema,nihelda,niheleb,niheldakse,nihelge,niheles,nihelnud,niheldud,nihel
 nihestuma,nihestuda,nihestub,nihestutakse,nihestuge,nihestus,nihestunud,nihestutud,nihestu
 nihkuma,nihkuda,nihkub,nihkutakse,nihkuge,nihkus,nihkunud,nihkutud,nihku
 nihutama,nihutada,nihutab,nihutatakse,nihutage,nihutas,nihutanud,nihutatud,nihuta
@@ -2283,7 +2283,7 @@ nuutsatama,nuutsatada,nuutsatab,nuutsatatakse,nuutsatage,nuutsatas,nuutsatanud,n
 nuutsuma,nuutsuda,nuutsub,nuutsutakse,nuutsuge,nuutsus,nuutsunud,nuutsutud,nuutsu
 näbrastama,näbrastada,näbrastab,näbrastatakse,näbrastage,näbrastas,näbrastanud,näbrastatud,näbrasta
 nägema,näha,näeb,nähakse,nähke,nägi,näinud,nähtud,nä
-nägelema,nägelda|nägeleda,nägeleb,nägeldakse|nägeletakse,nägelge|nägelege,nägeles,nägelnud|nägelenud,nägeldud|nägeletud,
+nägelema,nägelda,nägeleb,nägeldakse,nägelge,nägeles,nägelnud,nägeldud,nägel
 nägima,nägida,nägib,nägitakse,nägige,nägis,näginud,nägitud,nägi
 nägurdama,nägurdada,nägurdab,nägurdatakse,nägurdage,nägurdas,nägurdanud,nägurdatud,nägurda
 nähtuma,nähtuda,nähtub,nähtutakse,nähtuge,nähtus,nähtunud,nähtutud,nähtu
@@ -2343,7 +2343,7 @@ okastuma,okastuda,okastub,okastutakse,okastuge,okastus,okastunud,okastutud,okast
 okludeeruma,okludeeruda,okludeerub,okludeerutakse,okludeeruge,okludeerus,okludeerunud,okludeerutud,okludeeru
 oksüdeeruma,oksüdeeruda,oksüdeerub,oksüdeerutakse,oksüdeeruge,oksüdeerus,oksüdeerunud,oksüdeerutud,oksüdeeru
 olema,olla,on,ollakse,olge,oli,olnud,oldud,o
-olelema,olelda|oleleda,oleleb,oleldakse|oleletakse,olelge|olelege,oleles,olelnud|olelenud,oleldud|oleletud,
+olelema,olelda,oleleb,oleldakse,olelge,oleles,olelnud,oleldud,olel
 olenema,oleneda,oleneb,olenetakse,olenege,olenes,olenenud,olenetud,olene
 olesklema,oleskleda,oleskleb,oleskletakse,olesklege,oleskles,olesklenud,oleskletud,oleskle
 oletama,oletada,oletab,oletatakse,oletage,oletas,oletanud,oletatud,oleta
@@ -2524,7 +2524,7 @@ pesitsema,pesitseda,pesitseb,pesitsetakse,pesitsege,pesitses,pesitsenud,pesitset
 pesituma,pesituda,pesitub,pesitutakse,pesituge,pesitus,pesitunud,pesitutud,pesitu
 petma,petta,petab,petetakse,petke,pettis,petnud,petetud,pet
 pettuma,pettuda,pettub,pettutakse,pettuge,pettus,pettunud,pettutud,pettu
-pidama,pidada,peab,peetakse,pidage,pidi|pidas,pidanud,peetud,p
+pidama,pidada,peab,peetakse,pidage,pidi,pidanud,peetud,p
 pidurdama,pidurdada,pidurdab,pidurdatakse,pidurdage,pidurdas,pidurdanud,pidurdatud,pidurda
 pidurduma,pidurduda,pidurdub,pidurdutakse,pidurduge,pidurdus,pidurdunud,pidurdutud,pidurdu
 pidustama,pidustada,pidustab,pidustatakse,pidustage,pidustas,pidustanud,pidustatud,pidusta
@@ -2801,7 +2801,7 @@ pühenduma,pühenduda,pühendub,pühendutakse,pühenduge,pühendus,pühendunud,p
 püherdama,püherdada,püherdab,püherdatakse,püherdage,püherdas,püherdanud,püherdatud,püherda
 pühkima,pühkida,pühib,pühitakse,pühkige,pühkis,pühkinud,pühitud,püh
 püngima,püngida,püngib,püngitakse,püngige,püngis,pünginud,püngitud,püngi
-pürgima,pürgida,pürgib|pürib,pürgitakse|püritakse,pürgige,pürgis,pürginud,pürgitud|püritud,pürgi
+pürgima,pürgida,pürgib,pürgitakse,pürgige,pürgis,pürginud,pürgitud,pürgi
 püsima,püsida,püsib,püsitakse,püsige,püsis,püsinud,püsitud,püsi
 püsistuma,püsistuda,püsistub,püsistutakse,püsistuge,püsistus,püsistunud,püsistutud,püsistu
 püstitama,püstitada,püstitab,püstitatakse,püstitage,püstitas,püstitanud,püstitatud,püstita
@@ -2814,7 +2814,7 @@ raamistuma,raamistuda,raamistub,raamistutakse,raamistuge,raamistus,raamistunud,r
 raamuma,raamuda,raamub,raamutakse,raamuge,raamus,raamunud,raamutud,raamu
 raatsima,raatsida,raatsib,raatsitakse,raatsige,raatsis,raatsinud,raatsitud,raatsi
 rabastuma,rabastuda,rabastub,rabastutakse,rabastuge,rabastus,rabastunud,rabastutud,rabastu
-rabelema,rabelda|rabeleda,rabeleb,rabeldakse|rabeletakse,rabelge|rabelege,rabeles,rabelnud|rabelenud,rabeldud|rabeletud,
+rabelema,rabelda,rabeleb,rabeldakse,rabelge,rabeles,rabelnud,rabeldud,rabel
 rabenema,rabeneda,rabeneb,rabenetakse,rabenege,rabenes,rabenenud,rabenetud,rabene
 rabestuma,rabestuda,rabestub,rabestutakse,rabestuge,rabestus,rabestunud,rabestutud,rabestu
 rabisema,rabiseda,rabiseb,rabisetakse,rabisege,rabises,rabisenud,rabisetud,rabise
@@ -2849,7 +2849,7 @@ rammustuma,rammustuda,rammustub,rammustutakse,rammustuge,rammustus,rammustunud,r
 rampuma,rampuda,rampub,ramputakse,rampuge,rampus,rampunud,ramputud,rampu
 randuma,randuda,randub,randutakse,randuge,randus,randunud,randutud,randu
 raplema,rapelda,rapleb,rapeldakse,rapelge,raples,rapelnud,rapeldud,rap
-rappuma,rappuda,rappub|rapub,rapputakse|raputakse,rappuge,rappus,rappunud,rapputud|raputud,rappu
+rappuma,rappuda,rappub,rapputakse,rappuge,rappus,rappunud,rapputud,rappu
 raputama,raputada,raputab,raputatakse,raputage,raputas,raputanud,raputatud,raputa
 rasestuma,rasestuda,rasestub,rasestutakse,rasestuge,rasestus,rasestunud,rasestutud,rasestu
 raskenema,raskeneda,raskeneb,raskenetakse,raskenege,raskenes,raskenenud,raskenetud,raskene
@@ -3023,7 +3023,7 @@ röhmitsema,röhmitseda,röhmitseb,röhmitsetakse,röhmitsege,röhmitses,röhmit
 röökima,röökida,röögib,röögitakse,röökige,röökis,röökinud,röögitud,röö
 röötsutama,röötsutada,röötsutab,röötsutatakse,röötsutage,röötsutas,röötsutanud,röötsutatud,röötsuta
 röövima,röövida,röövib,röövitakse,röövige,röövis,röövinud,röövitud,röövi
-rübelema,rübelda|rübeleda,rübeleb,rübeldakse|rübeletakse,rübelge|rübelege,rübeles,rübelnud|rübelenud,rübeldud|rübeletud,
+rübelema,rübelda,rübeleb,rübeldakse,rübelge,rübeles,rübelnud,rübeldud,rübel
 rübima,rübida,rübib,rübitakse,rübige,rübis,rübinud,rübitud,rübi
 rühkima,rühkida,rühib,rühitakse,rühkige,rühkis,rühkinud,rühitud,rüh
 rühklema,rühelda,rühkleb,rüheldakse,rühelge,rühkles,rühelnud,rüheldud,rüh
@@ -3034,7 +3034,7 @@ rühmituma,rühmituda,rühmitub,rühmitutakse,rühmituge,rühmitus,rühmitunud,r
 rühmuma,rühmuda,rühmub,rühmutakse,rühmuge,rühmus,rühmunud,rühmutud,rühmu
 ründama,rünnata,ründab,rünnatakse,rünnake,ründas,rünnanud,rünnatud,rün
 rüntsatama,rüntsatada,rüntsatab,rüntsatatakse,rüntsatage,rüntsatas,rüntsatanud,rüntsatatud,rüntsata
-rüselema,rüselda|rüseleda,rüseleb,rüseldakse|rüseletakse,rüselge|rüselege,rüseles,rüselnud|rüselenud,rüseldud|rüseletud,
+rüselema,rüselda,rüseleb,rüseldakse,rüselge,rüseles,rüselnud,rüseldud,rüsel
 rüüstama,rüüstata,rüüstab,rüüstatakse,rüüstake,rüüstas,rüüstanud,rüüstatud,rüüsta
 rüütuma,rüütuda,rüütub,rüütutakse,rüütuge,rüütus,rüütunud,rüütutud,rüütu
 šlikerdama,šlikerdada,šlikerdab,šlikerdatakse,šlikerdage,šlikerdas,šlikerdanud,šlikerdatud,šlikerda
@@ -3074,7 +3074,7 @@ sapsatama,sapsatada,sapsatab,sapsatatakse,sapsatage,sapsatas,sapsatanud,sapsatat
 sarnanema,sarnaneda,sarnaneb,sarnanetakse,sarnanege,sarnanes,sarnanenud,sarnanetud,sarnane
 sarnlema,sarnelda,sarnleb,sarneldakse,sarnelge,sarnles,sarnelnud,sarneldud,sarn
 sassuma,sassuda,sassub,sassutakse,sassuge,sassus,sassunud,sassutud,sassu
-sattuma,sattuda,sattub|satub,sattutakse|satutakse,sattuge,sattus,sattunud,sattutud|satutud,sattu
+sattuma,sattuda,sattub,sattutakse,sattuge,sattus,sattunud,sattutud,sattu
 seadma,seada,seab,seatakse,seadke,seadis,seadnud,seatud,sea
 seastuma,seastuda,seastub,seastutakse,seastuge,seastus,seastunud,seastutud,seastu
 seedlema,seedelda,seedleb,seedeldakse,seedelge,seedles,seedelnud,seedeldud,seed
@@ -3108,11 +3108,11 @@ seostuma,seostuda,seostub,seostutakse,seostuge,seostus,seostunud,seostutud,seost
 separeeruma,separeeruda,separeerub,separeerutakse,separeeruge,separeerus,separeerunud,separeerutud,separeeru
 serveerima,serveerida,serveerib,serveeritakse,serveerige,serveeris,serveerinud,serveeritud,serveeri
 servistuma,servistuda,servistub,servistutakse,servistuge,servistus,servistunud,servistutud,servistu
-settima,settida,setib|settib,setitakse|settitakse,settige,settis,settinud,setitud|settitud,setti
+settima,settida,setib,setitakse,settige,settis,settinud,setitud,set
 setustuma,setustuda,setustub,setustutakse,setustuge,setustus,setustunud,setustutud,setustu
 shokeerima,shokeerida,shokeerib,shokeeritakse,shokeerige,shokeeris,shokeerinud,shokeeritud,shokeeri
 sibama,sibada,sibab,sibatakse,sibage,sibas,sibanud,sibatud,siba
-sibelema,sibelda|sibeleda,sibeleb,sibeldakse|sibeletakse,sibelge|sibelege,sibeles,sibelnud|sibelenud,sibeldud|sibeletud,
+sibelema,sibelda,sibeleb,sibeldakse,sibelge,sibeles,sibelnud,sibeldud,sibel
 sibima,sibida,sibib,sibitakse,sibige,sibis,sibinud,sibitud,sibi
 siblima,siblida,siblib,siblitakse,siblige,siblis,siblinud,siblitud,sibli
 sidima,sidida,sidib,siditakse,sidige,sidis,sidinud,siditud,sidi
@@ -3173,7 +3173,7 @@ soetama,soetada,soetab,soetatakse,soetage,soetas,soetanud,soetatud,soeta
 soganema,soganeda,soganeb,soganetakse,soganege,soganes,soganenud,soganetud,sogane
 sogastuma,sogastuda,sogastub,sogastutakse,sogastuge,sogastus,sogastunud,sogastutud,sogastu
 sohima,sohida,sohib,sohitakse,sohige,sohis,sohinud,sohitud,sohi
-soiguma,soiguda,soigub|soiub,soigutakse|soiutakse,soiguge,soigus,soigunud,soigutud|soiutud,soigu
+soiguma,soiguda,soigub,soigutakse,soiguge,soigus,soigunud,soigutud,soigu
 soinima,soinida,soinib,soinitakse,soinige,soinis,soininud,soinitud,soini
 sokutama,sokutada,sokutab,sokutatakse,sokutage,sokutas,sokutanud,sokutatud,sokuta
 solgatama,solgatada,solgatab,solgatatakse,solgatage,solgatas,solgatanud,solgatatud,solgata
@@ -3215,7 +3215,7 @@ sõlmuma,sõlmuda,sõlmub,sõlmutakse,sõlmuge,sõlmus,sõlmunud,sõlmutud,sõlm
 sõltuma,sõltuda,sõltub,sõltutakse,sõltuge,sõltus,sõltunud,sõltutud,sõltu
 sõmama,sõmada,sõmab,sõmatakse,sõmage,sõmas,sõmanud,sõmatud,sõma
 sõmerduma,sõmerduda,sõmerdub,sõmerdutakse,sõmerduge,sõmerdus,sõmerdunud,sõmerdutud,sõmerdu
-sõnelema,sõnelda|sõneleda,sõneleb,sõneldakse|sõneletakse,sõnelge|sõnelege,sõneles,sõnelnud|sõnelenud,sõneldud|sõneletud,
+sõnelema,sõnelda,sõneleb,sõneldakse,sõnelge,sõneles,sõnelnud,sõneldud,sõnel
 sõõratama,sõõratada,sõõratab,sõõratatakse,sõõratage,sõõratas,sõõratanud,sõõratatud,sõõrata
 sõõrduma,sõõrduda,sõõrdub,sõõrdutakse,sõõrduge,sõõrdus,sõõrdunud,sõõrdutud,sõõrdu
 spetsialiseeruma,spetsialiseeruda,spetsialiseerub,spetsialiseerutakse,spetsialiseeruge,spetsialiseerus,spetsialiseerunud,spetsialiseerutud,spetsialiseeru
@@ -3242,8 +3242,8 @@ sulanduma,sulanduda,sulandub,sulandutakse,sulanduge,sulandus,sulandunud,sulandut
 sulanema,sulaneda,sulaneb,sulanetakse,sulanege,sulanes,sulanenud,sulanetud,sulane
 sulatama,sulatada,sulatab,sulatatakse,sulatage,sulatas,sulatanud,sulatatud,sulata
 sulestuma,sulestuda,sulestub,sulestutakse,sulestuge,sulestus,sulestunud,sulestutud,sulestu
-sulgema,sulgeda,suleb|sulgeb,suletakse|sulgetakse,sulgege,sulges,sulgenud,suletud|sulgetud,sulge
-sulgima,sulgida,sulgib|sulib,sulgitakse|sulitakse,sulgige,sulgis,sulginud,sulgitud|sulitud,sulgi
+sulgema,sulgeda,suleb,suletakse,sulgege,sulges,sulgenud,suletud,sul
+sulgima,sulgida,sulgib,sulgitakse,sulgige,sulgis,sulginud,sulgitud,sulgi
 sulgnema,sulgneda,sulgneb,sulgnetakse,sulgnege,sulgnes,sulgnenud,sulgnetud,sulgne
 sulguma,sulguda,sulgub,sulgutakse,sulguge,sulgus,sulgunud,sulgutud,sulgu
 sulima,sulida,sulib,sulitakse,sulige,sulis,sulinud,sulitud,suli
@@ -3283,7 +3283,7 @@ suurustlema,suurustleda,suurustleb,suurustletakse,suurustlege,suurustles,suurust
 suutma,suuta,suudab,suudetakse,suutke,suutis,suutnud,suudetud,suu
 suvatsema,suvatseda,suvatseb,suvatsetakse,suvatsege,suvatses,suvatsenud,suvatsetud,suvatse
 suvitama,suvitada,suvitab,suvitatakse,suvitage,suvitas,suvitanud,suvitatud,suvita
-sädelema,sädelda|sädeleda,sädeleb,sädeldakse|sädeletakse,sädelge|sädelege,sädeles,sädelnud|sädelenud,sädeldud|sädeletud,
+sädelema,sädelda,sädeleb,sädeldakse,sädelge,sädeles,sädelnud,sädeldud,sädel
 sädistama,sädistada,sädistab,sädistatakse,sädistage,sädistas,sädistanud,sädistatud,sädista
 sähvatama,sähvatada,sähvatab,sähvatatakse,sähvatage,sähvatas,sähvatanud,sähvatatud,sähvata
 sähvima,sähvida,sähvib,sähvitakse,sähvige,sähvis,sähvinud,sähvitud,sähvi
@@ -3293,7 +3293,7 @@ säpruma,säpruda,säprub,säprutakse,säpruge,säprus,säprunud,säprutud,säpr
 säpsatama,säpsatada,säpsatab,säpsatatakse,säpsatage,säpsatas,säpsatanud,säpsatatud,säpsata
 särama,särada,särab,säratakse,särage,säras,säranud,säratud,sära
 särduma,särduda,särdub,särdutakse,särduge,särdus,särdunud,särdutud,särdu
-särelema,särelda|säreleda,säreleb,säreldakse|säreletakse,särelge|särelege,säreles,särelnud|särelenud,säreldud|säreletud,
+särelema,särelda,säreleb,säreldakse,särelge,säreles,särelnud,säreldud,särel
 särisema,säriseda,säriseb,särisetakse,särisege,särises,särisenud,särisetud,särise
 särtsatama,särtsatada,särtsatab,särtsatatakse,särtsatage,särtsatas,särtsatanud,särtsatatud,särtsata
 särtsuma,särtsuda,särtsub,särtsutakse,särtsuge,särtsus,särtsunud,särtsutud,särtsu
@@ -3307,7 +3307,7 @@ sörkima,sörkida,sörgib,sörgitakse,sörkige,sörkis,sörkinud,sörgitud,sör
 sööma,süüa,sööb,süüakse,sööge,sõi,söönud,söödud,s
 sööstma,söösta,sööstab,sööstetakse,sööstke,sööstis,sööstnud,sööstetud,sööst
 sügama,sügada,sügab,sügatakse,sügage,sügas,süganud,sügatud,süga
-sügelema,sügelda|sügeleda,sügeleb,sügeldakse|sügeletakse,sügelge|sügelege,sügeles,sügelnud|sügelenud,sügeldud|sügeletud,
+sügelema,sügelda,sügeleb,sügeldakse,sügelge,sügeles,sügelnud,sügeldud,sügel
 sümboliseerima,sümboliseerida,sümboliseerib,sümboliseeritakse,sümboliseerige,sümboliseeris,sümboliseerinud,sümboliseeritud,sümboliseeri
 sündima,sündida,sünnib,sünnitakse,sündige,sündis,sündinud,sünnitud,sün
 süngestuma,süngestuda,süngestub,süngestutakse,süngestuge,süngestus,süngestunud,süngestutud,süngestu
@@ -3315,7 +3315,7 @@ sünnitama,sünnitada,sünnitab,sünnitatakse,sünnitage,sünnitas,sünnitanud,s
 sünteesima,sünteesida,sünteesib,sünteesitakse,sünteesige,sünteesis,sünteesinud,sünteesitud,sünteesi
 süstima,süstida,süstib,süstitakse,süstige,süstis,süstinud,süstitud,süsti
 sütitama,sütitada,sütitab,sütitatakse,sütitage,sütitas,sütitanud,sütitatud,sütita
-süttima,süttida,sütib|süttib,sütitakse|süttitakse,süttige,süttis,süttinud,sütitud|süttitud,sütti
+süttima,süttida,sütib,sütitakse,süttige,süttis,süttinud,sütitud,süt
 süvenema,süveneda,süveneb,süvenetakse,süvenege,süvenes,süvenenud,süvenetud,süvene
 süüdistama,süüdistada,süüdistab,süüdistatakse,süüdistage,süüdistas,süüdistanud,süüdistatud,süüdista
 süüdistuma,süüdistuda,süüdistub,süüdistutakse,süüdistuge,süüdistus,süüdistunud,süüdistutud,süüdistu
@@ -3374,12 +3374,12 @@ teenima,teenida,teenib,teenitakse,teenige,teenis,teeninud,teenitud,teeni
 teenitsema,teenitseda,teenitseb,teenitsetakse,teenitsege,teenitses,teenitsenud,teenitsetud,teenitse
 teesklema,teeselda,teeskleb,teeseldakse,teeselge,teeskles,teeselnud,teeseldud,tees
 tegema,teha,teeb,tehakse,tehke,tegi,teinud,tehtud,te
-tegelema,tegelda|tegeleda,tegeleb,tegeldakse|tegeletakse,tegelge|tegelege,tegeles,tegelnud|tegelenud,tegeldud|tegeletud,
+tegelema,tegelda,tegeleb,tegeldakse,tegelge,tegeles,tegelnud,tegeldud,tegel
 tegutsema,tegutseda,tegutseb,tegutsetakse,tegutsege,tegutses,tegutsenud,tegutsetud,tegutse
 tehtlema,tehelda,tehtleb,teheldakse,tehelge,tehtles,tehelnud,teheldud,teh
 teisenema,teiseneda,teiseneb,teisenetakse,teisenege,teisenes,teisenenud,teisenetud,teisene
 tekitama,tekitada,tekitab,tekitatakse,tekitage,tekitas,tekitanud,tekitatud,tekita
-tekkima,tekkida,tekib|tekkib,tekitakse|tekkitakse,tekkige,tekkis,tekkinud,tekitud|tekkitud,tekki
+tekkima,tekkida,tekib,tekitakse,tekkige,tekkis,tekkinud,tekitud,tek
 telegrafeerima,telegrafeerida,telegrafeerib,telegrafeeritakse,telegrafeerige,telegrafeeris,telegrafeerinud,telegrafeeritud,telegrafeeri
 telkima,telkida,telgib,telgitakse,telkige,telkis,telkinud,telgitud,tel
 tellerdama,tellerdada,tellerdab,tellerdatakse,tellerdage,tellerdas,tellerdanud,tellerdatud,tellerda
@@ -3470,7 +3470,7 @@ tõmbuma,tõmbuda,tõmbub,tõmbutakse,tõmbuge,tõmbus,tõmbunud,tõmbutud,tõmb
 tõmmutama,tõmmutada,tõmmutab,tõmmutatakse,tõmmutage,tõmmutas,tõmmutanud,tõmmutatud,tõmmuta
 tõnguma,tõnguda,tõngub,tõngutakse,tõnguge,tõngus,tõngunud,tõngutud,tõngu
 tõotama,tõotada,tõotab,tõotatakse,tõotage,tõotas,tõotanud,tõotatud,tõota
-tõrelema,tõrelda|tõreleda,tõreleb,tõreldakse|tõreletakse,tõrelge|tõrelege,tõreles,tõrelnud|tõrelenud,tõreldud|tõreletud,
+tõrelema,tõrelda,tõreleb,tõreldakse,tõrelge,tõreles,tõrelnud,tõreldud,tõrel
 tõrgastama,tõrgastada,tõrgastab,tõrgastatakse,tõrgastage,tõrgastas,tõrgastanud,tõrgastatud,tõrgasta
 tõrkuma,tõrkuda,tõrgub,tõrgutakse,tõrkuge,tõrkus,tõrkunud,tõrgutud,tõr
 tõsinema,tõsineda,tõsineb,tõsinetakse,tõsinege,tõsines,tõsinenud,tõsinetud,tõsine
@@ -3604,7 +3604,7 @@ umbrohtuma,umbrohtuda,umbrohtub,umbrohtutakse,umbrohtuge,umbrohtus,umbrohtunud,u
 umbusaldama,umbusaldada,umbusaldab,umbusaldatakse,umbusaldage,umbusaldas,umbusaldanud,umbusaldatud,umbusalda
 umisema,umiseda,umiseb,umisetakse,umisege,umises,umisenud,umisetud,umise
 undama,unnata,undab,unnatakse,unnake,undas,unnanud,unnatud,un
-unelema,unelda|uneleda,uneleb,uneldakse|uneletakse,unelge|unelege,uneles,unelnud|unelenud,uneldud|uneletud,
+unelema,unelda,uneleb,uneldakse,unelge,uneles,unelnud,uneldud,unel
 unistama,unistada,unistab,unistatakse,unistage,unistas,unistanud,unistatud,unista
 unustama,unustada,unustab,unustatakse,unustage,unustas,unustanud,unustatud,unusta
 upitama,upitada,upitab,upitatakse,upitage,upitas,upitanud,upitatud,upita
@@ -3615,7 +3615,7 @@ uratama,uratada,uratab,uratatakse,uratage,uratas,uratanud,uratatud,urata
 urbnema,urbneda,urbneb,urbnetakse,urbnege,urbnes,urbnenud,urbnetud,urbne
 urgitsema,urgitseda,urgitseb,urgitsetakse,urgitsege,urgitses,urgitsenud,urgitsetud,urgitse
 usaldama,usaldada,usaldab,usaldatakse,usaldage,usaldas,usaldanud,usaldatud,usalda
-uskuma,uskuda,usub,ustakse|usutakse,uskuge,uskus,uskunud,ustud|usutud,us
+uskuma,uskuda,usub,ustakse,uskuge,uskus,uskunud,ustud,us
 usutlema,usutleda,usutleb,usutletakse,usutlege,usutles,usutlenud,usutletud,usutle
 uubuma,uubuda,uubub,uubutakse,uubuge,uubus,uubunud,uubutud,uubu
 uuduma,uududa,uudub,uudutakse,uuduge,uudus,uudunud,uudutud,uudu
@@ -3687,7 +3687,7 @@ vankuma,vankuda,vangub,vangutakse,vankuge,vankus,vankunud,vangutud,van
 vannutama,vannutada,vannutab,vannutatakse,vannutage,vannutas,vannutanud,vannutatud,vannuta
 vanuma,vanuda,vanub,vanutakse,vanuge,vanus,vanunud,vanutud,vanu
 vaplema,vapelda,vapleb,vapeldakse,vapelge,vaples,vapelnud,vapeldud,vap
-vappuma,vappuda,vappub|vapub,vapputakse|vaputakse,vappuge,vappus,vappunud,vapputud|vaputud,vappu
+vappuma,vappuda,vappub,vapputakse,vappuge,vappus,vappunud,vapputud,vappu
 varjama,varjata,varjab,varjatakse,varjake,varjas,varjanud,varjatud,varja
 varjuma,varjuda,varjub,varjutakse,varjuge,varjus,varjunud,varjutud,varju
 varjutama,varjutada,varjutab,varjutatakse,varjutage,varjutas,varjutanud,varjutatud,varjuta
@@ -3722,9 +3722,9 @@ vesitsema,vesitseda,vesitseb,vesitsetakse,vesitsege,vesitses,vesitsenud,vesitset
 vestma,vesta,vestab,vestetakse,vestke,vestis,vestnud,vestetud,vest
 vestlema,vestelda,vestleb,vesteldakse,vestelge,vestles,vestelnud,vesteldud,vest
 vetruma,vetruda,vetrub,vetrutakse,vetruge,vetrus,vetrunud,vetrutud,vetru
-vettima,vettida,vetib|vettib,vetitakse|vettitakse,vettige,vettis,vettinud,vetitud|vettitud,vetti
+vettima,vettida,vetib,vetitakse,vettige,vettis,vettinud,vetitud,vet
 vibalema,vibaleda,vibaleb,vibaletakse,vibalege,vibales,vibalenud,vibaletud,vibale
-vibelema,vibelda|vibeleda,vibeleb,vibeldakse|vibeletakse,vibelge|vibelege,vibeles,vibelnud|vibelenud,vibeldud|vibeletud,
+vibelema,vibelda,vibeleb,vibeldakse,vibelge,vibeles,vibelnud,vibeldud,vibel
 vibreerima,vibreerida,vibreerib,vibreeritakse,vibreerige,vibreeris,vibreerinud,vibreeritud,vibreeri
 vibutama,vibutada,vibutab,vibutatakse,vibutage,vibutas,vibutanud,vibutatud,vibuta
 viduma,viduda,vidub,vidutakse,viduge,vidus,vidunud,vidutud,vidu
@@ -3779,7 +3779,7 @@ voolduma,voolduda,vooldub,vooldutakse,voolduge,vooldus,vooldunud,vooldutud,voold
 vopsatama,vopsatada,vopsatab,vopsatatakse,vopsatage,vopsatas,vopsatanud,vopsatatud,vopsata
 vormima,vormida,vormib,vormitakse,vormige,vormis,vorminud,vormitud,vormi
 vormuma,vormuda,vormub,vormutakse,vormuge,vormus,vormunud,vormutud,vormu
-võbelema,võbelda|võbeleda,võbeleb,võbeldakse|võbeletakse,võbelge|võbelege,võbeles,võbelnud|võbelenud,võbeldud|võbeletud,
+võbelema,võbelda,võbeleb,võbeldakse,võbelge,võbeles,võbelnud,võbeldud,võbel
 võbisema,võbiseda,võbiseb,võbisetakse,võbisege,võbises,võbisenud,võbisetud,võbise
 võdisema,võdiseda,võdiseb,võdisetakse,võdisege,võdises,võdisenud,võdisetud,võdise
 võiduma,võiduda,võidub,võidutakse,võiduge,võidus,võidunud,võidutud,võidu
@@ -3802,7 +3802,7 @@ võõrustama,võõrustada,võõrustab,võõrustatakse,võõrustage,võõrustas,v
 võõrutama,võõrutada,võõrutab,võõrutatakse,võõrutage,võõrutas,võõrutanud,võõrutatud,võõruta
 võpatama,võpatada,võpatab,võpatatakse,võpatage,võpatas,võpatanud,võpatatud,võpata
 võpatlema,võpatleda,võpatleb,võpatletakse,võpatlege,võpatles,võpatlenud,võpatletud,võpatle
-võppuma,võppuda,võppub|võpub,võpputakse|võputakse,võppuge,võppus,võppunud,võpputud|võputud,võppu
+võppuma,võppuda,võppub,võpputakse,võppuge,võppus,võppunud,võpputud,võppu
 võrdlema,võrrelda,võrdleb,võrreldakse,võrrelge,võrdles,võrrelnud,võrreldud,võr
 võrdsustama,võrdsustada,võrdsustab,võrdsustatakse,võrdsustage,võrdsustas,võrdsustanud,võrdsustatud,võrdsusta
 võrduma,võrduda,võrdub,võrdutakse,võrduge,võrdus,võrdunud,võrdutud,võrdu
@@ -3844,7 +3844,7 @@ väluma,väluda,välub,välutakse,väluge,välus,välunud,välutud,välu
 väntsuma,väntsuda,väntsub,väntsutakse,väntsuge,väntsus,väntsunud,väntsutud,väntsu
 värahtama,värahtada,värahtab,värahtatakse,värahtage,värahtas,värahtanud,värahtatud,värahta
 värbama,värvata,värbab,värvatakse,värvake,värbas,värvanud,värvatud,vär
-värelema,värelda|väreleda,väreleb,väreldakse|väreletakse,värelge|värelege,väreles,värelnud|värelenud,väreldud|väreletud,
+värelema,värelda,väreleb,väreldakse,värelge,väreles,värelnud,väreldud,värel
 värskenema,värskeneda,värskeneb,värskenetakse,värskenege,värskenes,värskenenud,värskenetud,värskene
 värvima,värvida,värvib,värvitakse,värvige,värvis,värvinud,värvitud,värvi
 värvistuma,värvistuda,värvistub,värvistutakse,värvistuge,värvistus,värvistunud,värvistutud,värvistu
@@ -3912,7 +3912,7 @@ vürtsitama,vürtsitada,vürtsitab,vürtsitatakse,vürtsitage,vürtsitas,vürtsi
 ümmistuma,ümmistuda,ümmistub,ümmistutakse,ümmistuge,ümmistus,ümmistunud,ümmistutud,ümmistu
 ürahtama,ürahtada,ürahtab,ürahtatakse,ürahtage,ürahtas,ürahtanud,ürahtatud,ürahta
 üritama,üritada,üritab,üritatakse,üritage,üritas,üritanud,üritatud,ürita
-ütlema,öelda|ütelda,ütleb,öeldakse|üteldakse,öelge|ütelge,ütles,öelnud|ütelnud,öeldud|üteldud,
+ütlema,öelda,ütleb,öeldakse,öelge,ütles,öelnud,öeldud,öelnud
 üürima,üürida,üürib,üüritakse,üürige,üüris,üürinud,üüritud,üüri
 amelema,ameleda,ameleb,ameletakse,amelege,ameles,amelenud,ameletud,amele
 ehtima,ehtida,ehtib,ehtitakse,ehtige,ehtis,ehtinud,ehtitud,ehti

util.py

 import pandas as pd
-import urllib
+import urllib, io
 from bs4 import BeautifulSoup
 
 def get_verbs_cooljugator():
@@ -15,13 +15,20 @@ def get_verbs_gf():
 	return df
 
 def get_soup(url):
-	page = urllib.request.urlopen(url)
+	
+	page = urllib.request.Request(url, headers={'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'})
+	try:
+		page = urllib.request.urlopen(page)
+	except Exception as e:
+		print(e)
+		page = urllib.request.Request(url, headers={'User-Agent':' Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0'})
+		page = urllib.request.urlopen(page)
 	return BeautifulSoup(page, 'html.parser')
 
-def write_to_file(list, path):
-	with open(path, 'w') as file:
+def write_to_file(list, path, mode):
+	with io.open(path, mode, encoding='utf-8') as file:
 		for line in list:
-			file.write(line + "\n")
+			file.write(line)
 
 def get_text(article_url):
 	article_text = ""

preprocessing.py → verbs_preprocessing.py

@@ -3,16 +3,16 @@ import numpy as np
 from difflib import SequenceMatcher
 
 def get_preprocessed_verbs():
-	return read_csv("preprocessed_verbs.csv", ",")
+	return read_csv("preprocessed_verbs.csv", ",", header=0)
 
 def preprocess_verbs():
-	df = read_csv("verbs_gf.csv", ", ")
+	df = read_csv("verbs_gf.csv", ", ", None)
 	df = split_double_forms(df)
 	df = add_common_substring(df)
 	save_csv(df)
 
-def read_csv(path, sep):
-	df = pd.read_csv(path, sep=sep, encoding='utf8', header=None, engine='python')
+def read_csv(path, sep, header):
+	df = pd.read_csv(path, sep=sep, encoding='utf8', header=header, engine='python')
 	return df
 
 def save_csv(df):
@@ -25,6 +25,7 @@ def split_double_forms(df):
 		try:
 			second_form = split_row[1]
 			second_form[second_form.isnull()] = split_row[0]
+			df.iloc[i] = split_row[0]
 			df = df.append(second_form, ignore_index=True)
 		except Exception as e:
 			pass
@@ -37,11 +38,10 @@ def add_common_substring(df):
 			verb1 = df[column][row]
 			verb2 = df[column+1][row]
 			current_common = find_common_substring(verb1, verb1)
-			if df["common_substring"][row] == '':
+			if df["common_substring"][row] == '' and isinstance(current_common, str):
 				df["common_substring"][row] = current_common
 			elif current_common != df["common_substring"][row]:
 				df["common_substring"][row] = find_common_substring(current_common, df["common_substring"][row])
-	print(df)
 	return df
 
 def find_common_substring(string1, string2):