o j%x@sddlZddlZddlZddlmZddlZddlZddlmZddl m Z ddl m Z ddl m Z ddlmZddlmZdd lmZdd lmZdd lmZdd lmZd dZdddZedZdddDdddDdddDdddDdddDdddDd dd!Dd"dd#Dd$dd#Dd%dd&Dd'dd(Dd)dd*Dd+dd,Dd-dd.Dd/dd#Dd0Zdd2d3Z d4dd5Dd6dd7Dd8dd9Dd:dd;Dddd?Dd@ddADdBddCDdDddEDdFddGDdHddIDdJddKDdLddMDdNddODdPddQDd0Z!ddRdSZ"edTedUedVedWedXedYedZed[ed\ed]ed^ed_ed`edadbZ#edcZ$eddedeedfdgZ%edhZ&ediZ'edjZ(dkdlZ)dmdnZ*ddodpZ+ddrdsZ,ddtduZ-ddvdwZ.ddxdyZ/dzd{Z0d|d}Z1d~dZ2ddZ3ddZ4ddZ5ddZ6ej78ej79ej7:e;dZddZ?ddZ@eAdkre>e?e@dSdS)N)cached_property) Transliter)academic) num2words)Arabic)English)Spanish)Japanese)Chinese) Tokenizer)TextNormcCs>|dkrtS|dkrtS|dkrtS|dkrtStS)Nzhjaares)r r rrrlangrP/home/kuhnn/.local/lib/python3.10/site-packages/TTS/tts/layers/xtts/tokenizer.pyget_spacy_langsrcCs g}|dur~t||kr~|dt|}|d||}|jD]K}t|dtt||krF|ddt|7<|d|d<q!tt||kretjt||dddd D] }|t|qZq!|t|q!t|dkr||d dkr||d =|S|g}|S) zPreprocess the input textN sentencizer TF)widthdrop_whitespacebreak_on_hyphenstabsizer) lenappendradd_pipesentsstrlstriptextwrapwrap)textrtext_split_length text_splitsnlpdocsentencelinerrrsplit_sentence#s6       r/z\s+cC*g|]}td|dtj|dfqSz\b%s\.rrrecompile IGNORECASE.0xrrr Kr9))mrsmisess)mrmisterdrdoctorstsaint)cocompanyjrjunior)majmajor)gengeneral)drsdoctors)revreverend)lt lieutenant)hon honorable)sgtsergeant)captcaptain)esqesquire)ltdlimited)colcolonel)ftfortcCr0r1r2r6rrrr9br:))srauseñora)sruseñorr?)dradoctorarCsanto)rEu compañíarGr\limitadacCr0r1r2r6rrrr9or:))mmemadame)r=monsieur)r@docteurrB)rE compagnierG)r\ulimitéecCr0r1r2r6rrrr9{r:))frfraur@doktor)rCsankt)rEfirmarGcCr0r1r2r6rrrr9r:))rbsenhora)rcsenhor)r@doutor)rddoutorarf)rE companhia)rHujúniorrhcCr0r1r2r6rrrr9r:))sigsignore)r@dottorerf)rE compagniarG)r\limitatacCr0r1r2r6rrrr9r:))ppani)mpanrq)swuświętyrGcCr0r1r2r6rrrr9r:rcCr0r1r2r6rrrr9r:cCr0r1r2r6rrrr9r:)rq)ingu inženýr)rrcCr0)z\b%s\brrr2r6rrrr9r:))uг-жаuгоспожа)uг-нuгосподин)uд-рu докторcCr0r1r2r6rrrr9r:))dhrzde heer)mevrmevrouw)r@dokter)jhrjonkheercCr0r1r2r6rrrr9r:))bbay)bykubüyükrqcCr0r1r2r6rrrr9r:)rq)rubácsi)unővunővércCr0r1r2r6rrrr9r:)enrrodeptitplrr csrunltrhukorcCs$t|D] \}}t|||}q|SN)_abbreviationsr3subr(rregex replacementrrr!expand_abbreviations_multilingualsrc C0g|]}tdt|dtj|dfqSz%srrr3r4escaper5r6rrrr9"))&z and @z at )%z percent )#z hash $z dollar )£z pound )°z degree c Crrrr6rrrr9r))rz y rz arroba )rz por ciento )rz numeral rz dolar rz libra )rz grados c Crrrr6rrrr9 r))r et )rz arobase )rz pour cent )ru dièse r)rz livre )ru degrés c Crrrr6rrrr9r))r und r)rz prozent )rz raute r)rz pfund )rz grad c Crrrr6rrrr9"r)r e r)rz por cento )rz cardinal )ru dólar r)rz graus c Crrrr6rrrr9.r)r)rz chiocciola )rz per cento )rz cancelletto )rz dollaro )rz sterlina )rz gradi c Crrrr6rrrr9:r))rz i )ru małpa rz procent )ru krzyżyk r)rz funt )rz stopnie c Crrrr6rrrr9F"))ru و )ru على )ru في المئة )ru رقم )ru دولار )ru جنيه )ru درجة c Crrrr6rrrr9Sr))ru 和 )ru 在 )ru 百分之 )ru 号 )ru 美元 )ru 英镑 )ru 度 c Crrrr6rrrr9`r))rz a )rz na )rz procento )ru křížek rr)ru stupně c Crrrr6rrrr9mr))ru и )ru собака )ru процентов )ru номер )ru доллар )ru фунт )ru градус c Crrrr6rrrr9zr))rz en )rz bij r)rz hekje r)rz pond )rz graden c Crrrr6rrrr9r))rz ve r)ru yüzde )rz diyez r)rz sterlin )rz derece c Crrrr6rrrr9r))ru és )rz kukac )ru százalék )ru kettőskereszt )ru dollár )rz font )rz fok c Crrrr6rrrr9r))ru 그리고 )ru 에 )ru 퍼센트 )ru 번호 )ru 달러 )ru 파운드 )ru 도 cCs4t|D]\}}t|||}|dd}q|S)Nz r)_symbols_multilingualr3rreplacestriprrrrexpand_symbols_multilingualsrz([0-9]+)(st|nd|rd|th)u([0-9]+)(º|ª|er|o|a|os|as)u([0-9]+)(º|ª|er|re|e|ème)u&([0-9]+)(st|nd|rd|th|º|ª|\.(?=\s|$))u([0-9]+)(º|ª|o|a|os|as)u([0-9]+)(º|°|ª|o|a|i|e)u([0-9]+)(º|ª|st|nd|rd|th)u([0-9]+)(ون|ين|ث|ر|ى)z([0-9]+)\.(?=\s|$)u'([0-9]+)(-й|-я|-е|-ое|-ье|-го)z([0-9]+)(de|ste|e)u$([0-9]+)(\.|inci|nci|uncu|üncü|\.)u0([0-9]+)(\.|adik|edik|odik|edik|ödik|ödike|ik)u([0-9]+)(번째|번|차|째))rrrorrrrrrrrrrrz[0-9]+z+((\$[0-9\.\,]*[0-9]+)|([0-9\.\,]*[0-9]+\$))u+((£[0-9\.\,]*[0-9]+)|([0-9\.\,]*[0-9]+£))u/(([0-9\.\,]*[0-9]+€)|((€[0-9\.\,]*[0-9]+))))USDGBPEURz\b\d{1,3}(,\d{3})*(\.\d+)?\bz\b\d{1,3}(.\d{3})*(\,\d+)?\bz([0-9]+[.,][0-9]+)cC"|d}d|vr|dd}|S)Nr,rgrouprrr(rrr_remove_commas  rcCr)Nr.rrrrrr _remove_dotsrrcCs2|ddd}tt||dkr|dSddS)Nrrrrczr)rrrfloat)rramountrrr_expand_decimal_points rrcCsttdd|ddd}t|d||dkr|ndd }d d d d ddd d d d d d d d d}|rD|||}|dkrD|d|}|S)Nz[^\d.]rrrrcurrencyrr)torrz, z con rrr)rrrorrrrrrrrrrrr)rr3rrrr is_integerrfind)rrrr full_amountand_equivalentslast_andrrr_expand_currencys,  rcCs(tt|dd|dkr|dSddS)NrTrr)ordinalrrintrrrrrr_expand_ordinals(rcCs&tt|d|dkr|dSddS)Nrrrrrrrrr_expand_numbers&rcsdkr t|}|Sdvrttt|}nttt|}z)ttdfdd|}ttdfdd|}ttdfd d|}WnYd kr[ttfd d|}tt fd d|}tt fd d|}|S)Nr )rrrc t|dS)Nrrrrrr z-expand_numbers_multilingual..rcr)Nrrrrrrrrrcr)Nrrrrrrrrrc t|Sr)rrrrrr crr)rrrrrrrcrr)rrrrrrr) zh_num2wordsr3r_comma_number_rer_dot_number_rer _currency_re_decimal_number_re _ordinal_re _number_rer(rrrrexpand_numbers_multilingual s" rcCs|Sr)lowerr(rrr lowercasesrcCsttd|S)Nr)r3r_whitespace_rerrrrcollapse_whitespace#srcCsl|dd}|dkr|dd}|dd}|dd }t|}t||}t||}t||d }t|}|S) N"rruİiÖöÜür)rrrrrrrrrrmultilingual_cleaners's       rcCst|}t|}|S)zPBasic pipeline that lowercases and collapses whitespace without transliteration.)rrrrrrbasic_cleaners5src Cs&dddtj|tjjdddDS)NrcSsg|]}|dqS)rr)r7rrrrr9>sz)chinese_transliterate..FT)style heteronymneutral_tone_with_five)joinpypinyinpinyinStyleTONE3rrrrchinese_transliterate<srcCs||}t|}|Sr)romajir)r(katsurrrjapanese_cleanersBs rcCstt}||Sr)rrtranslit)r(rrrrkorean_transliterateHs rz../data/tokenizer.jsonc@sReZdZdddZeddZddZdd Zd d Zd d Z ddZ ddZ dS)VoiceBpeTokenizerNcCsd|_|dur t||_iddddddddd d d d d ddddddddddddddddddd|_dS) Nrrrroirrrrr RrrrrrrGrr_) tokenizerr from_file char_limits)self vocab_filerrr__init__QsH       zVoiceBpeTokenizer.__init__cCsddl}|S)Nr)cutletCutlet)rrrrrrhszVoiceBpeTokenizer.katsucCsF|dd}|j|d}t||kr!td|d|ddSdS)N-rrz<[!] Warning: The text length exceeds the character limit of z for language 'z$', this might cause truncated audio.)splitrgetr print)rtxtrlimitrrrcheck_input_lengthns z$VoiceBpeTokenizer.check_input_lengthcCsr|dvrt||}|dkrt|}|dkrt|}|S|dkr't||j}|S|dkr1t|}|Std|d)N>rrrrrrorrrrrrrrr r rrhiz Language 'z' is not supported.)rrrrrrNotImplementedErrorrrrrrrpreprocess_textvs  z!VoiceBpeTokenizer.preprocess_textcCs`|dd}||||||}|dkrdn|}d|d|}|dd}|j|jS) Nrrr zzh-cn[]r[SPACE])rr!r%rrencodeidsr$rrrr)s   zVoiceBpeTokenizer.encodecCsXt|tjr |}|jj|dddd}|dd}|dd}|dd}|S)NF)skip_special_tokensrrr(z[STOP]z[UNK]) isinstancetorchTensorcpunumpyrdecoder)rseqrrrrr1s     zVoiceBpeTokenizer.decodecCs |jSr)rget_vocab_sizerrrr__len__s zVoiceBpeTokenizer.__len__cCst|jdS)Nr)maxr get_vocabvaluesr4rrrget_number_tokenssz#VoiceBpeTokenizer.get_number_tokensr) __name__ __module__ __qualname__rrrr!r%r)r1r5r9rrrrrPs    rcCFgd}|D]\}}}t||d}||ks Jd|d|dqdS)N)B)zIn 12.5 seconds.zIn twelve point five seconds.r)zThere were 50 soldiers.zThere were fifty soldiers.r)zThis is a 1st testzThis is a first testr)zThat will be $20 sir.z That will be twenty dollars sir.r)uThat will be 20€ sir.zThat will be twenty euro sir.r)uThat will be 20.15€ sir.z,That will be twenty euro, fifteen cents sir.r)zThat's 100,000.5.z'That's one hundred thousand point five.r)zEn 12,5 secondes.zEn douze virgule cinq secondes.ro)zIl y avait 50 soldats.zIl y avait cinquante soldats.ro)zCeci est un 1er testzCeci est un premier testro)zCela vous fera $20 monsieur.z&Cela vous fera vingt dollars monsieur.ro)uCela vous fera 20€ monsieur.z$Cela vous fera vingt euros monsieur.ro)u!Cela vous fera 20,15€ monsieur.z7Cela vous fera vingt euros et quinze centimes monsieur.ro)zCe sera 100.000,5.z Ce sera cent mille virgule cinq.ro)zIn 12,5 Sekunden.uIn zwölf Komma fünf Sekunden.r)zEs gab 50 Soldaten.uEs gab fünfzig Soldaten.r)zDies ist ein 1. TestzDies ist ein erste Testr)zDas macht $20 Herr.zDas macht zwanzig Dollar Herr.r)uDas macht 20€ Herr.zDas macht zwanzig Euro Herr.r)uDas macht 20,15€ Herr.u/Das macht zwanzig Euro und fünfzehn Cent Herr.r)zEn 12,5 segundos.zEn doce punto cinco segundos.r)uHabía 50 soldados.uHabía cincuenta soldados.r)zEste es un 1er testzEste es un primero testr)uEso le costará $20 señor.u'Eso le costará veinte dólares señor.r)uEso le costará 20€ señor.u$Eso le costará veinte euros señor.r)u Eso le costará 20,15€ señor.u9Eso le costará veinte euros con quince céntimos señor.r)zIn 12,5 secondi.z!In dodici virgola cinque secondi.r)zC'erano 50 soldati.zC'erano cinquanta soldati.r)uQuesto è un 1° testuQuesto è un primo testr)uTi costerà $20 signore.u"Ti costerà venti dollari signore.r)uTi costerà 20€ signore.uTi costerà venti euro signore.r)uTi costerà 20,15€ signore.u4Ti costerà venti euro e quindici centesimi signore.r)zEm 12,5 segundos.u Em doze vírgula cinco segundos.r)zHavia 50 soldados.zHavia cinquenta soldados.r)uEste é um 1º testeuEste é um primeiro tester)uIsso custará $20 senhor.u$Isso custará vinte dólares senhor.r)uIsso custará 20€ senhor.u!Isso custará vinte euros senhor.r)uIsso custará 20,15€ senhor.u4Isso custará vinte euros e quinze cêntimos senhor.r)zW 12,5 sekundy.u&W dwanaście przecinek pięć sekundy.r)uByło 50 żołnierzy.u"Było pięćdziesiąt żołnierzy.r)u"To będzie kosztować 20€ panie.u.To będzie kosztować dwadzieścia euro panie.r)u%To będzie kosztować 20,15€ panie.uDTo będzie kosztować dwadzieścia euro, piętnaście centów panie.r)uفي الـ 12,5 ثانية.u5في الـ اثنا عشر , خمسون ثانية.r)u كان هناك 50 جنديًا.u(كان هناك خمسون جنديًا.r)uZa 12,5 vteřiny.u Za dvanáct celá pět vteřiny.r)uBylo tam 50 vojáků.uBylo tam padesát vojáků.r)uTo bude stát 20€ pane.uTo bude stát dvacet euro pane.r)uTo bude 20.15€ pane.u*To bude dvacet euro, patnáct centů pane.r)uЧерез 12.5 секунды.uGЧерез двенадцать запятая пять секунды.r)u Там было 50 солдат.u0Там было пятьдесят солдат.r)u"Это будет 20.15€ сэр.uVЭто будет двадцать евро, пятнадцать центов сэр.r)u6Это будет стоить 20€ господин.uJЭто будет стоить двадцать евро господин.r)zIn 12,5 seconden.zIn twaalf komma vijf seconden.r)zEr waren 50 soldaten.zEr waren vijftig soldaten.r)zDat wordt dan $20 meneer.z$Dat wordt dan twintig dollar meneer.r)uDat wordt dan 20€ meneer.z"Dat wordt dan twintig euro meneer.r)u 在12.5秒内u在十二点五秒内r )u有50名士兵u有五十名士兵r )u50 asker vardı.uelli asker vardı.r)z Bu 1. testzBu birinci testr)u12,5 másodperc alatt.u.tizenkettő egész öt tized másodperc alatt.r)z50 katona volt.uötven katona volt.r)zEz az 1. tesztuEz az első tesztr)u12.5 초 안에.u십이 점 다섯 초 안에.r)u50 명의 병사가 있었다.u"오십 명의 병사가 있었다.r)u%이것은 1 번째 테스트입니다u'이것은 첫 번째 테스트입니다rr'' vs ')r test_casesarroutrrr test_expand_numbers_multilinguals ]  rDcCr=)N))zHello Mr. Smith.zHello mister Smith.r)zDr. Jones is here.zdoctor Jones is here.r)zHola Sr. Garcia.uHola señor Garcia.r)zLa Dra. Martinez es muy buena.z!La doctora Martinez es muy buena.r)zBonjour Mr. Dupond.zBonjour monsieur Dupond.ro)z$Mme. Moreau est absente aujourd'hui.z&madame Moreau est absente aujourd'hui.ro)uFrau Dr. Müller ist sehr klug.u"Frau doktor Müller ist sehr klug.r)uOlá Sr. Silva.uOlá senhor Silva.r)u$Dra. Costa, você está disponível?u'doutora Costa, você está disponível?r)zBuongiorno, Sig. Rossi.zBuongiorno, signore Rossi.r)uDzień dobry, P. Kowalski.uDzień dobry, pani Kowalski.r)u#M. Nowak, czy mogę zadać pytanie?u$pan Nowak, czy mogę zadać pytanie?r)u P. Nováku pan Novákr)u Dr. Vojtěchudoktor Vojtěchr)z Dhr. Jansenzde heer Jansenr)zMevr. de Vrieszmevrouw de Vriesr)u,Здравствуйте Г-н Иванов.u7Здравствуйте господин Иванов.r)uBД-р Смирнов здесь, чтобы увидеть вас.uIдоктор Смирнов здесь, чтобы увидеть вас.r)uMerhaba B. Yılmaz.uMerhaba bay Yılmaz.r)uDr. Ayşe burada.udoktor Ayşe burada.r)uDr. Szabó itt van.udoktor Szabó itt van.rrr>r?)rr@rrrtest_abbreviations_multilinguals %  rEcCr=)N))zI have 14% batteryzI have 14 percent batteryr)zTe veo @ la fiestazTe veo arroba la fiestar)uJ'ai 14° de fièvreuJ'ai 14 degrés de fièvrero)uDie Rechnung beträgt £ 20uDie Rechnung beträgt pfund 20r)u!O meu email é ana&joao@gmail.comu*O meu email é ana e joao arroba gmail.comr)zlinguaggio di programmazione C#z*linguaggio di programmazione C cancellettor)uMoja temperatura to 36.6°z Moja temperatura to 36.6 stopnier)uMám 14% baterieuMám 14 procento baterier)uTěším se na tebe @ partyuTěším se na tebe na partyr)uУ меня 14% зарядаu.У меня 14 процентов зарядаr)uЯ буду @ домаu!Я буду собака домаr)zIk heb 14% batterijzIk heb 14 procent batterijr)zIk zie je @ het feestzIk zie je bij het feestr)u لدي 14% في البطاريةu/لدي 14 في المئة في البطاريةr)u我的电量为 14%u我的电量为 14 百分之r )zPilim %14 dolu.uPilim yüzde 14 dolu.r)u$Az akkumulátorom töltöttsége 14%u.Az akkumulátorom töltöttsége 14 százalékr)u!배터리 잔량이 14%입니다.u*배터리 잔량이 14 퍼센트입니다.rrr>r?)rr@rrrtest_symbols_multilingual-s   rF__main__)r)r)rr)Bosr3r& functoolsrrr-hangul_romanizerhangul_romanize.rulerr spacy.lang.arr spacy.lang.enr spacy.lang.esr spacy.lang.jar spacy.lang.zhr tokenizersr TTS.tts.layers.xtts.zh_num2wordsr rrr/r4rrrrrrrrrrrrrrrrrrrrrrrrrpathrdirnamerealpath__file__DEFAULT_VOCAB_FILErrDrErFr:rrrrsH             $            "               ?         Oc+