Instructions to use huuminh365/CustomBERT with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use huuminh365/CustomBERT with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("fill-mask", model="huuminh365/CustomBERT")# Load model directly from transformers import AutoTokenizer, AutoModelForMaskedLM tokenizer = AutoTokenizer.from_pretrained("huuminh365/CustomBERT") model = AutoModelForMaskedLM.from_pretrained("huuminh365/CustomBERT", device_map="auto") - Notebooks
- Google Colab
- Kaggle
| LATEX_VOC = ['\\overrightarrow{\\rm AB}', | |
| '\\overleftrightarrow', | |
| '\\Longleftrightarrow', | |
| '\\longleftrightarrow', | |
| '\\supsetneqq\\gtrsim', | |
| '\\scriptscriptstyle', | |
| '\\rightleftharpoons', | |
| '\\circlearrowright', | |
| '\\overline{\\rm AB}', | |
| '\\rightrightarrows', | |
| '\\leftrightarrows', | |
| '\\rightleftarrows', | |
| '\\curvearrowright', | |
| '\\circlearrowleft', | |
| '\\bigtriangledown', | |
| '\\leftleftarrows', | |
| '\\longrightarrow', | |
| '\\Leftrightarrow', | |
| '\\Longrightarrow', | |
| '\\curvearrowleft', | |
| '\\hookrightarrow', | |
| '\\rightharpoonup', | |
| '\\leftrightarrow', | |
| '\\overrightarrow', | |
| '\\longleftarrow', | |
| '\\bigtriangleup', | |
| '\\overleftarrow', | |
| '\\triangleright', | |
| '\\operatorname*', | |
| '\\hookleftarrow', | |
| '\\varsubsetneqq', | |
| '\\Longleftarrow', | |
| '\\arraystretch', | |
| '\\right\\rfloor', | |
| '\\right\\rbrace', | |
| '\\footnotesize', | |
| '\\begin{array}', | |
| '\\right\\rangle', | |
| '\\displaystyle', | |
| '\\operatorname', | |
| '\\renewcommand', | |
| '\\right\\rbrack', | |
| '\\triangleleft', | |
| '\\arraycolsep', | |
| '\\updownarrow', | |
| '\\diamondsuit', | |
| '\\left\\lbrace', | |
| '\\nolinebreak', | |
| '\\scriptstyle', | |
| '\\left\\lfloor', | |
| '\\left\\langle', | |
| '\\left\\lbrack', | |
| '\\multicolumn', | |
| '\\mathversion', | |
| '\\not\\supset', | |
| '\\complement', | |
| '\\unitlength', | |
| '\\thicklines', | |
| '\\rightarrow', | |
| '\\varnothing', | |
| '\\right\\vert', | |
| '\\sqsupseteq', | |
| '\\supsetneqq', | |
| '\\not\\subset', | |
| '\\scriptsize', | |
| '\\Rightarrow', | |
| '\\boldsymbol', | |
| '\\ensuremath', | |
| '\\curlywedge', | |
| '\\textnormal', | |
| '\\normalsize', | |
| '\\end{array}', | |
| '\\sqsubseteq', | |
| '\\varepsilon', | |
| '\\setcounter', | |
| '\\unboldmath', | |
| '\\underbrace', | |
| '\\circledast', | |
| '\\longmapsto', | |
| '\\nsubseteq', | |
| '\\backslash', | |
| '\\thinspace', | |
| '\\smallskip', | |
| '\\leftarrow', | |
| '\\llbracket', | |
| '\\Leftarrow', | |
| '\\setlength', | |
| '\\triangleq', | |
| '\\arrowvert', | |
| '\\subsetneq', | |
| '\\supseteqq', | |
| '\\mathbb{H}', | |
| '\\varlimsup', | |
| '\\left\\vert', | |
| '\\downarrow', | |
| '\\mathbb{S}', | |
| '\\nparallel', | |
| '\\widetilde', | |
| '\\Downarrow', | |
| '\\nsupseteq', | |
| '\\overbrace', | |
| '\\textstyle', | |
| '\\varliminf', | |
| '\\checkmark', | |
| '\\supsetneq', | |
| '\\bigotimes', | |
| '\\pitchfork', | |
| '\\mathbb{A}', | |
| '\\underline', | |
| '\\mathbb{O}', | |
| '\\righarrow', | |
| '\\hphantom', | |
| '\\parallel', | |
| '\\leqslant', | |
| '\\underset', | |
| '\\subseteq', | |
| '\\bigsqcup', | |
| '\\bigoplus', | |
| '\\multiput', | |
| '\\ulcorner', | |
| '\\raisebox', | |
| '\\bigwedge', | |
| '\\emptyset', | |
| '\\protectu', | |
| '\\boxminus', | |
| '\\buildrel', | |
| '\\vartheta', | |
| '\\overline', | |
| '\\framebox', | |
| '\\mathfrak', | |
| '\\smallint', | |
| '\\stackrel', | |
| '\\sqsupset', | |
| '\\llcorner', | |
| '\\sqsubset', | |
| '\\lrcorner', | |
| '\\curlyvee', | |
| '\\nonumber', | |
| '\\substack', | |
| '\\supseteq', | |
| '\\varsigma', | |
| '\\biguplus', | |
| '\\triangle', | |
| '\\setminus', | |
| '\\vphantom', | |
| '\\boldmath', | |
| '\\geqslant', | |
| '\\upsilon', | |
| '\\diamond', | |
| '\\epsilon', | |
| '\\noalign', | |
| '\\medskip', | |
| '\\lessdot', | |
| '\\bigcirc', | |
| '\\protect', | |
| '\\right\\|', | |
| '\\boxplus', | |
| '\\special', | |
| '\\nearrow', | |
| '\\right\\}', | |
| '\\because', | |
| '\\widehat', | |
| '\\phantom', | |
| '\\itshape', | |
| '\\lessgtr', | |
| '\\mathbin', | |
| '\\lefteqn', | |
| '\\backsim', | |
| '\\makebox', | |
| '\\mathscr', | |
| '\\searrow', | |
| '\\ooalign', | |
| '\\Upsilon', | |
| '\\natural', | |
| '\\enspace', | |
| '\\partial', | |
| '\\uparrow', | |
| '\\newline', | |
| '\\ddagger', | |
| '\\cooking', | |
| '\\lesssim', | |
| '\\nexists', | |
| '\\bigodot', | |
| '\\nwarrow', | |
| '\\mathcal', | |
| '\\mathrel', | |
| '\\gtrless', | |
| '\\vcenter', | |
| '\\swarrow', | |
| '\\fboxsep', | |
| '\\omicron', | |
| '\\leadsto', | |
| '\\Subset', | |
| '\\mathit', | |
| '\\lambda', | |
| '\\varphi', | |
| '\\rbrace', | |
| '\\textit', | |
| '\\supset', | |
| '\\textup', | |
| '\\otimes', | |
| '\\mathbf', | |
| '\\right|', | |
| '\\lbrace', | |
| '\\forall', | |
| '\\square', | |
| '\\varrho', | |
| '\\arctan', | |
| '\\rtimes', | |
| '\\right>', | |
| '\\textrm', | |
| '\\texttt', | |
| '\\textsf', | |
| '\\models', | |
| '\\bigvee', | |
| '\\langle', | |
| '\\dagger', | |
| '\\arccot', | |
| '\\mapsto', | |
| '\\succeq', | |
| '\\lbrack', | |
| '\\bullet', | |
| '\\textbf', | |
| '\\gtrsim', | |
| '\\bigcap', | |
| '\\nvdash', | |
| '\\Lambda', | |
| '\\arccos', | |
| '\\lceilm', | |
| '\\rgroup', | |
| '\\coprod', | |
| '\\ominus', | |
| '\\approx', | |
| '\\parbox', | |
| '\\lfloor', | |
| '\\bigcup', | |
| '\\left\\{', | |
| '\\oslash', | |
| '\\enskip', | |
| '\\ltimes', | |
| '\\rangle', | |
| '\\rfloor', | |
| '\\propto', | |
| '\\mathsf', | |
| '\\lgroup', | |
| '\\pounds', | |
| '\\rbrack', | |
| '\\mathrm', | |
| '\\subset', | |
| '\\left\\|', | |
| '\\mathop', | |
| '\\circle', | |
| '\\right.', | |
| '\\mathbb', | |
| '\\exists', | |
| '\\arcsin', | |
| '\\prime', | |
| '\\vline', | |
| '\\cdots', | |
| '\\varpi', | |
| '\\notin', | |
| '\\Theta', | |
| '\\sqcup', | |
| '\\left<', | |
| '\\Gamma', | |
| '\\theta', | |
| '\\label', | |
| '\\right', | |
| '\\simeq', | |
| '\\infty', | |
| '\\mskip', | |
| '\\Large', | |
| '\\asymp', | |
| '\\sharp', | |
| '\\left.', | |
| '\\dashv', | |
| '\\lceil', | |
| '\\omega', | |
| '\\dddot', | |
| '\\ldots', | |
| '\\qquad', | |
| '\\alpha', | |
| '\\Biggm', | |
| '\\check', | |
| '\\smile', | |
| '\\vDash', | |
| '\\grave', | |
| '\\nless', | |
| '\\sqcap', | |
| '\\delta', | |
| '\\doteq', | |
| '\\Omega', | |
| '\\Biggl', | |
| '\\mkern', | |
| '\\Biggr', | |
| '\\hline', | |
| '\\LARGE', | |
| '\\smash', | |
| '\\small', | |
| '\\aleph', | |
| '\\equiv', | |
| '\\tilde', | |
| '\\space', | |
| '\\rceil', | |
| '\\raise', | |
| '\\unlhd', | |
| '\\binom', | |
| '\\gamma', | |
| '\\vskip', | |
| '\\strut', | |
| '\\biggl', | |
| '\\colon', | |
| '\\cdotp', | |
| '\\amalg', | |
| '\\kappa', | |
| '\\hrule', | |
| '\\jmath', | |
| '\\lower', | |
| '\\breve', | |
| '\\sigma', | |
| '\\vdash', | |
| '\\wedge', | |
| '\\large', | |
| '\\nabla', | |
| '\\hfill', | |
| '\\Sigma', | |
| '\\biggr', | |
| '\\relax', | |
| '\\Delta', | |
| '\\begin', | |
| '\\unrhd', | |
| '\\acute', | |
| '\\vdots', | |
| '\\left|', | |
| '\\oplus', | |
| '\\slash', | |
| '\\ddots', | |
| '\\times', | |
| '\\imath', | |
| '\\angle', | |
| '\\vrule', | |
| '\\Huge', | |
| '\\bmod', | |
| '\\geqq', | |
| '\\null', | |
| '\\kern', | |
| '\\nsim', | |
| '\\nleq', | |
| '\\Bigl', | |
| '\\Perp', | |
| '\\each', | |
| '\\land', | |
| '\\bigr', | |
| '\\Vert', | |
| '\\tanh', | |
| '\\hfil', | |
| '\\circ', | |
| '\\prec', | |
| '\\iota', | |
| '\\odot', | |
| '\\line', | |
| '\\sent', | |
| '\\prod', | |
| '\\atop', | |
| '\\iint', | |
| '\\Reef', | |
| '\\ngeq', | |
| '\\cite', | |
| '\\tiny', | |
| '\\ddot', | |
| '\\nmid', | |
| '\\rlap', | |
| '\\bigg', | |
| '\\Bigm', | |
| '\\flat', | |
| '\\midf', | |
| '\\cosh', | |
| '\\llap', | |
| '\\surd', | |
| '\\perp', | |
| '\\star', | |
| '\\fbox', | |
| '\\dots', | |
| '\\vert', | |
| '\\bigm', | |
| '\\ddag', | |
| '\\taxi', | |
| '\\oint', | |
| '\\frac', | |
| '\\left', | |
| '\\text', | |
| '\\crcr', | |
| '\\cong', | |
| '\\zeta', | |
| '\\ngtr', | |
| '\\Bigg', | |
| '\\pmod', | |
| '\\skew', | |
| '\\quad', | |
| '\\Bigr', | |
| '\\beta', | |
| '\\leqq', | |
| '\\hbar', | |
| '\\bigl', | |
| '\\sinh', | |
| '\\sqrt', | |
| '\\cdot', | |
| '\\not', | |
| '\\div', | |
| '\\put', | |
| '\\lll', | |
| '\\tau', | |
| '\\sum', | |
| '\\lor', | |
| '\\eta', | |
| '\\min', | |
| '\\rho', | |
| '\\mid', | |
| '\\neg', | |
| '\\cao', | |
| '\\end', | |
| '\\vee', | |
| '\\int', | |
| '\\ref', | |
| '\\geq', | |
| '\\cap', | |
| '\\hat', | |
| '\\phi', | |
| '\\mit', | |
| '\\sin', | |
| '\\cot', | |
| '\\ggg', | |
| '\\cos', | |
| '\\mho', | |
| '\\hss', | |
| '\\Big', | |
| '\\top', | |
| '\\for', | |
| '\\lim', | |
| '\\eth', | |
| '\\cal', | |
| '\\dag', | |
| '\\log', | |
| '\\vss', | |
| '\\arg', | |
| '\\Phi', | |
| '\\psi', | |
| '\\dot', | |
| '\\bar', | |
| '\\leq', | |
| '\\bot', | |
| '\\ell', | |
| '\\sec', | |
| '\\tan', | |
| '\\sim', | |
| '\\Psi', | |
| '\\dog', | |
| '\\chi', | |
| '\\big', | |
| '\\cup', | |
| '\\his', | |
| '\\odd', | |
| '\\ast', | |
| '\\neq', | |
| '\\max', | |
| '\\vec', | |
| '\\sup', | |
| '\\le', | |
| '\\bf', | |
| '\\Em', | |
| '\\lq', | |
| '\\lg', | |
| '\\sc', | |
| '\\nu', | |
| '\\ln', | |
| '\\mp', | |
| '\\Im', | |
| '\\Pi', | |
| '\\do', | |
| '\\it', | |
| '\\gt', | |
| '\\wp', | |
| '\\ll', | |
| '\\ge', | |
| '\\AA', | |
| '\\tt', | |
| '\\sp', | |
| '\\ae', | |
| '\\Xi', | |
| '\\sf', | |
| '\\mu', | |
| '\\sb', | |
| '\\ni', | |
| '\\Re', | |
| '\\rm', | |
| '\\ss', | |
| '\\pm', | |
| '\\em', | |
| '\\to', | |
| '\\ne', | |
| '\\in', | |
| '\\tg', | |
| '\\gg', | |
| '\\xi', | |
| '\\sl', | |
| '\\pi', | |
| '\\SS', | |
| '\\%', | |
| '\\S', | |
| '\\A', | |
| '\\P', | |
| '\\_', | |
| '\\:', | |
| '\\;', | |
| '\\*', | |
| '\\$', | |
| '\\>', | |
| '\\x', | |
| '\\/', | |
| '\\+', | |
| '\\}', | |
| '\\B', | |
| '\\&', | |
| '\\R', | |
| '\\l', | |
| '\\L', | |
| '\\|', | |
| '\\,', | |
| '\\{', | |
| '\\n', | |
| '\\m', | |
| '\\=', | |
| '\\z', | |
| "\\'", | |
| '\\!', | |
| '\\<', | |
| '\\Z', | |
| '\\o', | |
| '\\O', | |
| '\\T', | |
| '\\a', | |
| '\\C', | |
| '\\^', | |
| '\\y', | |
| '\\\\', | |
| '\\i', | |
| '\\c', | |
| '\\#', | |
| '\\-', | |
| '\\N', | |
| '\\b', | |
| '\\j', | |
| '\\d', | |
| '\\Q', | |
| ']', | |
| '^', | |
| '_', | |
| '\\'] | |
| TOKEN_LATEX_VOC = ['\\ o v e r r i g h t a r r o w { \\ r m A B }', | |
| '\\ o v e r l e f t r i g h t a r r o w', | |
| '\\ L o n g l e f t r i g h t a r r o w', | |
| '\\ l o n g l e f t r i g h t a r r o w', | |
| '\\ s u p s e t n e q q \\ g t r s i m', | |
| '\\ s c r i p t s c r i p t s t y l e', | |
| '\\ r i g h t l e f t h a r p o o n s', | |
| '\\ c i r c l e a r r o w r i g h t', | |
| '\\ o v e r l i n e { \\ r m A B }', | |
| '\\ r i g h t r i g h t a r r o w s', | |
| '\\ l e f t r i g h t a r r o w s', | |
| '\\ r i g h t l e f t a r r o w s', | |
| '\\ c u r v e a r r o w r i g h t', | |
| '\\ c i r c l e a r r o w l e f t', | |
| '\\ b i g t r i a n g l e d o w n', | |
| '\\ l e f t l e f t a r r o w s', | |
| '\\ l o n g r i g h t a r r o w', | |
| '\\ L e f t r i g h t a r r o w', | |
| '\\ L o n g r i g h t a r r o w', | |
| '\\ c u r v e a r r o w l e f t', | |
| '\\ h o o k r i g h t a r r o w', | |
| '\\ r i g h t h a r p o o n u p', | |
| '\\ l e f t r i g h t a r r o w', | |
| '\\ o v e r r i g h t a r r o w', | |
| '\\ l o n g l e f t a r r o w', | |
| '\\ b i g t r i a n g l e u p', | |
| '\\ o v e r l e f t a r r o w', | |
| '\\ t r i a n g l e r i g h t', | |
| '\\ o p e r a t o r n a m e *', | |
| '\\ h o o k l e f t a r r o w', | |
| '\\ v a r s u b s e t n e q q', | |
| '\\ L o n g l e f t a r r o w', | |
| '\\ a r r a y s t r e t c h', | |
| '\\ r i g h t \\ r f l o o r', | |
| '\\ r i g h t \\ r b r a c e', | |
| '\\ f o o t n o t e s i z e', | |
| '\\ b e g i n { a r r a y }', | |
| '\\ r i g h t \\ r a n g l e', | |
| '\\ d i s p l a y s t y l e', | |
| '\\ o p e r a t o r n a m e', | |
| '\\ r e n e w c o m m a n d', | |
| '\\ r i g h t \\ r b r a c k', | |
| '\\ t r i a n g l e l e f t', | |
| '\\ a r r a y c o l s e p', | |
| '\\ u p d o w n a r r o w', | |
| '\\ d i a m o n d s u i t', | |
| '\\ l e f t \\ l b r a c e', | |
| '\\ n o l i n e b r e a k', | |
| '\\ s c r i p t s t y l e', | |
| '\\ l e f t \\ l f l o o r', | |
| '\\ l e f t \\ l a n g l e', | |
| '\\ l e f t \\ l b r a c k', | |
| '\\ m u l t i c o l u m n', | |
| '\\ m a t h v e r s i o n', | |
| '\\ n o t \\ s u p s e t', | |
| '\\ c o m p l e m e n t', | |
| '\\ u n i t l e n g t h', | |
| '\\ t h i c k l i n e s', | |
| '\\ r i g h t a r r o w', | |
| '\\ v a r n o t h i n g', | |
| '\\ r i g h t \\ v e r t', | |
| '\\ s q s u p s e t e q', | |
| '\\ s u p s e t n e q q', | |
| '\\ n o t \\ s u b s e t', | |
| '\\ s c r i p t s i z e', | |
| '\\ R i g h t a r r o w', | |
| '\\ b o l d s y m b o l', | |
| '\\ e n s u r e m a t h', | |
| '\\ c u r l y w e d g e', | |
| '\\ t e x t n o r m a l', | |
| '\\ n o r m a l s i z e', | |
| '\\ e n d { a r r a y }', | |
| '\\ s q s u b s e t e q', | |
| '\\ v a r e p s i l o n', | |
| '\\ s e t c o u n t e r', | |
| '\\ u n b o l d m a t h', | |
| '\\ u n d e r b r a c e', | |
| '\\ c i r c l e d a s t', | |
| '\\ l o n g m a p s t o', | |
| '\\ n s u b s e t e q', | |
| '\\ b a c k s l a s h', | |
| '\\ t h i n s p a c e', | |
| '\\ s m a l l s k i p', | |
| '\\ l e f t a r r o w', | |
| '\\ l l b r a c k e t', | |
| '\\ L e f t a r r o w', | |
| '\\ s e t l e n g t h', | |
| '\\ t r i a n g l e q', | |
| '\\ a r r o w v e r t', | |
| '\\ s u b s e t n e q', | |
| '\\ s u p s e t e q q', | |
| '\\ m a t h b b { H }', | |
| '\\ v a r l i m s u p', | |
| '\\ l e f t \\ v e r t', | |
| '\\ d o w n a r r o w', | |
| '\\ m a t h b b { S }', | |
| '\\ n p a r a l l e l', | |
| '\\ w i d e t i l d e', | |
| '\\ D o w n a r r o w', | |
| '\\ n s u p s e t e q', | |
| '\\ o v e r b r a c e', | |
| '\\ t e x t s t y l e', | |
| '\\ v a r l i m i n f', | |
| '\\ c h e c k m a r k', | |
| '\\ s u p s e t n e q', | |
| '\\ b i g o t i m e s', | |
| '\\ p i t c h f o r k', | |
| '\\ m a t h b b { A }', | |
| '\\ u n d e r l i n e', | |
| '\\ m a t h b b { O }', | |
| '\\ r i g h a r r o w', | |
| '\\ h p h a n t o m', | |
| '\\ p a r a l l e l', | |
| '\\ l e q s l a n t', | |
| '\\ u n d e r s e t', | |
| '\\ s u b s e t e q', | |
| '\\ b i g s q c u p', | |
| '\\ b i g o p l u s', | |
| '\\ m u l t i p u t', | |
| '\\ u l c o r n e r', | |
| '\\ r a i s e b o x', | |
| '\\ b i g w e d g e', | |
| '\\ e m p t y s e t', | |
| '\\ p r o t e c t u', | |
| '\\ b o x m i n u s', | |
| '\\ b u i l d r e l', | |
| '\\ v a r t h e t a', | |
| '\\ o v e r l i n e', | |
| '\\ f r a m e b o x', | |
| '\\ m a t h f r a k', | |
| '\\ s m a l l i n t', | |
| '\\ s t a c k r e l', | |
| '\\ s q s u p s e t', | |
| '\\ l l c o r n e r', | |
| '\\ s q s u b s e t', | |
| '\\ l r c o r n e r', | |
| '\\ c u r l y v e e', | |
| '\\ n o n u m b e r', | |
| '\\ s u b s t a c k', | |
| '\\ s u p s e t e q', | |
| '\\ v a r s i g m a', | |
| '\\ b i g u p l u s', | |
| '\\ t r i a n g l e', | |
| '\\ s e t m i n u s', | |
| '\\ v p h a n t o m', | |
| '\\ b o l d m a t h', | |
| '\\ g e q s l a n t', | |
| '\\ u p s i l o n', | |
| '\\ d i a m o n d', | |
| '\\ e p s i l o n', | |
| '\\ n o a l i g n', | |
| '\\ m e d s k i p', | |
| '\\ l e s s d o t', | |
| '\\ b i g c i r c', | |
| '\\ p r o t e c t', | |
| '\\ r i g h t \\ |', | |
| '\\ b o x p l u s', | |
| '\\ s p e c i a l', | |
| '\\ n e a r r o w', | |
| '\\ r i g h t \\ }', | |
| '\\ b e c a u s e', | |
| '\\ w i d e h a t', | |
| '\\ p h a n t o m', | |
| '\\ i t s h a p e', | |
| '\\ l e s s g t r', | |
| '\\ m a t h b i n', | |
| '\\ l e f t e q n', | |
| '\\ b a c k s i m', | |
| '\\ m a k e b o x', | |
| '\\ m a t h s c r', | |
| '\\ s e a r r o w', | |
| '\\ o o a l i g n', | |
| '\\ U p s i l o n', | |
| '\\ n a t u r a l', | |
| '\\ e n s p a c e', | |
| '\\ p a r t i a l', | |
| '\\ u p a r r o w', | |
| '\\ n e w l i n e', | |
| '\\ d d a g g e r', | |
| '\\ c o o k i n g', | |
| '\\ l e s s s i m', | |
| '\\ n e x i s t s', | |
| '\\ b i g o d o t', | |
| '\\ n w a r r o w', | |
| '\\ m a t h c a l', | |
| '\\ m a t h r e l', | |
| '\\ g t r l e s s', | |
| '\\ v c e n t e r', | |
| '\\ s w a r r o w', | |
| '\\ f b o x s e p', | |
| '\\ o m i c r o n', | |
| '\\ l e a d s t o', | |
| '\\ S u b s e t', | |
| '\\ m a t h i t', | |
| '\\ l a m b d a', | |
| '\\ v a r p h i', | |
| '\\ r b r a c e', | |
| '\\ t e x t i t', | |
| '\\ s u p s e t', | |
| '\\ t e x t u p', | |
| '\\ o t i m e s', | |
| '\\ m a t h b f', | |
| '\\ r i g h t |', | |
| '\\ l b r a c e', | |
| '\\ f o r a l l', | |
| '\\ s q u a r e', | |
| '\\ v a r r h o', | |
| '\\ a r c t a n', | |
| '\\ r t i m e s', | |
| '\\ r i g h t >', | |
| '\\ t e x t r m', | |
| '\\ t e x t t t', | |
| '\\ t e x t s f', | |
| '\\ m o d e l s', | |
| '\\ b i g v e e', | |
| '\\ l a n g l e', | |
| '\\ d a g g e r', | |
| '\\ a r c c o t', | |
| '\\ m a p s t o', | |
| '\\ s u c c e q', | |
| '\\ l b r a c k', | |
| '\\ b u l l e t', | |
| '\\ t e x t b f', | |
| '\\ g t r s i m', | |
| '\\ b i g c a p', | |
| '\\ n v d a s h', | |
| '\\ L a m b d a', | |
| '\\ a r c c o s', | |
| '\\ l c e i l m', | |
| '\\ r g r o u p', | |
| '\\ c o p r o d', | |
| '\\ o m i n u s', | |
| '\\ a p p r o x', | |
| '\\ p a r b o x', | |
| '\\ l f l o o r', | |
| '\\ b i g c u p', | |
| '\\ l e f t \\ {', | |
| '\\ o s l a s h', | |
| '\\ e n s k i p', | |
| '\\ l t i m e s', | |
| '\\ r a n g l e', | |
| '\\ r f l o o r', | |
| '\\ p r o p t o', | |
| '\\ m a t h s f', | |
| '\\ l g r o u p', | |
| '\\ p o u n d s', | |
| '\\ r b r a c k', | |
| '\\ m a t h r m', | |
| '\\ s u b s e t', | |
| '\\ l e f t \\ |', | |
| '\\ m a t h o p', | |
| '\\ c i r c l e', | |
| '\\ r i g h t .', | |
| '\\ m a t h b b', | |
| '\\ e x i s t s', | |
| '\\ a r c s i n', | |
| '\\ p r i m e', | |
| '\\ v l i n e', | |
| '\\ c d o t s', | |
| '\\ v a r p i', | |
| '\\ n o t i n', | |
| '\\ T h e t a', | |
| '\\ s q c u p', | |
| '\\ l e f t <', | |
| '\\ G a m m a', | |
| '\\ t h e t a', | |
| '\\ l a b e l', | |
| '\\ r i g h t', | |
| '\\ s i m e q', | |
| '\\ i n f t y', | |
| '\\ m s k i p', | |
| '\\ L a r g e', | |
| '\\ a s y m p', | |
| '\\ s h a r p', | |
| '\\ l e f t .', | |
| '\\ d a s h v', | |
| '\\ l c e i l', | |
| '\\ o m e g a', | |
| '\\ d d d o t', | |
| '\\ l d o t s', | |
| '\\ q q u a d', | |
| '\\ a l p h a', | |
| '\\ B i g g m', | |
| '\\ c h e c k', | |
| '\\ s m i l e', | |
| '\\ v D a s h', | |
| '\\ g r a v e', | |
| '\\ n l e s s', | |
| '\\ s q c a p', | |
| '\\ d e l t a', | |
| '\\ d o t e q', | |
| '\\ O m e g a', | |
| '\\ B i g g l', | |
| '\\ m k e r n', | |
| '\\ B i g g r', | |
| '\\ h l i n e', | |
| '\\ L A R G E', | |
| '\\ s m a s h', | |
| '\\ s m a l l', | |
| '\\ a l e p h', | |
| '\\ e q u i v', | |
| '\\ t i l d e', | |
| '\\ s p a c e', | |
| '\\ r c e i l', | |
| '\\ r a i s e', | |
| '\\ u n l h d', | |
| '\\ b i n o m', | |
| '\\ g a m m a', | |
| '\\ v s k i p', | |
| '\\ s t r u t', | |
| '\\ b i g g l', | |
| '\\ c o l o n', | |
| '\\ c d o t p', | |
| '\\ a m a l g', | |
| '\\ k a p p a', | |
| '\\ h r u l e', | |
| '\\ j m a t h', | |
| '\\ l o w e r', | |
| '\\ b r e v e', | |
| '\\ s i g m a', | |
| '\\ v d a s h', | |
| '\\ w e d g e', | |
| '\\ l a r g e', | |
| '\\ n a b l a', | |
| '\\ h f i l l', | |
| '\\ S i g m a', | |
| '\\ b i g g r', | |
| '\\ r e l a x', | |
| '\\ D e l t a', | |
| '\\ b e g i n', | |
| '\\ u n r h d', | |
| '\\ a c u t e', | |
| '\\ v d o t s', | |
| '\\ l e f t |', | |
| '\\ o p l u s', | |
| '\\ s l a s h', | |
| '\\ d d o t s', | |
| '\\ t i m e s', | |
| '\\ i m a t h', | |
| '\\ a n g l e', | |
| '\\ v r u l e', | |
| '\\ H u g e', | |
| '\\ b m o d', | |
| '\\ g e q q', | |
| '\\ n u l l', | |
| '\\ k e r n', | |
| '\\ n s i m', | |
| '\\ n l e q', | |
| '\\ B i g l', | |
| '\\ P e r p', | |
| '\\ e a c h', | |
| '\\ l a n d', | |
| '\\ b i g r', | |
| '\\ V e r t', | |
| '\\ t a n h', | |
| '\\ h f i l', | |
| '\\ c i r c', | |
| '\\ p r e c', | |
| '\\ i o t a', | |
| '\\ o d o t', | |
| '\\ l i n e', | |
| '\\ s e n t', | |
| '\\ p r o d', | |
| '\\ a t o p', | |
| '\\ i i n t', | |
| '\\ R e e f', | |
| '\\ n g e q', | |
| '\\ c i t e', | |
| '\\ t i n y', | |
| '\\ d d o t', | |
| '\\ n m i d', | |
| '\\ r l a p', | |
| '\\ b i g g', | |
| '\\ B i g m', | |
| '\\ f l a t', | |
| '\\ m i d f', | |
| '\\ c o s h', | |
| '\\ l l a p', | |
| '\\ s u r d', | |
| '\\ p e r p', | |
| '\\ s t a r', | |
| '\\ f b o x', | |
| '\\ d o t s', | |
| '\\ v e r t', | |
| '\\ b i g m', | |
| '\\ d d a g', | |
| '\\ t a x i', | |
| '\\ o i n t', | |
| '\\ f r a c', | |
| '\\ l e f t', | |
| '\\ t e x t', | |
| '\\ c r c r', | |
| '\\ c o n g', | |
| '\\ z e t a', | |
| '\\ n g t r', | |
| '\\ B i g g', | |
| '\\ p m o d', | |
| '\\ s k e w', | |
| '\\ q u a d', | |
| '\\ B i g r', | |
| '\\ b e t a', | |
| '\\ l e q q', | |
| '\\ h b a r', | |
| '\\ b i g l', | |
| '\\ s i n h', | |
| '\\ s q r t', | |
| '\\ c d o t', | |
| '\\ n o t', | |
| '\\ d i v', | |
| '\\ p u t', | |
| '\\ l l l', | |
| '\\ t a u', | |
| '\\ s u m', | |
| '\\ l o r', | |
| '\\ e t a', | |
| '\\ m i n', | |
| '\\ r h o', | |
| '\\ m i d', | |
| '\\ n e g', | |
| '\\ c a o', | |
| '\\ e n d', | |
| '\\ v e e', | |
| '\\ i n t', | |
| '\\ r e f', | |
| '\\ g e q', | |
| '\\ c a p', | |
| '\\ h a t', | |
| '\\ p h i', | |
| '\\ m i t', | |
| '\\ s i n', | |
| '\\ c o t', | |
| '\\ g g g', | |
| '\\ c o s', | |
| '\\ m h o', | |
| '\\ h s s', | |
| '\\ B i g', | |
| '\\ t o p', | |
| '\\ f o r', | |
| '\\ l i m', | |
| '\\ e t h', | |
| '\\ c a l', | |
| '\\ d a g', | |
| '\\ l o g', | |
| '\\ v s s', | |
| '\\ a r g', | |
| '\\ P h i', | |
| '\\ p s i', | |
| '\\ d o t', | |
| '\\ b a r', | |
| '\\ l e q', | |
| '\\ b o t', | |
| '\\ e l l', | |
| '\\ s e c', | |
| '\\ t a n', | |
| '\\ s i m', | |
| '\\ P s i', | |
| '\\ d o g', | |
| '\\ c h i', | |
| '\\ b i g', | |
| '\\ c u p', | |
| '\\ h i s', | |
| '\\ o d d', | |
| '\\ a s t', | |
| '\\ n e q', | |
| '\\ m a x', | |
| '\\ v e c', | |
| '\\ s u p', | |
| '\\ l e', | |
| '\\ b f', | |
| '\\ E m', | |
| '\\ l q', | |
| '\\ l g', | |
| '\\ s c', | |
| '\\ n u', | |
| '\\ l n', | |
| '\\ m p', | |
| '\\ I m', | |
| '\\ P i', | |
| '\\ d o', | |
| '\\ i t', | |
| '\\ g t', | |
| '\\ w p', | |
| '\\ l l', | |
| '\\ g e', | |
| '\\ A A', | |
| '\\ t t', | |
| '\\ s p', | |
| '\\ a e', | |
| '\\ X i', | |
| '\\ s f', | |
| '\\ m u', | |
| '\\ s b', | |
| '\\ n i', | |
| '\\ R e', | |
| '\\ r m', | |
| '\\ s s', | |
| '\\ p m', | |
| '\\ e m', | |
| '\\ t o', | |
| '\\ n e', | |
| '\\ i n', | |
| '\\ t g', | |
| '\\ g g', | |
| '\\ x i', | |
| '\\ s l', | |
| '\\ p i', | |
| '\\ S S', | |
| '\\ %', | |
| '\\ S', | |
| '\\ A', | |
| '\\ P', | |
| '\\ _', | |
| '\\ :', | |
| '\\ ;', | |
| '\\ *', | |
| '\\ $', | |
| '\\ >', | |
| '\\ x', | |
| '\\ /', | |
| '\\ +', | |
| '\\ }', | |
| '\\ B', | |
| '\\ &', | |
| '\\ R', | |
| '\\ l', | |
| '\\ L', | |
| '\\ |', | |
| '\\ ,', | |
| '\\ {', | |
| '\\ n', | |
| '\\ m', | |
| '\\ =', | |
| '\\ z', | |
| "\\ '", | |
| '\\ !', | |
| '\\ <', | |
| '\\ Z', | |
| '\\ o', | |
| '\\ O', | |
| '\\ T', | |
| '\\ a', | |
| '\\ C', | |
| '\\ ^', | |
| '\\ y', | |
| '\\ \\', | |
| '\\ i', | |
| '\\ c', | |
| '\\ #', | |
| '\\ -', | |
| '\\ N', | |
| '\\ b', | |
| '\\ j', | |
| '\\ d', | |
| '\\ Q', | |
| ']', | |
| '^', | |
| '_', | |
| '\\'] | |
| NORMALIZE_WORD_DICT = { | |
| "”": '\\"', | |
| "’": "'", | |
| "‘": "'", | |
| "–": "-", | |
| "“": '\\"', | |
| "с": "c", | |
| "а": "a", | |
| "о": "o", | |
| "Н": "H", | |
| "у": "y", | |
| "О": "0", | |
| "М": "M", | |
| "Α": "A", | |
| "А": "A", | |
| "Р": "P", | |
| "Т": "T", | |
| "р": "p", | |
| "З": "3", | |
| "х": "x", | |
| "е": "e", | |
| ":": ":", | |
| "Η": "H", | |
| "(": "(", | |
| "К": "K", | |
| "Ү": "Y", | |
| "б": "6", | |
| "․": ".", | |
| "В": "B", | |
| "С": "C", | |
| "Ρ": "P", | |
| "і": "i", | |
| "г": "r", | |
| "Κ": "K", | |
| "Х": "X", | |
| "Ι": "I", | |
| ",": ",", | |
| "Τ": "T", | |
| "Ј": "J", | |
| "У": "y", | |
| "๐": "o", | |
| "ı": "i", | |
| "в": "B", | |
| "Β": "B", | |
| "һ": "h", | |
| "ν": "v", | |
| "Τ": "T", | |
| "Е": "E", | |
| "Ј": "J", | |
| "Ι": "I", | |
| "Ρ": "P", | |
| "У": "y", | |
| "І": "I", | |
| "Ј": "J", | |
| "Ι": "I", | |
| "×": "x", | |
| "†": "t", | |
| "̃": "", | |
| " ̣": "", | |
| "`": "'", | |
| # Latex | |
| r"\\left[": r"[", | |
| r"\\right]": r"]", | |
| r"\\left\\{": r"\\{", | |
| r"\\right\\}": r"\\}", | |
| r"\\left|": "|", | |
| r"\\right|": "|", | |
| r"\\left(": r"(", | |
| r"\\right)": r")", | |
| r"\\left.": r"", | |
| r"\\right.": r" ", | |
| r"\\cdot": r".", | |
| r"\\prime": r"'", | |
| r"\\Delta": r"\\triangle", | |
| r"\\circ": "o", | |
| r"\\bigtriangleup": r"\\triangle", | |
| r"\\left ": r" ", | |
| r"\\right ": r" ", | |
| r"\\le ": r"\\leq ", | |
| r"\\ge ": r"\\geq ", | |
| r"\\setminus": r"\\backslash", | |
| r"$\\bullet$": r"", | |
| r"\\therefore": r"", | |
| r"\\otimes": r"", | |
| r"\\rightarrowI": r"\\rightarrow", | |
| r"\\overparen": r"\\widehat", | |
| r"\\triangleABC": r"\\triangle ABC", | |
| r"\\rightrightarrows": r"\\rightarrow", | |
| r"\\top": r"'", | |
| r"\\dagger": r"'", | |
| r"\\bigoplus": r"Đ", | |
| r"\\oplus": r"Đ", | |
| r"\\doteq": r"=", | |
| r"\\bigcap": r"\\cap", | |
| r"\\I": r"I", | |
| r"\\l ": r"I", | |
| r"\\kappa": r"K", | |
| # r"\n": "", | |
| } | |
| CHARACTER_SET = { | |
| "$", | |
| "\\", | |
| " ", | |
| "n", | |
| "h", | |
| "t", | |
| "e", | |
| "i", | |
| "a", | |
| "o", | |
| "c", | |
| ".", | |
| "s", | |
| "r", | |
| "g", | |
| "u", | |
| "l", | |
| "m", | |
| "d", | |
| "y", | |
| "p", | |
| "đ", | |
| "C", | |
| "v", | |
| "b", | |
| "à", | |
| "k", | |
| "w", | |
| "f", | |
| "á", | |
| "â", | |
| "B", | |
| "1", | |
| "T", | |
| "ư", | |
| "A", | |
| ")", | |
| ",", | |
| "D", | |
| "Ð", | |
| "(", | |
| ":", | |
| "2", | |
| "I", | |
| "ệ", | |
| "?", | |
| "ế", | |
| "ạ", | |
| "ộ", | |
| "3", | |
| "ó", | |
| "ủ", | |
| "ì", | |
| "ô", | |
| "ả", | |
| "ố", | |
| "H", | |
| "ể", | |
| "ớ", | |
| "ê", | |
| "N", | |
| "0", | |
| "4", | |
| "ề", | |
| "í", | |
| "x", | |
| "5", | |
| "ậ", | |
| "ị", | |
| "M", | |
| "ờ", | |
| "ấ", | |
| "ơ", | |
| "S", | |
| "'", | |
| "ợ", | |
| "q", | |
| "ọ", | |
| "V", | |
| "ứ", | |
| "-", | |
| "Đ", | |
| "ú", | |
| "ự", | |
| "W", | |
| "6", | |
| "P", | |
| "9", | |
| "L", | |
| "ầ", | |
| "7", | |
| "8", | |
| "ã", | |
| "E", | |
| "Ẹ", | |
| "ă", | |
| '"', | |
| "ụ", | |
| "ữ", | |
| "ồ", | |
| "G", | |
| "ở", | |
| "K", | |
| "ỉ", | |
| "ò", | |
| "ẳ", | |
| "ắ", | |
| "ừ", | |
| "ù", | |
| "ằ", | |
| "R", | |
| "O", | |
| "ặ", | |
| "Q", | |
| "ổ", | |
| "ĩ", | |
| "X", | |
| "ỏ", | |
| "Y", | |
| "ử", | |
| "F", | |
| "é", | |
| "U", | |
| "j", | |
| "ý", | |
| "/", | |
| "ẽ", | |
| "z", | |
| "ỗ", | |
| "J", | |
| "ễ", | |
| "ẩ", | |
| "ũ", | |
| "Á", | |
| "ẹ", | |
| "=", | |
| "ẫ", | |
| "ẻ", | |
| "Ẻ", | |
| ";", | |
| "!", | |
| ">", | |
| "è", | |
| "È", | |
| "Ẽ", | |
| "[", | |
| "]", | |
| "*", | |
| "À", | |
| "Â", | |
| "Ẫ", | |
| "+", | |
| "õ", | |
| "Õ", | |
| "ỡ", | |
| "Ậ", | |
| "Ô", | |
| "Ỗ", | |
| "Ở", | |
| "Ỡ", | |
| "ỹ", | |
| "Ỹ", | |
| "^", | |
| "ẵ", | |
| "ỳ", | |
| "Ă", | |
| "Ẵ", | |
| "|", | |
| "Ệ", | |
| "Ạ", | |
| "Ư", | |
| "Ố", | |
| "Ý", | |
| "Ọ", | |
| "Ấ", | |
| "ỷ", | |
| "Ê", | |
| "Ế", | |
| "Ầ", | |
| "Ề", | |
| "Ự", | |
| "Í", | |
| "Ả", | |
| "Ụ", | |
| "Ộ", | |
| "Z", | |
| "Ơ", | |
| "}", | |
| "Ể", | |
| "Ú", | |
| "{", | |
| "%", | |
| "Ị", | |
| "Ắ", | |
| "_", | |
| "Ủ", | |
| "Ó", | |
| "Ì", | |
| "<", | |
| "°", | |
| "Ớ", | |
| "å", | |
| "̣", | |
| "Ĩ", | |
| "~", | |
| "Ờ", | |
| "Ợ", | |
| "̉", | |
| "Ỏ", | |
| "•", | |
| "Ữ", | |
| "ā", | |
| "&", | |
| "Ứ", | |
| "Ổ", | |
| "Ã", | |
| "Ồ", | |
| "Ễ", | |
| "Ử", | |
| "Ẩ", | |
| "#", | |
| "Ù", | |
| "Ò", | |
| "É", | |
| "ӑ", | |
| "\n", | |
| "Ặ", | |
| "Ũ", | |
| "Ỳ", | |
| "Ừ", | |
| "Ẳ", | |
| "Ỷ", | |
| "Ằ", | |
| } | |