## macros to be used in RegExps rules
## CSM: Macros edited, not to tokenize certain meaningful characters in the words contained diachronic texts. The character deleted from the list ALPHANUM is ~ and &
ALPHA [[:alpha:]]
ALPHANUM [[:alnum:]º°&]
NOALPHANUM [^[:alnum:]º°&]
SYMNUM [\.,_/\\=\*\+\-º°&$€£¢¥#%]
OTHERS .
## Tokenization rules. They are applied in the order of definition.
## The first matching the *beginning* of the line is applied
## and a token built. The process is repeated until the line
## has been completely processed.
## -The first field in the rule is the rule name. If it starts
## with a "*", the RegExp will only produce a token if the
## match is found in abbreviation list below.
## -The second field in the rule is the substring to form the token/s with
## It may be 0 (the match of the whole expression) or any number
## from 1 to the number of substrings (up to 9). A token will be
## created for each substring from 1 to the specified value.
## -The third field is the regexp to match against the line
##
INDEX_SEQUENCE 0 (\.{4,}|-{2,}|\*{2,}|_{2,}|/{2,})
INITIALS1 1 ([A-Z](\.[A-Z])+)(\.\.\.)
INITIALS2 0 ([A-Z]\.)+
TIMES 0 (([01]?[0-9]|2[0-4]):[0-5][0-9])
NAMES_CODES 0 ({ALPHA}|{SYMNUM})*[0-9]({ALPHA}|[0-9]|{SYMNUM}+{ALPHANUM})*
THREE_DOTS 0 (\.\.\.)
QUOTES 0 (``|<<|>>|'')
MAILS 0 {ALPHANUM}+([\._]{ALPHANUM}+)*@{ALPHANUM}+([\._]{ALPHANUM}+)*
URLS 0 ((mailto:|(news|http|https|ftp|ftps)://)\S+|^(www(\.\S+)+))
KEEP_COMPOUNDS 0 {ALPHA}+(['_\-]{ALPHA}+)+
*ABREVIATIONS1 0 (({ALPHA}+\.)+)(?!\.\.)
*ABREVIATIONS2 0 ({ALPHA}+\.)(?!\.\.)
*ABREVIATIONS3 0 (\.{ALPHA}+\.)(?!\.\.)
*ABREVIATIONS4 0 (\.{ALPHA})(?!\.\.)
WORD 0 {ALPHANUM}+
OTHERS_C 0 {OTHERS}
## Abbreviations. The dot is not tokenized separately
## in the cases listed below.
.j.
.ij.
ij
.iij.
.m
vi.
.d
.x.
vii.
.iiij.
iij.
ij.
.vj.
.v.
.vij.
.xij.
.xx.
.xiij.
j.
.xv.
iiij.
.ix.
v.
.xiiij.
.xj.
.viij.
x.
c.
.xxx.
.iiijo.
.xvj.
ix.
xx.
vij.
vj.
xv.
viij.
.xxv.
.i.
.xviij.
.xxj.
.xxij.
.xix.
.xxiij.
.xvij.
.iijo.
.v
.xxvj.
xj.
.xxvij.
.xxiiij.
xij.
.xl.
xix.
xxix.
.xxxvj.
.c.
xxv.
xiij.
.xxviij.
xxx.
xxj.
vij
.xxxij.
.xxxv.
.vo.
xiiij.
.xxxj.
.viijo.
xii.
.xxix.
xxii.
.xx
.ijo.
.xlj.
xiiii.
.xxxvij.
.xxxiij.
.x
xvj.
xxi.
iiii.
.xlij.
xvij.
.xxxiiij.
.jx.
m.
.xliij.
xxxv.
viii.
xxij.
xxiij.
xvii.
.l.
xxviij.
.xlv.
.xlvj.
xxxvj.
.lx.
.vi.
.lij.
.xlvij.
xvij
xviij.
xxiiij.
xxvij.
xxxix.
.iija.
xxvj.
xxiii.
.vjo.
.vijo.
mijo.
.xiiijo.
.xxi.
xl.
xxxij.
xxvi.
.xxxviij.
xiii.
.xxxix.
.lv.
ii.
lij.
.lj.
xxvij
.xliiij.
xvi.
.iii.
xi.
.lxix.
.ija.
.liij.
.xlviij.
d.
xlj.
viijo.
.xviijo.
xlv.
.ii.
.lxv.
.cv.
.lix.
xxxj.
xxxvij
.clxxv.
.a.
ijo.
.liiij.
.lviij.
.lxj.
xviii.
.lxvj.
.lxvij.
xliii.
.xlix.
.lxxxij.
.xjx.
xxiiii.
.lvij.
.xi.
xxvii.
xxviii.
iiijo.
.xcv.
xxxvij.
.lxiiij.
.cx.
iii.
xxxiii.
.xvi.
.clxxij.
.xo.
.j
.cxv
.vii.
.lvj.
xxxi.
xxxiij.
xxxiiij.
xxxviij.
xlij.
xliij.
xliiij.
xlvij.
.lxij.
.lxxiij.
.lxxxvj.
.xciij.
.xcvj.
.xcvij.
.xcviij.
.xcix.
.cxj.
.li
.cvij.
.cxvj.
.clxx.
.clxxiiij.
lx.
jx.
iii
.lxxxv.
.xjo.
.lxxv.
.xxii.
.cvj.
.lxxxvij.
.lxxx.
iijo.
xxviijo.
.lxxj.
.lxxvij.
.cj.
.cix.
.cxix.
.cxxvij.
.cxxix.
.lxx.
.cxliij.
.cxlvj.
.cl.
.clv.
.clx.
.clxj.
.lxiij.
.clxxiij.
lv.
.c
lxiij.
.ij
xxxvii.
xxxii.
xlii.
.viii.
li.
xlviij.
xli.
xlvij
lxxvij
.vj
.ix
.iij
.lxij
.xcvj
.xxviijo.
.xxxiiijo.
.xxxviijo.
.iiii.
lxv.
.cxij.
.lxxxviij.
.xiijo.
ija.
iv
.xvij
.ixo.
xxxviii.
.xlviijo.
lj.
xlvj.
xlix.
.cxix
.lxxvj.
.xxxi.
.xxvi.
xxxvi.
.xvii.
.cviij.
.xcij.
.xcj.
lvij
.cv
.lxxix.
.xc.
.lxviij.
.xijo.
.xciiij.
.cxv.
.cij.
.xlvj
.cxvij.
cccc.
.cxxiiij.
.cxxvj.
.cxxviij.
.cxxxj.
.cxl.
.lxxiiij.
.lxxxiiij
.cxlv.
.lxxxv
.cxlix.
.clij.
.lxxxvij
.clvij.
.clviij.
liij.
.clxv.
.clxvij.
.clxix.
.cxviij
xvi
xxi
.lxxviij.
.clxxvj.
xvii
.cxxviij
viii
lxxxvij.
.xxjx.
xiv
.lxxxvj
.lvij
.lvj
.xxxvij
.xxvij
.viij
.cccco.
.xliiijo.
.xxxjx.
ii
xxxviii
xxxvii
xxxvi
xxxv
xxxiv
xxxiii
xxxii
xxxi
xxx
xxix
xxviii
xxvii
xxvi
xxv
xxiv
xxiii
xxii
xx
xix
xviii
xv
xiii
xii
xi
ix
vii
.lxxxiij
.lxiij
.clxxi.
cxvij
cvij
lxvij
xiiijo.
lvi.
liiii.
xlviii.
lvii.
lii.
.xj
.xv
.xvj
lxvi
lvi
.xljx.
cxv.
cj.
xcviij.
xcvj.
xcv.
xcij.
xcj.
xc.
lxxxix.
lxxxviij.
lxxxv.
lxxij.
lxxj.
lxx.
lxij.
.clxxxiij.
.clxxix.
.clxxj.
.clxviij.
.clxiij.
.clxij.
.clix.
.cxlvij.
.cxlj.
.cxxxix.
.cxxxviij.
.cxxxvij.
.cxxxiij.
.cxxx.
.cxxv.
.cxxij.
.cxviij.
.ciiij.
.lxxxiiij.
.lxxxj.
.lxxij.
lxxxj.
.iiij
.vij
iija.
.xvijo.
.xvo.
.cc.
xvi
lxiiij.
lvij.
.cxx.
.lxxxix.
.xxvii.
.xviii.
.xiiii.
.xii.
.cxiij.
.ciij.
.lxxxiij.
.xxj
.xxxix
.lxjx.
lxxxvij
xcvij
.xiii.
cxxvij
muda.
.xlii.
.i
.xcij
.lxxxviij
.xxiiii.
xxxiiijo.
liii
.xxviii.
.viiij.
.xxvj
.cxvj
.lxxxjx
.xvjo.
.ciij
cc.
.cxiiij.
.o.
.cxxj.
.cxxiij.
.cxxxiiij.
.cxxxv.
.cxxxvj.
.cxlij.
.cxliiij.
.xxiiij
.cxlviij.
.clj.
.lj
.cliij.
.cliiij.
.clxiiij.
.clxvj.
lvj.
.clxxxj.
.clxxxij.
lviij.
lxvj.
.ccxv.
lxix.
lxxiij.
lxxiiij.
lxxv.
lxxvj.
.m.
lxxvij.
.ccxlv.
lxxxij.
lxxxiiij.
lxxxvj.
xciij.
xciiij.
xcvij.
xcix.
ciij.
ciiij.
cx.
cxiiij.
.14
.xviij
.liij
.xij
xxxiiii.
lviii.
folio.26
la.2
.lv
.d.
xxxa.
xxxviijo.
xxvo.
cxlvij
cxlvi
cxxxvij
.iulij.
cccco.
.lo
.liiijo.
.xxxj
.xxiiijo
dccxlix
lxxiii
lxxii
lxxi
lxx
lxix
lxviii
lxvii
lxvi
lxv
lxiv
lxiii
lxii
lxi
lx
lix
lviii
lvii
lvi
lv
liv
lii
xlix
xlviii
xlvii
xlvi
xlv
xliv
xliii
xlii
xli
xl
xxxix
xxxx.
.u.
l
.xxviij
.xcvij
.xciij
.lxxx
.lxxv
.clxxvii.
.cli.
.cxxxiiii.
.cccc.
.jij.
clxvij
clvij
cxxiij.
cxxij.
cxvj.
.jx
xxo.
.lxxxo
xliiii.
xlvii.
xlvi.
.xiij
cxiij.
cvj.
cv.
.ccxcvj.
.ccxciiij.
.ccxciij.
.ccxcij.
.ccxcj.
.ccxc.
.cclxxxix.
.cclxxxviij.
.cclxxxvij.
.cclxxxvj.
.cclxxxv.
.cclxxxiiij.
.cclxxxiij.
.cclxxxij.
.cclxxxj.
.cclxxx.
.cclxxix.
.cclxxviij.
.cclxxvij.
.cclxxvj.
.cclxxv.
.cclxxiiij.
.cclxxiij.
.cclxxij.
.cclxxj.
.cclxx.
.cclxix.
.cclxviij.
.cclxvij.
.cclxvj.
.cclxv.
.cclxiiij.
.cclxiij.
.cclxij.
.cclx.
.cclix.
.cclviij.
.cclvij.
.cclvj.
.cclv.
.ccliiij.
.ccliij.
.cclij.
.cclj.
.ccl.
.ccxlix.
.ccxlviij.
lxxx.
.ccxliiij.
lxxix.
.ccxliij.
.ccxlij.
lxxviij.
.ccxlj.
.ccxl.
.ccxxxix.
.ccxxxviij.
.ccxxxvij.
.ccxxxvj.
.ccxxxv.
.ccxxxiiij.
.ccxxxij.
.ccxxxj.
.ccxxx.
.ccxxix.
.ccxxviij.
.ccxxvij.
.ccxxvj.
.ccxxv.
.ccxxiiij.
.ccxxiij.
.ccxxij.
.ccxxj.
.ccxx.
.ccxix.
.ccxviij.
.ccxvij.
lxviij.
.ccxvj.
lxvij.
.ccxiiij.
.ccxiij.
.ccxij.
.ccxj.
.ccx.
.ccviij.
.ccvij.
.ccvj.
.ccv.
.cciiij.
.cciij.
.ccij.
.ccj.
.cxcix.
.cxcviij.
.cxcvij.
.cxcvj.
.cxcv.
lxj.
.cxciiij.
.cxciij.
.cxcij.
.cxcj.
.cxc.
.clxxxix.
.clxxxviij.
.clxxxvij.
.clxxxvj.
.clxxxv.
.clxxxiiij.
.clxxx.
.clxxviij.
.clxxvij.
liiij.
.clvj.
.cxxxij.
.xjxo.
xviiij.
.lxviii.
.li.
.xlvii.
.xxxiiii.
.xxxiii.
.xxiii.
.cccxcj.
.lxxxi.
.lxvii.
.xliij
.xxjo.
.xxijo.
.xxiijo.
.xxvijo.
.xxxjo.
.xxxijo.
.xxxiijo.
.xxxvijo.
.xxxjxo.
.xlijo.
.jxo.
.xlvo.
.xxiiijo.
.xl
comi.
.cxj
.cxxvj
.cxxij
.xc
cxxj.
.lxxxj
.cj
.cx
.cxxjx
.cvij
.xcviij
.lij
.xlv
.xxxjx
.xxxvi
.xxxvj
.xxxv
.xxxiiij
.lxxviij
.lxxvj
.clxxiiii.
.clxxiii.
.clxxii.
xljo.
.clxx
.clxviii.
.clxvii.
.clxvi.
.clxiiii.
.clxiii.
.clxii.
.clxi.
.clviii
.clvii
.clvi.
.cliiii.
.cliii.
.cxlx.
.xxviji.
.cxlviii.
.cxlvii.
.cxlvi.
.cxliiii.
.cxliii.
.cxlii.
.cxli.
.cxxxviii.
.cxxxvii.
.cxxxvi.
.cxxxiii.
.cxxxii.
.cxxxi.
.cxxviii.
.cxxvii.
.cxxvi.
.cxxiiii.
.cxxiii.
.cxxii.
.cxxi.
.ciiii.
.xciiii.
.xci.
.liiii.
.xi
xviijo.
.iijo
clxx.
xxiiijo.
xo.
xjj.
xcviijo.
xciiijo.
xxjx.
lxxxovj.
lxxxoj.
.lviijo.
xljx.
xliiijo.
ljx.
.l
cxx.
cxxv.
cxxix.
cxxx.
.xcj
cxxxv.
.lxxxix
xxjo.
.ccclx.
liii.
.lxj
.lx
.cclxj
.ccxlvij.
.ccxlvj.
lxxvi
.ccxxxiij.
.ccix.
.lix
xlvi
.lxix
cxvi.
cxij.
.ccxcv.
jxo.
.xjx
.liiij
.xxxo.
llilio.
.xliiij
.xljx
xvo.
.xxo.
.xiiijo
.co
.cclxj.
.xxxvii
.lvo.
.ljxo.
.iia.
.xxxiija.
.xxvo.
.xxxvo.
.xxxvjo.
lxxxiij.
lxvijj
ccxlvij.
ccxxxiij.
ccix.
xjx.
.vja.
viija.
.viija.
vija.
.jo.
.ja.
.xxxa.
.xiijjo.
ixo.
liiijo.
xxxvjo.
.iiii
viiij.
.ccc.
.xxxviiij.
.xviiij.
.xxiij
.xxjx
.cxviii.
.cxvii.
.cxvi.
.cxiiii.
.cxiii.
.cxii.
.cxi.
.cviii.
.cvii.
.cvi.
.ciii.
.cii.
.ci.
.xcviii.
.xcvii.
.xcvi.
.xciii.
.xcii.
.lxxxviii.
.lxxxvii.
.lxxxvi.
.lxxxiiii.
.lxxxiii.
.lxxxii.
.cxij
.lxxvii.
.lxxvi.
.cviij
.lxxiiii.
.lxxiii.
.lxxi.
.cxxiij
.lxvi.
.lxiiii.
.jj.
.lxiii.
.lxii.
.lxi.
.lviii.
.lvii.
.lvi.
.liii.
.cxvij
.cxiiij
.xlviii.
.lxxjx.
.xcix
.xlvi.
.xliiii.
.xliii.
.xli.
.xxxviii.
.xxxvii.
.xxxvi.
.cxxvij
.xxxii.
.cxxj
.cccliij.
.cccxcij.
.cccxc
.cccxcvj.
.cccxcix.
ccccj.
.ccccij.
.cccciij.
.cccciiij.
lxxxx.
lxxxxj.
lxxxxij.
cix.
.iv.
cxvij.
cxviij.
acidia.
cxxiiij.
cxxvj.
cxxvij.
cxxviij.
cxxxj.
cxxxij.
cxxxiij.
cxxxiiij.
iulij.
.vlij.
.iulij
xxvjo.
.ccco.
xlijo.
.iiiio.
.iiio.
.iio.
.lxviijo.
.lxiiijo.
.xxxviijo
.xxxvjj.
.xxxiij
.xxij
.xvviijo.
.cix
.cvj
.ciiij
.cij
xiiiij.
clxxvij
.lxx
xvijj
lxxxxv.
.xiv.
.clxviij
.clxiiij
xiv.
.cxlviij
.xcv
.lxxxij