Files
llama.cpp/src
Toki Nasin a3f84faf49 vocab : keep </s> NORMAL in PLaMo-2 and PLaMo-3 (#29580)
* vocab : keep </s> NORMAL in PLaMo-2 and PLaMo-3

The PLaMo-2 and PLaMo-3 vocabularies mark </s> as NORMAL. Current
EOG token heuristic matched it by text and added its attribute
to CONTROL.

Skip this heuristic for the PLAMO2 vocab type so </s> stays NORMAL
and is not treated as EOG.

* use <|plamo:eos|> for detection
2026-09-29 20:30:40 +03:00
..
2026-06-29 16:58:51 +08:00
2026-06-07 20:50:54 +08:00
2026-09-28 10:24:21 +03:00
2026-04-03 10:33:03 +02:00