Tokenization：谁来定义一个 token？

神经网络如何理解文本？这个问题如此基础，以至于你甚至可以原谅自己忘记它。单词和字母是人类可读的，但它们是离散的（即使组合起来是无限的），与神经网络所使用的连续表示方式并不兼容。