gzip 能当语言模型用吗?
前段时间我写过一篇文章无神经网络的语言建模我用无界n-gram模型生成了莎士比亚:没有权重,没有训练,只是计数。幸运的是,我偶然发现了这篇论文语言建模就是压缩,该列表提到了压缩-预测等价:
每个预测模型本质上都是压缩器,所有压缩算法都是预测模型.
这自然引出了一个问题:可以gzip做语言建模吗?没有神经网络,没有学习参数,什么都没有。只有随操作系统附带的压缩器。你用语料库给它做预备,给它一个普通的文本提示,它会继续搜索压缩效果最好的字节序列。
这是在小小的莎士比亚上做底准备后,真实且未经编辑的输出:
评论
?
参与讨论