近日，字节跳动联合香港大学和华中科技大学共同推出了全新的视觉分词器 UniTok。这款工具不仅能在视觉生成和理解任务中发挥作用，还在技术上进行了重要创新，解决了传统分词器在细节捕捉与语义理解之间的矛盾。
UniTok 采用了多码本量化技术，能够将图像特征分割成多个小块，并用独立的子码本进行量化。这种方法极大地提升了视觉 token 的表示能力，使得处理图像时能够更加精细。比如，UniTok 在 ImageNet 数据集上的零样本分类准确率达到了78.6%，而图像重建质量也仅为0.38，远超现有的分词器。
UniTok 的核心功能包括统一视觉表示和高质量图像重建。它能将图像编码为离散的视觉 token，这些 token 不仅可以用于图像生成（例如根据文本生成图像），还可以用于视觉理解(例如回答与图像相关的问题)。此外，UniTok 结合了对比学习和重建损失，确保生成的视觉 token 与文本描述之间的对齐，从而提升视觉理解的能力。
在技术原理上，UniTok 的多码本量化使得视觉 token 的词汇量可以指数级增长。而其使用的多头注意力模块则更好地保留了原始 token 中的语义信息，使得分解后的特征表达能力得以提升。整个训练过程遵循统一的目标，确保图像细节的准确重建，同时优化生成和理解任务。
UniTok 不仅在视觉领域表现出色，还为多模态大语言模型（MLLM）的发展提供了强有力的支持。它将生成的视觉 token 映射到多模态语言模型的 token 空间，推动了视觉与语言的统一处理。这种技术进步不仅提升了图像生成的效率，还为教育、医疗影像分析等多个领域带来了新的应用前景。
未来，UniTok 有望在多个场景中得到广泛应用，比如作为多模态模型的视觉输入模块，提升图文信息处理能力;根据文本生成细节丰富的图像，助力创意设计;或是在电商平台中进行跨模态检索与推荐，从而提高用户体验。
项目地址：https://github.com/FoundationVision/UniTok
