Bytedance está desarrollando un modelo de inteligencia artificial que alcanzará hasta diez billones de parámetros, superando significativamente al Kimi K3 de Moonshot, que posee tres billones. Este avance coloca a la empresa matriz de TikTok a la par de Mythos 5 de Anthropic, que se estima tenga alrededor de ocho billones de parámetros.
Actualmente, el modelo de Bytedance se encuentra en la fase de preentrenamiento, que se espera dure entre tres y seis meses. La capacidad de almacenamiento del modelo depende en gran medida de la calidad de los datos y de los métodos de entrenamiento utilizados. Se ha informado que Bytedance ha evitado la destilación, es decir, el entrenamiento basado en salidas de otros modelos, durante más de un año.
El fundador Zhang Yiming ha instado a su equipo, que cuenta con dos mil miembros, a enfocarse en desarrollar capacidades de modelos líderes a nivel mundial en el largo plazo. Además, xAI está trabajando en variantes de Grok con seis y diez billones de parámetros en su clúster Colossus 2, según declaraciones de Elon Musk.