Mostramos que los modelos de lenguaje autorregresivos pueden aprender a rellenar texto después de aplicar una transformación sencilla al conjunto de datos, que simplemente mueve un tramo de texto desde la mitad de un documento hasta su final. Si bien este aumento de datos ha despertado mucho interés en los últimos años, proporcionamos amplia evidencia de que entrenar modelos con una gran fracción de datos transformados de esta manera no daña la capacidad generativa original de izquierda a derecha, medida por perplejidad y evaluaciones de muestreo en todos los países. una amplia gama de escalas. Dada la utilidad, simplicidad y eficiencia de los modelos de entrenamiento para completar en el medio (FIM), sugerimos que los futuros modelos de lenguaje autorregresivo se entrenen con FIM de forma predeterminada. Con este fin, ejecutamos una serie de ablaciones en hiperparámetros clave, como la frecuencia de transformación de datos, la estructura de la transformación y el método de selección del tramo de relleno. Usamos estas ablaciones para prescribir configuraciones predeterminadas sólidas y mejores prácticas para entrenar modelos FIM. Hemos publicado nuestro mejor modelo de relleno entrenado con las mejores prácticas en nuestra API y publicamos nuestros puntos de referencia de relleno para ayudar en futuras investigaciones.