• Roblox siempre ha sido diseñado para proteger a nuestros usuarios más jóvenes; Ahora nos estamos adaptando a una audiencia cada vez mayor de usuarios mayores.
• Con texto, voz, imágenes, modelos 3D y código, Roblox se encuentra en una posición única para tener éxito con soluciones de IA multimodal.
• Mejoramos la seguridad en toda la industria siempre que podemos, a través del código abierto, la colaboración con socios o el apoyo a la legislación.

La seguridad y el civismo han sido fundamentales para Roblox desde sus inicios hace casi dos décadas. Desde el primer día, nos comprometimos a incorporar funciones de seguridad, herramientas y capacidades de moderación en el diseño de nuestros productos. Antes de lanzar cualquier característica nueva, ya hemos comenzado a pensar en cómo mantener a la comunidad a salvo de posibles daños. Este proceso de diseño de características para la seguridad y el civismo desde el principio, incluidas las pruebas tempranas para ver cómo se podría utilizar incorrectamente una nueva característica, nos ayuda a innovar. Evaluamos continuamente las últimas investigaciones y tecnologías disponibles para mantener nuestras políticas, herramientas y sistemas lo más precisos y eficientes posible.

Cuando se trata de seguridad, Roblox ocupa una posición única. La mayoría de las plataformas comenzaron como un lugar para adultos y ahora están trabajando retroactivamente para incorporar protecciones para adolescentes y niños. Pero nuestra plataforma se desarrolló desde el principio como un espacio seguro y protector para que los niños crearan y aprendieran, y ahora nos estamos adaptando a una audiencia en rápido crecimiento que está envejeciendo. Además, el volumen de contenido que moderamos ha crecido exponencialmente, gracias a nuevas e interesantes funciones y herramientas de IA generativa que permiten a aún más personas crear y comunicarse fácilmente en Roblox. Estos no son desafíos inesperados: nuestra misión es conectar a mil millones de personas con optimismo y civismo. Siempre estamos mirando al futuro para comprender qué nuevas políticas y herramientas de seguridad necesitaremos a medida que crezcamos y nos adaptemos. 

Muchas de nuestras funciones y herramientas de seguridad se basan en soluciones innovadoras de inteligencia artificial que funcionan junto con un equipo experto de miles de personas dedicadas a la seguridad. Esta combinación estratégica de humanos experimentados y automatización inteligente es imperativa a medida que trabajamos para escalar el volumen de contenido que moderamos las 24 horas del día, los 7 días de la semana. También creemos en fomentar asociaciones con organizaciones centradas en la seguridad en línea y, cuando sea relevante, apoyamos la legislación que creemos firmemente que mejorará la industria en su conjunto. 

Liderar con IA para escalar de forma segura 

La gran escala de nuestra plataforma exige sistemas de inteligencia artificial que cumplan o superen los puntos de referencia líderes en la industria en cuanto a precisión y eficiencia, lo que nos permite responder rápidamente a medida que la comunidad crece, las políticas y los requisitos evolucionan y surgen nuevos desafíos. Hoy en día, más de 71 millones de usuarios activos diarios en 190 países se comunican y comparten contenido en Roblox. Todos los días, la gente envía miles de millones de mensajes de chat a sus amigos en Roblox. Nuestro Tienda de creadores tiene millones de artículos a la venta y los creadores agregan nuevos avatares y artículos a Mercado cada día. Y esto solo aumentará a medida que sigamos creciendo y habilitando nuevas formas para que las personas creen y se comuniquen en Roblox.

A medida que la industria en general da grandes avances en el aprendizaje automático (ML), los grandes modelos de lenguaje (LLM) y la IA multimodal, invertimos mucho en formas de aprovechar estas nuevas soluciones para hacer que Roblox sea aún más seguro. Las soluciones de IA ya nos ayudan a moderar el chat de texto. comunicación de voz inmersiva, imágenes y modelos y mallas 3D. Ahora utilizamos muchas de estas mismas tecnologías para crear en Roblox. más rápido y más fácil para nuestra comunidad. 

Innovando con sistemas de IA multimodales

Por su propia naturaleza, nuestra plataforma combina texto, voz, imágenes, modelos 3D y código. La IA multimodal, en la que los sistemas se entrenan con múltiples tipos de datos juntos para producir resultados más precisos y sofisticados que un sistema unimodal, presenta una oportunidad única para Roblox. Los sistemas multimodales son capaces de detectar combinaciones de tipos de contenido (como imágenes y texto) que pueden ser problemáticas en formas que los elementos individuales no lo son. Para imaginar cómo podría funcionar esto, digamos que un niño usa un avatar que parece un cerdo, totalmente bien, ¿verdad? Ahora imagina que alguien más envía un mensaje de chat que dice “¡Esto se parece a ti! “Ese mensaje podría violar nuestras políticas sobre el acoso. 

Un modelo entrenado sólo en modelos 3D aprobaría el avatar. Y un modelo entrenado sólo en texto aprobaría el texto e ignoraría el contexto del avatar. Solo algo entrenado en texto y modelos 3D podría detectar y marcar rápidamente el problema en este ejemplo. Estamos en los primeros días de estos modelos multimodales, pero vemos un mundo, en un futuro no muy lejano, en el que nuestro sistema responde a un informe de abuso revisando una experiencia completa. Podría procesar el código, las imágenes, los avatares y las comunicaciones dentro de él como entrada y determinar si se justifica una mayor investigación o consecuencias. 

Ya hemos logrado avances significativos utilizando técnicas multimodales, como nuestro modelo que detecta violaciones de políticas en las comunicaciones de voz casi en tiempo real. Tenemos la intención de compartir avances como estos cuando veamos la oportunidad de aumentar la seguridad y el civismo no solo en Roblox sino en toda la industria. De hecho, estamos compartiendo con la industria nuestro primer modelo de código abierto, un clasificador de seguridad de voz. 

Moderar contenido a escala

En Roblox, revisamos la mayoría de los tipos de contenido para detectar infracciones críticas de políticas. antes Aparecen en la plataforma. Hacer esto sin causar retrasos notables para las personas que publican su contenido requiere velocidad y precisión. Las innovadoras soluciones de IA nos ayudan a tomar mejores decisiones en tiempo real para ayudar a mantener el contenido problemático fuera de Roblox y, si algo llega a la plataforma, contamos con sistemas para identificar y eliminar ese contenido, incluido nuestro sólido sistemas de informes de usuarios. 

Hemos visto que la precisión de nuestras herramientas de moderación automatizadas supera a la de los moderadores humanos cuando se trata de tareas simples y repetibles. Al automatizar estos casos más simples, liberamos a nuestros moderadores humanos para que dediquen la mayor parte de su tiempo a lo que mejor saben hacer: las tareas más complejas que requieren pensamiento crítico y una investigación más profunda. Sin embargo, cuando se trata de seguridad, sabemos que la automatización no puede reemplazar por completo la revisión humana. Nuestros moderadores humanos son invaluables para ayudarnos a supervisar y probar continuamente la calidad y consistencia de nuestros modelos de ML, y para crear conjuntos de datos etiquetados de alta calidad para mantener nuestros sistemas actualizados. Ayudan a identificar nuevas jergas y abreviaturas en los 16 idiomas que admitimos y señalan casos que surgen con frecuencia para que el sistema pueda entrenarse para reconocerlos. 

Sabemos que incluso los sistemas de aprendizaje automático de alta calidad pueden cometer errores, por eso contamos con moderadores humanos en nuestro proceso de apelaciones. Nuestros moderadores nos ayudan a hacerlo bien para la persona que presentó la apelación y pueden señalar la necesidad de capacitación adicional sobre los tipos de casos en los que se cometieron errores. Con esto, nuestro sistema se vuelve cada vez más preciso con el tiempo, esencialmente aprendiendo de sus errores.Lo más importante es que los seres humanos siempre participan en cualquier investigación crítica que involucre casos de alto riesgo, como el extremismo o la puesta en peligro de niños. Para estos casos, contamos con un equipo interno dedicado que trabaja para identificar y eliminar de manera proactiva actores maliciosos e investigar casos difíciles en nuestras áreas más críticas. Este equipo también se asocia con nuestro equipo de productos, compartiendo conocimientos del trabajo que están realizando para mejorar continuamente la seguridad de nuestra plataforma y nuestros productos.

Moderar la comunicación

Nuestro filtro de texto ha sido entrenado en lenguaje específico de Roblox, incluida la jerga y las abreviaturas. Los 2.5 millones de mensajes de chat que se envían cada día en Roblox pasan por este filtro, que es experto en detectar lenguaje que infringe las políticas. Este filtro detecta infracciones en todos los idiomas que admitimos, lo cual es especialmente importante ahora que hemos lanzado el filtro en tiempo real. Traducciones de chat con IA. 

Anteriormente hemos compartido cómo comunicación de voz moderada en tiempo real a través de un sistema interno de detección de voz personalizado. La innovación aquí es la capacidad de pasar directamente del audio en vivo a hacer que el sistema de inteligencia artificial etiquete el audio como que viola o no la política, en cuestión de segundos. Cuando comenzamos a probar nuestro sistema de moderación de voz, descubrimos que, en muchos casos, las personas violaban nuestras políticas sin querer porque no estaban familiarizadas con nuestras reglas. Desarrollamos un sistema de seguridad en tiempo real para ayudar a notificar a las personas cuando su discurso viola una de nuestras políticas.

Estas notificaciones son una advertencia temprana y leve, similar a que te pidan cortésmente que vigiles tu idioma en un parque público con niños pequeños alrededor. En las pruebas, estas intervenciones han demostrado ser exitosas al recordar a las personas que deben ser respetuosas y dirigirlas a nuestras políticas para aprender más. Cuando se comparan con los datos de participación, los resultados de nuestras pruebas son alentadores e indican que estas herramientas pueden efectivamente mantener a los malos actores fuera de la plataforma y al mismo tiempo alentar a los usuarios verdaderamente comprometidos a mejorar su comportamiento en Roblox. Desde que implementamos la seguridad en tiempo real para todos los usuarios de habla inglesa en enero, hemos visto una reducción del 53 por ciento en los informes de abuso por usuario activo diario, en relación con la comunicación de voz.

Moderar la creación

Para los recursos visuales, incluidos avatares y accesorios de avatar, utilizamos visión por computadora (CV). Una técnica consiste en tomar fotografías del artículo desde múltiples ángulos. Luego, el sistema revisa esas fotografías para determinar cuál debería ser el siguiente paso. Si nada parece estar mal, se aprueba el artículo. Si algo infringe claramente una política, el elemento se bloquea y le informamos al creador lo que creemos que está mal. Si el sistema no está seguro, el elemento se envía a un moderador humano para que lo observe más de cerca y tome la decisión final.

Hacemos una versión de este mismo proceso para avatares, accesorios, código y modelos 3D completos. Para modelos completos, vamos un paso más allá y evaluamos todo el código y otros elementos que componen el modelo. Si evaluamos un automóvil, lo descomponemos en sus componentes (el volante, los asientos, los neumáticos y el código subyacente) para determinar si alguno podría ser problemático. Si hay un avatar que parece un cachorro, debemos evaluar si las orejas, la nariz y la lengua son problemáticas. 

Necesitamos poder evaluar también en la otra dirección. ¿Qué pasa si los componentes individuales están perfectamente bien pero su efecto general viola nuestras políticas? Un bigote, una chaqueta caqui y un brazalete rojo, por ejemplo, no son un problema por sí solos. Pero imagínelos reunidos en el avatar de alguien, con un símbolo parecido a una cruz en el brazalete y un brazo levantado en un saludo nazi, y el problema se vuelve claro. 

Aquí es donde nuestros modelos internos se diferencian de los modelos CV disponibles en el mercado. Generalmente están capacitados en elementos del mundo real. Pueden reconocer un coche o un perro, pero no los componentes de esas cosas. Nuestros modelos han sido entrenados y optimizados para evaluar artículos hasta los componentes más pequeños. 

Colaboración con socios

Usamos todas las herramientas disponibles para mantener seguros a todos en Roblox, pero estamos igualmente convencidos de compartir lo que aprendemos más allá de Roblox. De hecho, estamos compartiendo nuestro primer modelo de código abierto, un clasificador de seguridad de voz, para ayudar a otros a mejorar sus propios sistemas de seguridad de voz. También nos asociamos con grupos de terceros para compartir conocimientos y mejores prácticas a medida que evoluciona la industria. Construimos y mantenemos relaciones estrechas con una amplia gama de organizaciones, incluidos grupos de defensa de padres, organizaciones de salud mental, agencias gubernamentales y agencias de aplicación de la ley. Nos brindan información valiosa sobre las preocupaciones que los padres, los formuladores de políticas y otros grupos tienen sobre la seguridad en línea. A cambio, podemos compartir nuestros aprendizajes y la tecnología que utilizamos para mantener la plataforma segura y civilizada.

Tenemos un historial de priorizar la seguridad de las personas más jóvenes y vulnerables en nuestra plataforma. Hemos establecido programas, como nuestro Programa de avisadores de confianza, para ayudarnos a ampliar nuestro alcance mientras trabajamos para proteger a las personas en nuestra plataforma. Colaboramos con los formuladores de políticas en iniciativas clave de seguridad infantil, legislación y otros esfuerzos. Por ejemplo, fuimos la primera y una de las únicas empresas en apoyar la Ley del Código de Diseño Apropiado para la Edad de California, porque creemos que es lo mejor para los jóvenes. Cuando creemos que algo ayudará a los jóvenes, queremos propagarlo a todos. Más recientemente, firmamos una carta de apoyo a Proyecto de ley SB 933 de California, que actualiza las leyes estatales para prohibir expresamente el material de abuso sexual infantil generado por IA. 

Trabajando hacia un futuro más seguro

Este trabajo nunca se termina. Ya estamos trabajando en la próxima generación de herramientas y funciones de seguridad, incluso mientras hacemos que sea más fácil para cualquiera crear en Roblox. A medida que crecemos y brindamos nuevas formas de crear y compartir, continuaremos desarrollando soluciones nuevas e innovadoras para mantener a todos seguros y civilizados en Roblox y más allá. 

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://blog.roblox.com/2024/04/scaling-safety-civility-roblox/