Logotipo de Zephyrnet

¿OpenAI y Elsmar nunca confían en su ayuda con cuestiones reglamentarias?

Fecha:

Todos tienen un recurso favorito que usan para responder preguntas reglamentarias, pero ¿puede confiar en que OpenAI o Elsmar responderán correctamente?

Captura de pantalla 2023 04 01 10.07.10 AM e1680445207847 1024x787 ¿OpenAI y Elsmar nunca confían en su ayuda con cuestiones reglamentarias?

Si tiene miedo de probar nuevas tecnologías, la imagen de arriba es una captura de pantalla de OpenAI describiendo a "sí mismo". OpenAI es inteligencia artificial (AI), pero aún no es consciente de sí mismo. La siguiente imagen es una captura de pantalla de la página web "Acerca de" para Cala Elsmar. Este artículo fue la publicación más antigua de la Academia de Dispositivos Médicos y describía cómo usar Elsmar Cove como un recurso para los sistemas de calidad y las cuestiones reglamentarias. Para actualizar ese blog, estamos comparando el uso de OpenAI con Elsmar Cove. En caso de que se lo pregunte, Elsmar Cove es el número 6 en nuestra lista de herramientas de búsqueda favoritas y OpenAI es el número 5:

Captura de pantalla 2023 04 01 10.14.49 AM e1680445245168 1024x548 ¿OpenAI y Elsmar nunca confían en su ayuda con cuestiones reglamentarias?

¿Son precisas las respuestas proporcionadas por OpenAI y Elsmar Cove?

Para probar la precisión de una pregunta reglamentaria común, elegimos una pregunta de la que no estábamos 100 % seguros cuando un cliente preguntó el mes pasado. Le pregunté a mi equipo, pero nadie estaba 100% seguro. Basil Systems se limita a la presentación y los datos de vigilancia posteriores a la comercialización. Busqué FDA.gov, pero no estaba claro. Google nos dio un enlace al sitio web de la FDA. Le pregunté a un par de ex consultores de la FDA, pero me dieron información desactualizada. El jueves 30 de marzo de 2023, le pregunté a Lisa King durante un curso de AAMI que estaba co-enseñando. Lisa es Oficial de Seguridad del Consumidor en la FDA responsable de revisar las entradas de dispositivos en la FDA. También tiene una gran demanda de cursos de formación públicos. Ella dijo que los fabricantes por contrato solían estar exentos de registro si enviaban primero a un fabricante legal. Las regulaciones cambiaron y ahora el 100 % de los fabricantes por contrato que fabrican un dispositivo terminado deben registrarse en la FDA. También aclaró que la FDA no usa el término "fabricante legal".

Captura de pantalla 2023 04 01 11.00.46 AM e1680445277287 1024x676 ¿OpenAI y Elsmar nunca confían en su ayuda con cuestiones reglamentarias?

Como puede ver en la respuesta anterior proporcionada por OpenAI, el motor ChatGPT [es decir, Modelo: Predeterminado (GPT-3.5)] efectivamente produce la respuesta correcta. Usando la misma redacción para la pregunta reglamentaria, "¿Un fabricante contratado extranjero debe registrarse con la FDA si envía el dispositivo médico al fabricante legal primero antes de que el dispositivo se exporte a los EE. UU.?" no hubo resultados para Elsmar Cove. Después de varios intentos, encontré lo que estaba buscando usando los siguientes términos de búsqueda, “Registro FDA de fabricantes por contrato”. Hubo múltiples resultados de búsqueda relacionados, pero los hilos de discusión más útiles en el foro de discusión de Elsmar Cove fueron:

La respuesta correcta más sucinta en el foro se copia a continuación.

Captura de pantalla 2023 04 01 11.39.43 AM e1680445334745 1024x332 ¿OpenAI y Elsmar nunca confían en su ayuda con cuestiones reglamentarias?

¿Puede confiar en OpenAI y Elsmar Cove para responder a sus preguntas sobre normativas?

OpenAI es tan efectivo como los datos utilizados para entrenarlo. Esto está en constante evolución, pero hemos identificado resultados de búsqueda que eran 100 % precisos, resultados que estaban desactualizados y resultados terriblemente erróneos. Lo mismo ocurre con los foros de discusión. Elsmar Cove es uno de los mejores foros de discusión para la industria de dispositivos médicos, pero la gente también usa ASQ, RAPS y AAMI. La calidad de la información proporcionada depende del conocimiento y la experiencia de las personas que participan en el foro, pero también depende de la moderación del foro. Elsmar Cove tiene algunos moderadores experimentados con décadas de experiencia. Siempre existe la posibilidad de que la persona con más experiencia del mundo pueda responder incorrectamente a su pregunta sobre normativa. Esto suele crear un problema porque todos los demás en el foro dudan en desafiar a un experto reconocido. Por lo tanto, independientemente de los recursos que utilice, siempre intente obtener una referencia a la fuente confiable de la regulación aplicable. Incluso Lisa King podría cometer un error, pero inmediatamente dijo que puede encontrar las regulaciones en el Código de Regulaciones Federales de EE. UU. (es decir, 21 CFR 807). La conclusión es, siempre verifique los hechos y haga referencia a su(s) fuente(s).

punto_img

Información más reciente

punto_img