La única pregunta que escuché una y otra vez en las conversaciones en los pasillos de ASU+GSV fue: "¿Crees que habrá una sola presentación que no mencione ChatGPT, Modelos de lenguaje grande (LLM) e IA generativa?"

Nadie que conocí dijo "sí". La IA parecía ser lo único de lo que se hablaba.

Y, sin embargo, el discurso sonaba un poco como GPT-2 tratando de explicar los usos, las fortalezas y las limitaciones de GPT-5. Estaba lleno de un montón de palabras vacías, salpicado en partes iguales con intuiciones sorprendentes ocasionales y alucinaciones espantosas. 

Esa falta de claridad no es un reflejo de la conferencia o sus asistentes. Más bien, subraya la magnitud del cambio que apenas comienza. La IA generativa es al menos tan revolucionaria como la interfaz gráfica de usuario, la computadora personal, la pantalla táctil o incluso Internet. De curso todavía no entendemos las ramificaciones.

Aún así, las lecciones aprendidas de GPT-2 permitieron la creación de GPT-3 y así sucesivamente. Así que hoy, reflexiono sobre algunas de las lecciones que estoy aprendiendo hasta ahora con respecto a la IA generativa, particularmente en EdTech.

La IA generativa destruirá para que podamos crear

La mayoría de las conversaciones sobre el tema de la IA generativa tienen las palabras "ChatGPT" y "obsoleto" en la misma oración. "ChatGPT hará que la escritura sea obsoleta". "ChatGPT hará que los programadores se vuelvan obsoletos". "ChatGPT hará que la educación sea obsoleta". "ChatGPT hará que el pensamiento y los humanos sean obsoletos". Si bien algunas de estas predicciones serán incorrectas, el tema común detrás de ellas es correcto. La IA generativa es una fuerza mercantilizadora. Es un tsunami de destrucción creativa.

Considere la industria de los libros de texto. como mucho tiempo e-alfabetizado los lectores saben, he estado pensando mucho en cómo terminará su historia. Debido a sus fosos económicos inusuales, es una de las últimas categorías de productos de medios en ser diezmada o interrumpida por Internet. Pero esos fosos han sido drenados uno por uno. ¿Su ejército de representantes de ventas llamando físicamente a las puertas del campus? Desaparecido. ¿El valor de esas costosas capacidades de producción y distribución de impresiones? Desaparecido. ¿Reputación de la marca? Hace mucho. 

Hace apenas unos días, Cengage anunció una inyección de efectivo de $ 500 millones de su propietario de capital privado:

“Esta inversión es una firme afirmación de nuestro desempeño y estrategia por parte de un inversionista que tiene un profundo conocimiento de nuestra industria y un historial de creación de valor”, dijo Michael E. Hansen, director ejecutivo de Cengage Group. "Al reemplazar la deuda con capital social de Apollo Funds, estamos reduciendo significativamente la deuda pendiente, lo que nos da la opción de invertir en nuestra cartera de negocios en crecimiento".Cengage Group anuncia una inversión de $500 millones de Apollo Funds (prnewswire.com)

Esa es la jerga de relaciones públicas para "nuestros propietarios de capital privado decidieron que sería mejor darnos otra inyección de efectivo que dejarnos pasar por otra bancarrota".

¿Qué pasará con esta industria tambaleante cuando los profesores, quizás con la ayuda de diseñadores de aprendizaje en el campus, puedan usar un LLM para escupir sus propios libros de texto adaptados a la forma en que enseñan? ¿Qué sucederá cuando las grandes universidades en línea decidan que quieren producir su propio contenido que esté alineado con sus competencias y esté vinculado a evaluaciones que puedan rastrear y ajustar por sí mismas? 

No se deje engañar por el miedo a las alucinaciones de LLM. La tecnología no necesita (y no debería) producir un borrador perfecto y terminado sin supervisión humana. Solo necesita reducir el trabajo requerido de humanos expertos lo suficiente como para que valga la pena el esfuerzo de producir un producto curricular terminado y seguro para los estudiantes. 

¿Qué tan difícil sería para los autores individuales impulsados ​​por LLM reemplazar la industria de los libros de texto? A concurso reciente desafió a los investigadores de IA a desarrollar sistemas que coincidan con el juicio humano al calificar preguntas de respuesta corta de texto libre. "Los ganadores se identificaron en función de la precisión de las puntuaciones automatizadas en comparación con el acuerdo humano y la falta de sesgo observado en sus predicciones". Seis participantes cumplieron el desafío. Los seis se basaron en LLM. 

Esta es una prueba más difícil que generar cualquier cosa en un libro de texto o producto de material didáctico típico en la actualidad. 

La industria de los libros de texto ha recibido inversiones continuas de capital privado debido a su lento ritmo de deterioro. Los editores tiraron suficiente dinero en efectivo para que los señores de los barrios marginales que los poseían pudieran explotar sus plataformas de treinta años, franquicias de libros de texto de veinte años y archivos PDF de $ 75 por efectivo. Como muestra el anuncio de Cengage, ese modelo ya está comenzando a desmoronarse. 

¿Cuánto tiempo pasará antes de que la IA generativa haga que lo que queda de esta industria se desintegre visible y rápidamente? Predigo 24 meses como máximo. 

EdTech, como muchas industrias, está llena de viejas categorías de productos y modelos de negocios que son como bloques de ciudades deterioradas de edificios en ruinas. Necesitan ser derribados antes de que se pueda construir algo mejor en su lugar. Tendremos una mejor idea de los nuevos modelos que surgirán a medida que veamos caer los modelos antiguos. La IA generativa es una bola de demolición.

“Chat” es conversación

Pago $20 al mes por una suscripción a ChatGPT Plus. No solo juego con eso. Lo uso como herramienta todos los días. Y no lo trato como un contestador automático de información mágica. Si desea una mejor versión de un motor de búsqueda, use Microsoft Bing Chat. Para obtener un valor real de ChatGPT, debe tratarlo menos como un oráculo que todo lo sabe y más como un colega. Sabe algunas cosas que tú no y viceversa. Es inteligente pero puede estar equivocado. Si no está de acuerdo con él o no entiende su razonamiento, puede cuestionarlo o hacer preguntas de seguimiento. Dentro de ciertos límites, es capaz de “repensar” su respuesta. Y puede participar en una conversación sostenida que lleva a alguna parte. 

Por ejemplo, quería aprender a ajustar un LLM para que pueda generar rúbricas de alta calidad entrenándolo en un conjunto de rúbricas creadas por humanos. La primera pieza que necesitaba aprender es cómo se ajustan los LLM. ¿Qué tipo de encantamientos mágicos de programación informática necesito para que alguien escriba por mí?

Resulta que la respuesta es ninguna, al menos en términos generales. Los LLM se sintonizan usando un inglés sencillo. Le da varios pares de entradas que un usuario puede escribir en el cuadro de texto y la salida deseada de la máquina. Por ejemplo, suponga que desea ajustar el LLM para proporcionar recetas de cocina. Su "programa" de afinación podría verse así:

• Entrada: ¿Cómo hago huevos revueltos?
• Salida: [Receta]

Obviamente, el ejemplo de salida de la receta que brinde tendría una serie de componentes estructurados, como una lista de ingredientes y pasos para cocinar. Dados suficientes ejemplos, el LLM comienza a identificar patrones. Le enseñas cómo responder a un tipo de pregunta o solicitud mostrándole ejemplos de buenas respuestas. 

Lo sé porque ChatGPT me lo explicó. También explicó que el modelo GPT-4 aún no se puede ajustar de esta manera, pero otros LLM, incluidas las versiones anteriores de GPT, sí pueden. Con un poco más de conversación, pude aprender cómo se sintonizan los LLM, cuáles son sintonizables y que incluso podría tener las habilidades de "programación" necesarias para sintonizar una de estas bestias yo mismo. 

Es un descubrimiento apasionante para mí. Para cada rúbrica, puedo escribir la entrada. Puedo describir el tipo de evaluación que quiero, incluidos los detalles importantes que quiero que aborde. Yo, Michael Feldstein, soy capaz de escribir la mitad del "programa" necesario para ajustar el algoritmo de uno de los programas de IA más avanzados del planeta. 

Pero el resultado que quiero, una rúbrica, generalmente se expresa como una tabla. Los LLM hablan inglés. Pueden crear tablas, pero tienen que expresar su significado en inglés y luego traducir ese significado al formato de tabla. Al igual que yo. Este es un tipo divertido de enigma. Normalmente, puedo expresar lo que quiero en inglés pero no sé cómo ponerlo en otro formato. Esta vez tengo que averiguar cómo expresar lo que significa la tabla en oraciones en inglés.

Tengo una conversación con ChatGPT sobre cómo hacer esto. Primero le pregunto cómo se vería el producto terminado. Explica cómo expresar una tabla en un lenguaje sencillo, usando una rúbrica como ejemplo. 

¡DE ACUERDO! Eso tiene sentido. Una vez que me da el ejemplo, lo entiendo. Dado que soy un ser humano y entiendo mi objetivo, mientras que ChatGPT es solo un modelo de lenguaje, como le gusta recordarme, puedo ver formas de afinar lo que me ha dado. Pero me enseñó el concepto básico.

Ahora como convierto muchos tablas de rúbricas? No quiero escribir manualmente todas esas oraciones para describir las columnas, filas y celdas de la tabla. Sé que, si puedo obtener la tabla en una hoja de cálculo (a diferencia de un documento de procesamiento de texto), puedo exportarla como CSV. Tal vez eso ayudaría. Le pregunto a ChatGPT: "¿Podría un programa de computadora crear esas oraciones a partir de una exportación CSV?" 

"¡Porque?, si! Siempre que la tabla tenga encabezados para cada columna, un programa podría generar estas oraciones a partir de un CSV”. 

“¿Podrías escribir un programa para mí que haga esto?” 

"¡Porque?, si! Si me das los encabezados, puedo escribir un programa en Python para ti”. 

Me advierte que un programador de computadoras humano debe verificar su trabajo. Siempre dice eso. 

En este caso particular, el programa es tan simple que no estoy seguro de necesitar esa ayuda. También me dice, cuando pregunto, que puede escribir un programa que importaría mis ejemplos al modelo GPT-3 de forma masiva. Y nuevamente me advierte que un programador humano debe verificar su trabajo. 

ChatGPT me enseñó cómo puedo ajustar un LLM para generar rúbricas. Por mi mismo. Más tarde, discutimos cómo probar y mejorar aún más el modelo, según la cantidad de rúbricas que tenga como ejemplos. ¿Qué tan buenos serían sus resultados? no lo sé todavía Pero quiero averiguarlo. 

Tu no?

Los LLM no reemplazarán la necesidad de todos los conocimientos y habilidades

Tenga en cuenta que necesitaba conocimientos y habilidades para obtener lo que necesitaba de ChatGPT. Necesitaba entender las rúbricas, cómo se ve una buena y cómo describir el propósito de una. Necesitaba pensar en el problema del formato de la tabla lo suficiente como para poder hacer las preguntas correctas. Y tuve que aclarar varios aspectos del objetivo y las necesidades a lo largo de la conversación para obtener las respuestas que quería. La utilidad de ChatGPT está determinada y limitada por mis capacidades y limitaciones como operador. 

Esta dinámica se hizo más evidente cuando exploré con ChatGPT cómo generar un módulo de cursos. Si bien esta tarea puede parecer sencilla, tiene varios tipos de complejidad. En primer lugar, los módulos de material didáctico bien diseñados tienen muchas partes interrelacionadas desde la perspectiva del diseño del aprendizaje. Los objetivos de aprendizaje están relacionados con evaluaciones y contenidos específicos. Incluso dentro de una evaluación tan simple como una pregunta de opción múltiple (MCQ), hay muchas partes interrelacionadas. Ahí está el "tallo", o la pregunta. Hay "distractores", que son respuestas incorrectas. Cada respuesta puede tener comentarios escritos de cierta manera para apoyar un propósito pedagógico. Cada pregunta también puede tener varias sugerencias sucesivas, cada una de las cuales está escrita de una manera particular para apoyar un propósito pedagógico particular. Obtener estas relaciones, estas semántico relaciones correctas dará como resultado un contenido de enseñanza más eficaz. También contendrá una estructura que admita mejores análisis de aprendizaje. 

Es importante destacar que muchos de estos conceptos pedagógicos serán útiles para generar una variedad de diferentes experiencias de aprendizaje. Las relaciones que estoy tratando de enseñar al LLM provienen del material didáctico. Pero muchos de estos elementos de diseño de aprendizaje son necesarios para diseñar simulaciones y otros tipos de experiencias de aprendizaje también. No solo estoy enseñando el LLM sobre material didáctico. Lo estoy enseñando sobre enseñar. 

De todos modos, introducir módulos completos en un LLM como ejemplos de salida no garantizaría que el software capte todas estas sutilezas y relaciones. ChatGPT no conocía algunas de las complejidades involucradas en la tarea que quiero realizar. Tuve que explicárselos. Una vez que "entendió", pudimos tener una conversación sobre el problema. Juntos, se nos ocurrieron tres formas diferentes de dividir los ejemplos de contenido en pares de entrada y salida. Con el fin de entrenar el sistema para captar la mayor cantidad posible de relaciones y sutilezas, sería mejor enviar el mismo contenido al LLM de las tres maneras.

La mayoría de los módulos de material didáctico disponibles públicamente no están diseñados de manera consistente y explícita de manera que hagan que este tipo de rebanado y troceado sea fácil (o incluso posible). Afortunadamente, sé dónde puedo conseguir algunos módulos de alta calidad que están marcados en XML. Como sé un poco sobre XML y cómo lo usan estos módulos, pude conversar con ChatGPT sobre qué XML quitar, los pros y los contras de convertir el resto al inglés en lugar de dejarlos como XML, cómo use la definición de tipo de documento XML (DTD) para enseñarle al software algunas de las relaciones explícitas e implícitas entre las partes del módulo, y cómo escribir el software que haría el trabajo de convertir los módulos en pares de entrada-salida. 

Al final del chat exploratorio, quedó claro que el trabajo que quiero realizar requiere más habilidades de programación de software de las que tengo, incluso con la ayuda de ChatGPT. Pero ahora puedo estimar cuánto tiempo necesito de un programador. También sé el nivel de habilidad que necesita el programador. Entonces puedo estimar el costo de hacer el trabajo. 

Para obtener este resultado, tuve que basarme en un conocimiento previo considerable. Más importante aún, tuve que recurrir a un lenguaje significativo y habilidades de pensamiento crítico. 

Cualquiera que alguna vez haya dicho que una carrera de filosofía como la mía no es práctica puede comer mi polvo. Sócrates fue un ingeniero puntual. La mayoría de los filósofos occidentales se dedican a alguna forma de incitación a la cadena de pensamientos como una forma de estructurar sus argumentos. 

Las habilidades y el conocimiento no están muertos. Las habilidades de escritura y pensamiento ciertamente no lo son. Lejos de ahi. Si duda de mí, pregúntele a ChatGPT: "¿Cómo podría enseñarles a los estudiantes sobre la filosofía y el método de Sócrates para ayudarlos a aprender a convertirse en mejores ingenieros rápidos?" Vea lo que tiene que decir. 

(Para esta pregunta, utilicé la configuración GPT-4 que está disponible en ChatGPT Plus).

Las evaluaciones tampoco están muertas

Piense en cómo cualquiera de los proyectos que describí anteriormente podría estructurarse como una tarea de aprendizaje basada en proyectos. Los estudiantes podían tener acceso a las mismas herramientas que yo tenía: un LLM como ChatGPT y una herramienta de búsqueda mejorada de LLM como Bing Chat. El problema es que tendrían que usar los que les proporcionó la escuela. En otras palabras, tendrían que mostrar su trabajo. Si agrega un foro de discusión y algunos tutoriales relevantes a su alrededor, tendrá una experiencia de aprendizaje realmente interesante. 

Esto también podría funcionar para escribir. Mi próximo proyecto personal con ChatGPT es convertir un documento de análisis que escribí para un cliente en un documento técnico (con su bendición, por supuesto). Ya he hecho el trabajo duro. El análisis es mío. La estructura argumental y el estilo del lenguaje son míos. Pero he estado luchando con el bloqueo del escritor. Voy a intentar usar ChatGPT para ayudarme a reestructurarlo en el formato que quiero y agregar algo de contexto para una audiencia externa.

¿Recuerdas mi punto anterior sobre que la IA generativa es una fuerza mercantilizadora? Absolutamente mercantilizará la escritura genérica. Estoy de acuerdo con eso, al igual que estoy de acuerdo con que los estudiantes usen calculadoras en matemáticas y física. una vez que entienden las matemáticas que la calculadora está realizando para ellos. 

Los estudiantes necesitan aprender a escribir prosa genérica por una sencilla razón. Si quieren expresarse de maneras extraordinarias, ya sea a través de una ingeniería rápida e inteligente o de bellas artes, necesitan entender la mecánica. Los fundamentos de la escritura genérica son bloques de construcción. Los mecanismos más sutiles son parte del valor que los escritores humanos pueden agregar para evitar ser mercantilizados por la IA generativa. Las diferencias entre una coma, un punto y coma y un guión en la expresión son los tipos de elecciones detalladas que hacen los escritores expresivos. Al igual que las oraciones largas versus las cortas, las decisiones sobre cuándo y con qué frecuencia usar adjetivos, elecciones entre palabras similares pero no idénticas, dividir los párrafos en el lugar correcto para mayor claridad y énfasis, etc. 

Por ejemplo, aunque usaría un LLM para ayudarme a convertir un artículo que ya he escrito en un libro blanco, no me veo usándolo para escribir una nueva publicación de blog. El valor en e-alfabetizado radica en mi capacidad para comunicar ideas novedosas con precisión y claridad. Si bien no tengo ninguna duda de que un LLM podría imitar las estructuras de mis oraciones, no veo la manera de que pueda ofrecerme un atajo para el tipo de trabajo de pensamiento expresivo que es el núcleo de mi oficio profesional.

Si podemos aprovechar los LLM para ayudar a los estudiantes a aprender a escribir... um... prosa prosaica, entonces pueden comenzar a usar sus "calculadoras" LLM en sus clases de "física" de comunicaciones. Pueden concentrarse en su claridad de pensamiento y en una comunicación verdaderamente excelente. Rara vez llegamos a enseñar este nivel de excelencia expresiva. Ahora tal vez podamos hacerlo sobre una base más amplia. 

En su estado actual de evolución, los LLM son como impresoras 3D para el trabajo del conocimiento. Cambian el trabajo humano de la ejecución al diseño. De hacer a crear. De saber más respuestas a hacer mejores preguntas. 

Leemos innumerables historias sobre la amenaza de destrucción de la fuerza laboral en parte porque nuestra economía ha necesitado el equivalente de cuello blanco de los trabajadores de la cadena de montaje de principios del siglo XX. Personas que trabajan a tiempo completo escribiendo tweets. O actualizaciones del mismo informe. O manuales de recursos humanos. Por lo tanto nuestro sistema educativo está diseñado para formar personas para ese trabajo. 

Asumimos que las masas de personas se volverán inútiles, al igual que la educación, porque tenemos problemas para imaginar un sistema educativo que enseñe a las personas:todo el personas de todos los estratos socioeconómicos, para convertirse en mejores pensadores en lugar de simplemente mejores conocedores y hacedores. 

Pero creo que podemos hacerlo. La parte difícil es imaginar. No hemos sido entrenados en eso. Tal vez nuestros hijos aprendan a ser mejores que nosotros. Si les enseñamos de manera diferente a como nos enseñaron. 

Probable evolución a corto plazo de la tecnología

Aquellos de nosotros que no estamos inmersos en la IA, incluyéndome a mí, estamos asombrados por el rápido ritmo del cambio. No fingiré que puedo ver a la vuelta de las esquinas. Pero ciertas tendencias a corto plazo ya son perceptibles para los no expertos como yo que están prestando más atención que hace dos meses. 

Primero, los modelos de IA generativa ya están proliferando y mostrando indicios de una próxima mercantilización en los bordes. Nos han dado la impresión de que estos programas siempre serán tan grandes y tan costosos de ejecutar que solo las compañías gigantes de la nube se sentarán a la mesa con nuevos modelos. Que la batalla será OpenAI/Microsoft versus Google. Se rumorea que GPT-4 tiene más de un billón de nodos. Un modelo tan grande requiere muchos caballos de fuerza para construirlo, entrenarlo y hacerlo funcionar. 

Pero los investigadores ya están ideando técnicas inteligentes para obtener un rendimiento impresionante de modelos mucho más pequeños. Por ejemplo, vicuña, un modelo desarrollado por investigadores de algunas universidades, es aproximadamente un 90 % tan bueno como GPT-4 en al menos una prueba y tiene solo 12 300 millones de parámetros. Para poner eso en perspectiva, Vicuña puede ejecutarse en una computadora portátil decente. Toda la cosa. Tt costó $ XNUMX para entrenar (a diferencia de los miles de millones de dólares que se han invertido en ChatGPT y Google Bard). Vicuña es un ejemplo temprano (aunque imperfecto) de la próxima ola. Otro LLM parece aparecer prácticamente todas las semanas con nuevas afirmaciones sobre ser más rápido, más pequeño, más inteligente, más barato y más preciso. 

Un fenómeno similar está ocurriendo con la generación de imágenes. Apple se ha movido rápidamente para proporcionar soporte de software para optimizar el modelo de difusión estable de código abierto en su hardware.. Ahora puede ejecutar un programa generador de imágenes en su Macbook con un rendimiento decente. He leído especulaciones de que la compañía continuará con la aceleración de hardware en la próxima generación de sus microchips Apple Silicon.

Estos modelos no serán igualmente buenos en todas las cosas. Los gigantes corporativos continuarán innovando y probablemente nos sorprenderán con nuevas capacidades. Mientras tanto, las alternativas más pequeñas, económicas y de código abierto serán más que adecuadas para muchas tareas. Google ha acuñado una frase encantadora: "jardín modelo". En el corto plazo, no habrá un modelo que los gobierne a todos o incluso un duopolio de modelos. En cambio, tendremos muchos modelos, cada uno de los cuales es el más adecuado para diferentes propósitos. 

Los tipos de casos de uso educativo que describí anteriormente en esta publicación son relativamente simples. Es posible que veamos mejoras en la capacidad de generar esos tipos de contenido de aprendizaje durante los próximos 12 a 24 meses, después de lo cual podemos llegar a un punto de rendimientos decrecientes. Es posible que estemos ejecutando nuestros LLM de educación localmente en nuestras computadoras portátiles (o incluso en nuestros teléfonos) sin tener que depender de un gran proveedor de nube que ejecuta un modelo costoso (e intensivo en carbono). 

Uno de los mayores obstáculos para esta creciente diversidad no es tecnológico. Son los datos de entrenamiento. Las preguntas sobre el uso de contenido protegido por derechos de autor para entrenar estos modelos están sin resolver. Las demandas por infracción son Apareciendo. Puede resultar que el principal desafío a corto plazo para obtener mejores LLM en educación sea el acceso a contenido de capacitación confiable y bien estructurado que no esté obstaculizado por problemas de derechos de autor. 

Mucho en que pensar…

Me encuentro balbuceando un poco en este post. Esta tendencia tiene muchos, muchos ángulos para pensar. Por ejemplo. Me he saltado el tema del plagio porque ya se han escrito muchos artículos al respecto. Sólo he tocado ligeramente el problema de las alucinaciones. Para mí, estas son obsesiones temporales que surgen de nuestra lucha por comprender para qué sirve esta tecnología y cómo trabajaremos, jugaremos, pensaremos y crearemos en el futuro. 

Una de las partes divertidas de este momento es ver tantas mentes trabajando en las posibilidades, incluidas las ideas que están surgiendo de los educadores en el aula y que no reciben mucha atención. Para una muestra divertida de esa creatividad, consulte El ABC de ChatGPT para el aprendizaje por Devan Walton. 

Hazte un favor. Explorar. Sumérgete en él. Hemos aterrizado en un nuevo planeta. Sí, enfrentamos peligros, algunos de los cuales son desconocidos. Aún. Un nuevo planeta. Y estamos en ello.

Colóquese el casco y go.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
• Acuñando el futuro con Adryenn Ashley. Accede Aquí.
• Fuente: https://eliterate.us/chatgpt-post-asugsv-reflections-on-generative-ai/