Los LLM (modelos de lenguaje grande) para uso local generalmente se distribuyen como un conjunto de pesos en un archivo de varios gigabytes. Estos no se pueden usar directamente por sí solos, lo que generalmente los hace más difíciles de distribuir y ejecutar en comparación con otro software. Un modelo determinado también puede haber sufrido cambios y ajustes, lo que lleva a resultados diferentes si se utilizan versiones diferentes.
Para ayudar con eso, el grupo de innovación de Mozilla ha lanzado archivo llama, un método de código abierto para convertir un conjunto de pesos en un único binario que se ejecuta en seis sistemas operativos diferentes (macOS, Windows, Linux, FreeBSD, OpenBSD y NetBSD) sin necesidad de instalación. Esto hace que sea mucho más fácil distribuir y ejecutar LLM, además de garantizar que una versión particular de LLM permanezca consistente y reproducible para siempre.
Esto no sería posible sin el trabajo de [Justine Tunney], creadora de Cosmopolitan, un marco que se construye una vez y se ejecuta en cualquier lugar. La otra parte principal es llama.cppy hemos cubierto por qué es tan importante cuando se trata de ejecutar LLM autohospedados.
Existen algunos binarios de muestra disponible utilizando los LLM Mistral-7B, WizardCoder-Python-13B y LLaVA 1.5. Solo tenga en cuenta que si está en una plataforma Windows, solo se ejecutará LLaVA 1.5, porque es el único que chirría por debajo del límite de 4 GB en archivos ejecutables que tiene Windows. Si tiene problemas, consulte la lista de trampas para obtener sugerencias para la solución de problemas.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://hackaday.com/2023/12/02/mozilla-lets-folks-turn-ai-llms-into-single-file-executables/
