Imagen del autor
 

Acceder a ChatGPT en línea es muy sencillo: todo lo que necesita es una conexión a Internet y un buen navegador. Sin embargo, al hacerlo, puede estar comprometiendo su privacidad y sus datos. OpenAI almacena sus respuestas rápidas y otros metadatos para volver a entrenar los modelos. Si bien esto puede no ser una preocupación para algunos, otros que se preocupan por la privacidad pueden preferir usar estos modelos localmente sin ningún seguimiento externo.

En esta publicación, analizaremos cinco formas de utilizar modelos de lenguaje grandes (LLM) localmente. La mayor parte del software es compatible con los principales sistemas operativos y se puede descargar e instalar fácilmente para su uso inmediato. Al utilizar LLM en su computadora portátil, tiene la libertad de elegir su propio modelo. Sólo necesita descargar el modelo desde el centro HuggingFace y comenzar a usarlo. Además, puede otorgar acceso a estas aplicaciones a la carpeta de su proyecto y generar respuestas contextuales.

GPT4Todos es un software de código abierto de última generación que permite a los usuarios descargar e instalar modelos de código abierto de última generación con facilidad. 

Simplemente descargue GPT4ALL del sitio web e instálelo en su sistema. A continuación, elige del panel el modelo que se adapte a tus necesidades y empieza a utilizarlo. Si tiene CUDA (Nvidia GPU) instalado, GPT4ALL comenzará a usar automáticamente su GPU para generar respuestas rápidas de hasta 30 tokens por segundo.

Puede proporcionar acceso a varias carpetas que contienen códigos y documentos importantes, y GPT4ALL generará respuestas mediante recuperación-generación aumentada. GPT4ALL es fácil de usar, rápido y popular entre la comunidad de IA.

Lea el blog sobre GPT4ALL para obtener más información sobre funciones y casos de uso: El último ecosistema de modelo de lenguaje grande de código abierto.

Estudio LM es un nuevo software que ofrece varias ventajas sobre GPT4ALL. La interfaz de usuario es excelente y puedes instalar cualquier modelo desde Hugging Face Hub con unos pocos clics. Además, proporciona descarga de GPU y otras opciones que no están disponibles en GPT4ALL. Sin embargo, LM Studio es un código cerrado y no tiene la opción de generar respuestas contextuales leyendo archivos de proyecto.

LM Studio ofrece acceso a miles de LLM de código abierto, lo que le permite iniciar un servidor de inferencia local que se comporta como la API de OpenAI. Puede modificar la respuesta de su LLM a través de la interfaz de usuario interactiva con múltiples opciones.

Además, lee Ejecute un LLM localmente con LM Studio para obtener más información sobre LM Studio y sus características clave.

Ollama es una herramienta de interfaz de línea de comandos (CLI) que permite una operación rápida para modelos de lenguaje grandes como Llama 2, Mistral y Gemma. Si es un hacker o un desarrollador, esta herramienta CLI es una opción fantástica. Puede descargar e instalar el software y usar el comando `the llama run llama2` para comenzar a usar el modelo LLaMA 2. Puedes encontrar otros comandos de modelo en el repositorio de GitHub. 

También le permite iniciar un servidor HTTP local que se puede integrar con otras aplicaciones. Por ejemplo, puede usar la extensión Code GPT VSCode proporcionando la dirección del servidor local y comenzar a usarlo como asistente de codificación AI.

Mejore su flujo de trabajo de codificación y datos con estos Los 5 mejores asistentes de codificación de IA. 

LLaMA.cpp es una herramienta que ofrece tanto una CLI como una interfaz gráfica de usuario (GUI). Le permite utilizar cualquier LLM de código abierto localmente sin ningún problema. Esta herramienta es altamente personalizable y proporciona respuestas rápidas a cualquier consulta, ya que está completamente escrita en C/C++ puro. 

LLaMA.cpp admite todo tipo de sistemas operativos, CPU y GPU. También puede utilizar modelos multimodales como LLaVA, BakLLaVA, Obsidian y ShareGPT4V.

Aprenda a Ejecute Mixtral 8x7b en Google Colab gratis usando LLaMA.cpp y GPU de Google.

Para utilizar Chat de NVIDIA con RTX, debe descargar e instalar la aplicación Windows 11 en su computadora portátil. Esta aplicación es compatible con portátiles que tengan una tarjeta gráfica NVIDIA RTX serie 30 o serie 40 con al menos 8 GB de RAM y 50 GB de espacio de almacenamiento libre. Además, su computadora portátil debe tener al menos 16 GB de RAM para ejecutar Chat con RTX sin problemas.

Con Chat with RTX, puede ejecutar los modelos LLaMA y Mistral localmente en su computadora portátil. Es una aplicación rápida y eficiente que incluso puede aprender de los documentos que usted proporcione o de los videos de YouTube. Sin embargo, es importante tener en cuenta que Chat with RTX se basa en TensorRTX-LLM, que solo es compatible con GPU de la serie 30 o posteriores.

Si desea aprovechar los últimos LLM y mantener sus datos seguros y privados, puede utilizar herramientas como GPT4All, LM Studio, Ollama, LLaMA.cpp o NVIDIA Chat con RTX. Cada herramienta tiene sus propias fortalezas únicas, ya sea una interfaz fácil de usar, accesibilidad a la línea de comandos o soporte para modelos multimodales. Con la configuración adecuada, puede tener un potente asistente de inteligencia artificial que genera respuestas personalizadas basadas en el contexto.

Sugiero comenzar con GPT4All y LM Studio ya que cubren la mayoría de las necesidades básicas. Después de eso, puedes probar Ollama y LLaMA.cpp y, finalmente, probar Chat con RTX.
 
 

Abid Ali Awan (@ 1abidaliawan) es un profesional científico de datos certificado al que le encanta crear modelos de aprendizaje automático. Actualmente, se está enfocando en la creación de contenido y escribiendo blogs técnicos sobre aprendizaje automático y tecnologías de ciencia de datos. Abid tiene una Maestría en Gestión de Tecnología y una licenciatura en Ingeniería de Telecomunicaciones. Su visión es construir un producto de IA utilizando una red neuronal gráfica para estudiantes que luchan contra enfermedades mentales.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.kdnuggets.com/5-ways-to-use-llms-on-your-laptop?utm_source=rss&utm_medium=rss&utm_campaign=5-ways-to-use-llms-on-your-laptop