El día de hoy vamos a hablar sobre un tema que a muchos les interesa, como configurar nuestro propio chatbot open source en VS Code y que funcione sin internet (Pd: para la instalación si requerimos internet).
Para el día de hoy utilizaremos 2 herramientas.
LM Studio, un software para uso de LLM open source como chatbots en nuestro sistema operativo. .
Continue, una extensión para VS Code que nos permitirá consumir nuestro modelo desde LM Studio. .
El primer paso es descargar LM Studio e instalarlo en nuestro sistema operativo:
Al tener LM Studio instalado, lo abrimos y a nuestra izquierda tenemos 4 iconos:
- Chat: Funciona muy parecido a Chatgpt, Gemini o Perplexity.
- Developer: Una sección para lanzar el LM Studio como API de terceros en local.
- My models: Donde podrás ver todos los modelos disponibles en tu LM Studio.
- Discover: La sección donde se pueden descargar los distintos modelos.
Ahora que ya entendemos un poco mejor la estructura del LM Studio, podemos comenzar por ir a la sección Discover y descargar los modelos que queramos, al tener esto listo ya podemos ir al chat y comenzar a usar el LM Studio como si de ChatGPT se tratara (Claro que no con tanta potencia, recordemos que esto es open source).
Nos vamos a la pestaña de Chat y en medio de la pantalla hay una barra donde nos permite elegir entre todos los modelos que hemos descargado para iniciar el chat.
Ahora podemos comenzar a hablar con nuestro chatbot sin ningun problema, y segun el modelo que utilicemos podemos darle archivos como imagenes, docx, xlsx, pdf, entre otros.
Bueno podemos decir que ya tenemos un chatbot pero eso no es todo lo que queremos, queremos usar este chatbot dentro de VS Code para trabajar con el sin tener que estar moviéndonos entre pestañas y poder contextualizar rápidamente al modelo con el que estamos trabajando.
Nos dirigimos a la pestaña Developer del LM Studio y presionamos el boton Start Server.
Esto lanzará el LM Studio como una API, luego vamos a descargar la extensión Continue (He dejado el link al principio).
Habiendo descargado la extensión en nuestro VS Code veremos algo muy parecido a esto:
Procedemos a configurarlo presionando en "Select Model" y luego "Add chat model"
Esto abrira un modal que nos solicitará algunos datos y lo configuraremos de la siguiente manera:
Y ahora nuestro VS Code tiene su propio chatbot con modelos LLM open source.
E incluso nos permitira contextualizar o hacer algunas acciones directamente desde el código sin usar el chatbot.
Esto es todo por hoy, espero que les haya gustado este curso, pronto vendré con mas para ayudarlos con tips, cursos y herramientas para desarrolladores.
Top comments (0)