¡Felices fiestas a toda la comunidad de AWS Open Source! A medida que el 2023 se acerca a su fin, queremos celebrar con vosotros aquellos proyectos open-source que nos han llamado la atención. Esta edición especial navideña está dedicada a destacar aquellos proyectos que puedes probar durante este periodo de vacaciones.
Comencemos....
1. Ampliando Horizontes con Kubernetes y Containers:
Este año, vimos innovaciones increíbles en la integración de Kubernetes en AWS. Herramientas como Finch y el soporte ampliado para Karpenter, que permiten mejorar la gestión y escalabilidad en la nube. Eso sin olvidarnos de EKS Anywhere, que facilitan la adopción y gestión de Kubernetes, proporcionando flexibilidad y control en tus despliegues.
Karpenter
Karpenter es un escalador automático de clústeres de Kubernetes flexible y de alto rendimiento que mejora la disponibilidad de las aplicaciones y el uso de los recursos.
Compañías como Grafana o AI Anthropic que han reducido sus facturas utilizando Karpenter en sus entornos EKS.
Además, Microsoft anunció recientemente soporte para Karpenter en Azure.
¿Lo has probado ya?
Finch
Finch 1.0 es una herramienta de línea de comandos para construir, ejecutar y publicar contenedores Linux en macOS. Finch depende de varios proyectos de código abierto, incluyendo Lima (que proporciona la máquina virtual en la que una pequeña imagen de sistema operativo Linux ejecuta los componentes del runtime del contenedor) y nerdctl (un wrapper para containerd que proporciona las capacidades comunes de línea de comandos del ciclo de vida del contenedor).
Una herramienta útil para aquellos que utilizan dispositivos del ecosistema Apple!
eksctl-io
eksctl-io es una herramienta CLI para crear y gestionar clústeres en EKS, el servicio gestionado de Kubernetes de Amazon para EC2.
Si vives en el mundo CLI, esta es tu herramienta para los clústers EKS!
Bottlerocket OS
Bottlerocket es un sistema operativo basado en Linux (optimizado) para alojar contenedores. Este OS se instala como el sistema operativo base en la máquina o instancia donde se ejecutan tus propios contenedores. Está específicamente diseñado para trabajar con tu orquestador de contenedores (como Kubernetes) y automatizar el ciclo de vida de los contenedores que se ejecutan en tu clúster. Es una solución que funciona tanto en la nube como en tu centro de datos. Muy fan de todas aquellas soluciones que son independientes de la infraestructura sobre la que se ejecutan!
ECS-Anywhere con ChatGTP
Durante el 2023 también tuvimos tiempo de jugar con LLMs de terceros, en este caso ChatGPT, para Simular un despliegue de [ECS-Anywhere](https://dev.to/aws-espanol/simulando-ecs-anywhere-con-chatgpt-3mbd). ECS-A es un servicio que permite ejecutar contenedores de Amazon ECS en cualquier infraestructura, ya sea en la nube, on-prem o en el edge. Hubo que ajustar y afinar la configuración para obtener los resultados esperados, pero fue entretenido ver cómo son capaces de replicar despliegues de los servicios de AWS.
Y para cerrar este apartado, comentaros que AWS tine un plan para donar $3 millones en créditos cloud a la CNCF para aliviar los costes en el tráfico de salida (egress) que la CNCF incurre cuando los usuarios descargan recursos de Kubernetes desde Google (donde originalmente están alojados). Una clara intención de seguir apostando y apoyando los proyectos open-source.
2. Machine Learning para Todos:
El 2023 fue testigo de cómo el machine learning se hizo más accesible. Con proyectos como Amazon Bedrock, CodeWhisperer o Amazon Q, cualquier desarrollador (sin importar su nivel de conocimiento) puede experimentar, construir y desplegar modelos de ML de manera más eficiente.
PartyRock
PartyRock es un nuevo espacio impulsado por Amazon Bedrock que te permite crear tus propias aplicaciones en segundos, compartirlas con otros y aprender sobre la IA generativa mientras te diviertes.
Por ejemplo, puedes construir tu propio motor de búsqueda de proyectos AWS de open-source y recibir consejos y mejores prácticas para contribuir.
ask-bedrock
ask-bedrock es un nuevo proyecto que proporciona una interfaz de línea de comandos que te permite conversar con tu modelo LLM de Amazon Bedrock. Esta herramienta es un wrapper alrededor de las API de bajo nivel de Amazon Bedrock y Langchain. Su principal valor añadido es que almacena localmente la configuración de la cuenta de AWS y del modelo para permitir una interacción rápida y sencilla.
awesome-codewhisperer
El repositorio awesome-codewhisperer de Christian Bonzelet es una gran colección de recursos para aquellos que están experimentando con asistentes de programación basados de Inteligencia Artificial Generativa, como Amazon CodeWhisperer. Este recurso te mantendrá ocupado y te ayudará a dominar Amazon CodeWhisperer en poco tiempo.
ragna
ragna, es un repositorio que creó Ricardo Sueiras para mostrarte cómo puedes agregar modelos Amazon Bedrock de Anthropic y Meta dentro de la herramienta Ragna. En su última actualización se ha incluido el modelo Llama2 13B. Para ayudarte, tienes una nueva entrada en el blog, Adding Amazon Bedrock Llama2 as an assistant in Ragna, que te ayudará a ponerlo en marcha. También hay mucha información útil en el README del proyecto.
3. IoT y Edge Computing:
AWS IoT Greengrass ha llevado la computación al borde a nuevas alturas este año. Los avances en este espacio no solo han mejorado la velocidad y eficiencia en el procesamiento de datos sino que también han abierto nuevas posibilidades en sectores como la manufactura, la salud y la agricultura.
FreeRTOS
FreeRTOS es un sistema operativo de código abierto en tiempo real para microcontroladores y microprocesadores. Está implementado en más de 40 arquitecturas, lo que brinda a los desarrolladores una amplia gama de hardware, además de un conjunto de bibliotecas de software preempaquetadas.
Diagram Maker
Diagram Maker es una biblioteca agnóstica en cuanto al framework y formatos de datos que es completamente personalizable en términos de apariencia y comportamiento. También expone una interfaz declarativa para reducir el código necesario para integrar la biblioteca en cualquier aplicación y viene con muchas características interactivas incorporadas.
AWS IoT Application Kit
iot-app-kit es una biblioteca de desarrollo para construir aplicaciones web basadas en el Internet de las Cosas (IoT) en el ámbito industrial. Con IoT App Kit, puedes construir aplicaciones de front-end y páginas web para utilizar datos de IoT. Por defecto, IoT App Kit ayuda a recuperar datos de AWS IoT SiteWise y AWS IoT TwinMaker. También puedes instalar plugins para obtener datos de tus propias fuentes.
4. Seguridad y Confiabilidad:
La seguridad es siempre una prioridad, y en 2023, proyectos como Prowler y OCSF han reforzado la postura de seguridad de innumerables organizaciones, asegurando que sus operaciones en la nube sean tan seguras como innovadoras.
Prowler
Prowler es una herramienta de software libre que permite analizar el estado de la seguridad de múltiples servicios y recursos desplegados en la nube de forma manual o automática. Contiene controles que cubren CIS, NIST 800, NIST CSF, CISA, RBI, FedRAMP, PCI-DSS, GDPR, HIPAA, FFIEC, SOC2, GXP, el Well-Architected Framework de Seguridad de AWS, la Revisión Técnica Fundacional de AWS (FTR), el Esquema Nacional de Seguridad (ENS) de España y marcos de seguridad personalizados.
Te invitamos a seguir este tutorial detallado que te guiará a través de tus primeros pasos.
OCSF
El Open Cybersecurity Schema Framework (OCSF) es un esfuerzo colaborativo y de código abierto liderado por AWS y socios destacados en la industria de la ciberseguridad. Se trata de un framework para crear esquemas.
La forma recomendada de explorar el esquema es a través de schema.ocsf.io.
Cabe destacar que OCSF es agnóstico al formato de almacenamiento, la recolección de datos y los procesos ETL. El esquema central para eventos de ciberseguridad está destinado a ser agnóstico a las implementaciones. Los archivos de definición del marco del esquema y el esquema resultante están escritos en JSON.
Podrías desplegar Amazon Security Lake para centralizar automáticamente los datos de seguridad de los AWS entornos y las fuentes de terceros en un data lake de seguridad.
Suricata
Suricata es un motor de alto rendimiento que está compuesto por un sistema de detección de intrusiones (IDS), un sistema de prevención de intrusiones (IPS) y el monitoreo de seguridad de la red (NSM). Es de código abierto y propiedad de la ONG (gestionada por la comunidad), la Open Information Security Foundation (OISF).
Si eres desarrollador y te gusta el mundo de la seguridad, este puede ser un proyecto interesante en el que contribuir. Disponen de una guía para desarrolladores que puedes seguir.
5. DevTools
Llegamos a uno de los apartados que más nos apasionan. Este es el año de RUST, y si habéis tenido la oportunidad de ver la keynote de Werner Vogels en re:Invent 2023 mostró cómo es uno de los lenguajes de programación más eficientes que existen.
aws-sdk-rust
AWS SDK para Rust ya se está disponible de forma general. El SDK proporciona una API idiomática y segura de tipos y admite características modernas del lenguaje Rust, como async/await, E/S sin bloqueo y constructores. Admite el acceso a más de 300 servicios de AWS, cada uno con su respectivo contenedor.
A lo largo del 2024 os iremos mostrando ejemplos de cómo utilizar el SDK en distintos casos de uso, desde la transferencia de datos hasta el despliegue de aplicaciones.
Kani
Kani es una herramienta de razonamiento automatizado de código abierto desarrollada por Amazon Web Services para analizar y demostrar propiedades de tu código Rust. Al igual que otras herramientas de razonamiento automatizado, Kani proporciona una forma de verificar de manera definitiva, mediante técnicas matemáticas, si una propiedad de tu código es verdadera en todas las circunstancias. De esta manera, Kani te ayuda a escribir un software de mejor calidad con menos errores.
s2n QUIC
s2n-quic es una implementación en Rust del protocolo IETF QUIC, que ofrece una API simple y fácil de usar. Con solo unas pocas llamadas a la API puedes tener tu propio servidor echo.
Puedes utilizarlos para acelerar la transferencia de grandes volúmenes de datos y archivos, ya que combina la confiabilidad de TCP con la velocidad y eficiencia de UDP, todo mientras mantiene una conexión segura.
También resulta útil en entornos donde los dispositivos necesitan comunicarse de manera eficiente y segura. s2n-quic puede proporcionar conexiones rápidas y confiables con un overhead reducido, ideal para dispositivos con recursos limitados (IoT/edge).
aws-lc-rs
AWS Libcrypto para Rust es una biblioteca criptográfica open-source con requisitos criptográficos FIPS. La librería es compatible a nivel de API con la biblioteca ring de rust. aws-lc-rs aporta mejoras de rendimiento para las familias de procesadores Arm y x86-64 en algoritmos criptográficos comúnmente utilizados.
6. Compromiso con la Sostenibilidad:
Este año también enfatizamos la importancia de la sostenibilidad en la tecnología. Iniciativas y herramientas que promueven la eficiencia energética y reducen la huella de carbono han sido un foco clave, reflejando nuestro compromiso continuo con un futuro más verde.
Hemos anunciado dos familias de chips diseñados por AWS, AWS Graviton4 y AWS Trainium2, que ofrecen avances en eficiencia energética para una amplia gama de cargas de trabajo, incluyendo el entrenamiento de modelos de aprendizaje automático (ML) y aplicaciones de inteligencia artificial (AI) generativa. De esta forma ofrecemos a nuestros clientes una mayor variedad de opciones de despliegue, al mismo tiempo que nos esforzamos por ser más sostenibles y reducir nuestra huella de carbono.
Si quieres ver todas las novedades de sostenibilidad que se anunciaron en re:Invent 2023, te recomiendo el post de Adrian Cockcroft donde detalla todos los anuncios y actividades en este campo.
7. Observabilidad y Chaos Engineering:
cdk-aws-observability-accelerator
cdk-aws-observability-accelerator es un conjunto de módulos diseñados para ayudarte a establecer la observabilidad en tus entornos AWS con servicios nativos de AWS y servicios de observabilidad gestionados por AWS, como Amazon Managed Service for Prometheus, Amazon Managed Grafana, AWS Distro for OpenTelemetry (ADOT) y Amazon CloudWatch.
Proporciona métricas seleccionadas, recolección de registros y trazas, tableros de CloudWatch, reglas de alerta y tableros de Grafana para tu infraestructura EKS, cargas de trabajo basadas en Java/JMX, NGINX y tus aplicaciones personalizadas.
El uso del Observability Accelerator con CDK permite una integración y despliegue rápido, aprovechando lenguajes de programación conocidos para una configuración personalizada y reutilizable de la infraestructura de monitoreo.
8. Comunidad y Colaboración:
Este 2023 ha sido un año de crecimiento y fortalecimiento de nuestra comunidad. A través de eventos, hackatones y colaboraciones, hemos visto cómo la pasión y el ingenio nos han brindado nuevos proyectos y aplicaciones, que han acabado por integrarse en nuestro repertorio de herramientas.
Seguramente ya habéis explorado una gran variedad de blogs y aplicaciones interesantes, pero dado que las Navidades pasan volando, quiero destacar especialmente estas tres contribuciones que personalmente me han sido muy útiles:
cls3
cls3 es una herramienta muy práctica de k.goto, AWS Community Builder, que te ayuda a limpiar Buckets de S3. Vacia (es decir, elimina todos los objetos y versiones/marcadores de eliminación en) los Buckets de S3 o elimina los propios buckets. Puedes consultar la entrada de blog de apoyo Herramienta para la eliminación rápida y el vaciado de buckets de S3 (versionado soportado).
Por otro lado, Abhishek Gupta nos introduce Use Amazon Bedrock and LangChain to build an application to chat with web pages, donde demuestra cómo puedes desarrollar y desplegar una aplicación de chat utilizando AWS CDK, LangChain y, por supuesto, Go.
Y por último, nuestro querido Martin Mueller, nos enseña cómo asegurar que la respuesta de nuestros LLMs tenga el formato correcto y contenga los datos esperados cuando desplegamos nuestras aplicaciones de IA generativa.
Seguro que vosotros tendréis blogs favoritos y herramientas open-source sin las cuales ya no podéis vivir. Os invitamos a compartirlos en los comentarios!
Con esto concluimos 2023, un año repleto de emociones y aprendizajes. A medida que nos preparamos para el 2024, queremos daros las gracias por ser parte de esta increíble comunidad. Vuestro entusiasmo y colaboración son lo que hace que AWS Open Source sea un lugar tan especial. ¡Esperamos continuar este viaje explorando nuevas posibilidades y conociendo a nuevos colaboradores!
¡Os deseamos unas felices fiestas y un próspero año nuevo lleno de salud y despliegues sin errores!
Top comments (0)