Hoy lanzamos Code Llama, un modelo de lenguaje grande (LLM) que puede usar indicaciones de texto para generar y discutir código. Code Llama es el último programa LLM de código abierto en problemas de codificación. Tiene el potencial de hacer que los flujos de trabajo sean más rápidos y eficientes para los desarrolladores y reducir la barrera de entrada para las personas que están aprendiendo a codificar. Code Llama se puede utilizar como herramienta de productividad y aprendizaje para ayudar a los programadores a escribir software más sólido y mejor documentado.
Creemos que un enfoque abierto hacia la IA es el más adecuado para desarrollar nuevas herramientas de IA innovadoras, seguras y responsables, por lo que lanzamos Code Llama para uso comercial y de investigación bajo la misma licencia comunitaria que Llama 2.
Code Llama es una versión especializada de Llama 2 creada mediante capacitación adicional de Llama 2 en conjuntos de datos específicos de código, con la capacidad de muestrear más datos del mismo conjunto de datos durante períodos de tiempo más largos. Básicamente, Code Llama tiene capacidades de codificación avanzadas. Puede generar código y lenguaje natural sobre código tanto a partir de código como de sugerencias de lenguaje natural (por ejemplo, «Escríbeme una función que genere la secuencia de Fibonacci»). También se puede utilizar para completar y depurar código. Es compatible con muchos de los lenguajes de programación más populares que se utilizan en la actualidad, incluidos Python, C++, Java, PHP, Typescript (Javascript), C#, Bash y más.
Producimos Code Llama en tres tamaños con parámetros 7B, 13B y 34B respectivamente. Cada uno de estos modelos se entrena utilizando 500 mil millones de tokens de código y datos asociados con el código. Los modelos base y de instrucción 7B y 13B también han sido entrenados con la capacidad de completar el medio (FIM), que les permite insertar código en el código existente, lo que significa que pueden admitir tareas como la finalización del código desde el primer momento.
Estos tres modelos cumplen diferentes requisitos de servicio y latencia. Por ejemplo, el modelo 7B se puede servir en una sola GPU. El modelo 34B ofrece los mejores resultados y proporciona una mejor asistencia de codificación, pero los modelos más pequeños 7B y 13B son más rápidos y más adecuados para tareas de baja latencia, como la finalización de código en tiempo real.
También hemos finalizado dos variantes adicionales de Code Llama: Code Llama – Python y Code Llama – Instruct.
Code Llama: Python es una variación del lenguaje especializado de Code Llama, mejorado con 100 mil millones de tokens de código Python. Debido a que Python es el lenguaje más probado para la generación de código y debido a que Python y PyTorch desempeñan un papel importante en la comunidad de IA, creemos que un modelo especializado proporciona una utilidad adicional.
Code Llama – Instruct es una versión revisada y armonizada de Code Llama con instrucciones. La sintonización instructiva continúa el proceso de formación, pero con un propósito diferente. El modelo recibe instrucciones en lenguaje natural y el resultado esperado. Esto ayuda a comprender mejor lo que la gente espera de sus indicaciones. Recomendamos usar las variantes Code Llama – Instruct siempre que use Code Llama para generar código, ya que Code Llama – Instruct está optimizado para generar respuestas útiles y seguras en lenguaje natural.
Los programadores ya están utilizando LLM para resolver varios problemas. El objetivo es hacer que los flujos de trabajo de los desarrolladores sean más eficientes para que puedan centrarse en los aspectos de su trabajo más centrados en el ser humano en lugar de tareas repetitivas. Creemos que los modelos de IA, y en particular los programas LLM de programación, se benefician más de un enfoque abierto, tanto en términos de innovación como de seguridad. Los modelos disponibles públicamente con normas específicas pueden contribuir al desarrollo de nuevas tecnologías que mejoren la vida de las personas. Al lanzar modelos de código como Code Llama, toda la comunidad puede evaluar sus capacidades, identificar problemas y corregir vulnerabilidades.
Code Llama se dedica a apoyar a los desarrolladores de software en todos los sectores, incluida la investigación, la industria, los proyectos de código abierto, las ONG y las empresas. Pero hay muchos más casos de uso de soporte. Esperamos que Code Llama inspire a otros a utilizar Llama 2 para crear nuevas herramientas innovadoras para investigación y productos comerciales.
Obtenga más información sobre Code Llama en nuestro blog de IA o descargue el modelo Code Llama.
