Comparación de metodologías PEFT aplicadas a modelos de lenguaje grandes enfocados en generar resúmenes de textos
Loading...
Date
2024
Director
Journal Title
Journal ISSN
Volume Title
Publisher
Pontificia Universidad Javariana Cali
Abstract
La generación automática de resúmenes de texto ha emergido como un área clave dentro del Procesamiento de Lenguaje Natural (PLN). Este proyecto busca mejorar esta tarea mediante el uso de metodologías de ajuste eficiente de parámetros (PEFT) aplicadas a modelos de lenguaje grandes (LLM). Estas técnicas de ajuste fino adaptan modelos pre-entrenados a la tarea específica de resumen, optimizando su rendimiento en términos de coherencia y precisión. Esto permite simplificar la comprensión de grandes volúmenes de información, facilitando la toma de decisiones en distintos sectores. El desafío principal radica en producir resúmenes precisos en entornos complejos, donde los métodos tradicionales encuentran limitaciones. Las metodologías PEFT mejoran tanto la eficiencia computacional como la adaptabilidad de los modelos a distintos dominios y estilos textuales, generando resúmenes más contextuales y relevantes. Este estudio busca, además, optimizar el rendimiento de los modelos reduciendo la necesidad de grandes conjuntos de datos y costos computacionales, sin comprometer la calidad del resumen. La comparación de varias metodologías PEFT permite identificar cuáles son más efectivas para ajustar modelos de lenguaje en la tarea de resumen, logrando un balance entre eficiencia y calidad. Los resultados obtenidos proporcionarán una guía para futuras aplicaciones en sectores que requieren procesar grandes volúmenes de texto, permitiendo seleccionar el método más adecuado según los recursos disponibles y el tipo de texto.
Abstract
item.page.abstract.eng
item.page.descriptioneng
The automatic generation of text summaries has emerged as a key area within Natural Language Processing (NLP). This project seeks to improve this task by using parameter efficient tuning (PEFT) methodologies applied to large language models (LLM). These fine-tuning techniques adapt pre-trained models to the specific summarization task, optimizing their performance in terms of consistency and accuracy. This simplifies the understanding of large volumes of information, facilitating decision-making in different sectors. The main challenge lies in producing accurate summaries in complex environments, where traditional methods encounter limitations. PEFT methodologies improve both computational efficiency and the adaptability of models to different domains and textual styles, generating more contextual and relevant summaries. This study also seeks to optimize the performance of the models by reducing the need for large data sets and computational costs, without compromising the quality of the summary. The comparison of several PEFT methodologies allows us to identify which ones are most effective in adjusting language models in the summary task, achieving a balance between efficiency and quality. The results obtained will provide a guide for future applications in sectors that require processing large volumes of text, allowing the most appropriate method to be selected according to the available resources and the type of text.