El sector de las telecomunicaciones se moviliza para mejorar el rendimiento de los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés), ya que las soluciones actuales han demostrado ser inadecuadas para manejar conocimientos técnicos, regulaciones y problemas específicos del sector, dice un nuevo comunicado de la GSMA a las puertas del MWC25. Ante esta necesidad, la GSMA Foundry, el hub de innovación de la asociación, ha impulsado la creación del Open-Telco LLM Benchmarks, una comunidad de código abierto que busca desarrollar un marco estandarizado para evaluar la aplicabilidad de estos modelos en escenarios reales de telecomunicaciones. La iniciativa cuenta con el respaldo de empresas como Hugging Face, Khalifa University, The Linux Foundation y un grupo de operadores móviles y proveedores tecnológicos.
El creciente uso de IA en las telecomunicaciones ha puesto en evidencia las limitaciones de los LLMs para manejar conocimientos técnicos, regulaciones y resolución de problemas en redes, asegura la GSMA. Según pruebas recientes, GPT-4 obtuvo menos del 75 por ciento en el conjunto de datos TeleQnA, diseñado para evaluar el conocimiento de telecomunicaciones de los modelos de IA. Aún más significativo, en la clasificación de documentos de 3GPP, el modelo apenas superó el 40 por ciento. Microsoft Phi2, por su parte, alcanzó solo el 10 por ciento en el benchmark MATH500, lo que subraya los retos de los LLMs en razón matemática avanzada.
“La IA actual tiene dificultades para responder consultas específicas del sector de las telecomunicaciones, lo que lleva a respuestas inexactas o poco útiles”, afirma Louis Powell, director de iniciativas de IA en GSMA. En este contexto, Open-Telco LLM Benchmarks nace para cerrar esa brecha mediante evaluaciones transparentes de capacidades, eficiencia energética y seguridad de los modelos.
Entre los operadores móviles que respaldan la iniciativa se encuentran Deutsche Telekom (DT), LG Uplus, SK Telecom y Turkcell, junto con Huawei como proveedor tecnológico. La comunidad permitirá a operadores, investigadores y desarrolladores contribuir con casos de uso, conjuntos de datos y modelos para su evaluación en un marco estandarizado. Hugging Face albergará los benchmarks para garantizar la transparencia y fomentar la colaboración global.
Desde el sector académico, la participación de Khalifa University refuerza el rigor científico del proyecto. “La academia tiene un papel crucial en la validación de la IA en telecomunicaciones, asegurando evaluaciones rigurosas y de alta integridad”, indica el profesor Merouane Debbah, director del Centro de Investigación en 6G de la institución.
Arpit Joshipura, gerente general de redes, edge e IoT en The Linux Foundation, resaltó que la comunidad ofrece los estándares abiertos que la industria necesita. “GSMA Open-Telco LLM Benchmarks introduce transparencia y evaluaciones estandarizadas que permitirán a los operadores implementar IA de manera confiable”, afirma.
El lanzamiento se produce en un momento en que la industria de telecomunicaciones se compromete a desarrollar IA de manera ética y sostenible. Un “hito” previo fue la creación del GSMA Responsible AI Maturity Roadmap, que ayuda a los operadores móviles a aplicar mejores prácticas desde el diseño hasta la evolución de las soluciones de IA, dice la GSMA en su comunicado.
El impacto de la IA en las telecomunicaciones también será un tema central en el MWC25 Barcelona, donde se llevará a cabo la cumbre “Gen AI Summit: Experimentation to Transformation”. En este evento, expertos de opradores como BT, e& y Orange discutirán aplicaciones prácticas de IA en optimización de redes y experiencia del cliente.
