Especialista de Performance para Soluciones de IA
(AI Performance Test Engineer)
Tiempo Completo, oficinas Tlalpan
(México, CDMX)
En Banorte buscamos talento único, fuerte y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer fuerte con México.
Estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero.
Objetivo del puesto: Responsable de diseñar, ejecutar y analizar pruebas de desempeño, escalabilidad, resiliencia y capacidad para soluciones basadas en Inteligencia Artificial, incluyendo agentes IA, asistentes virtuales, chatbots, soluciones RAG, modelos predictivos y servicios de IA generativa, asegurando que cumplan con los criterios de calidad, tiempos de respuesta, concurrencia, estabilidad y experiencia esperada para los usuarios del Banco.
Cada día te encontrarás ante nuevos e interesantes retos dentro de tu puesto, en los cuales serás responsable de:
Ingeniería de Performance
- Diseñar estrategias de pruebas de performance para soluciones de IA.
- Definir escenarios de carga, estrés, volumen y resistencia.
- Evaluar tiempos de respuesta de agentes IA bajo diferentes condiciones operativas.
- Determinar capacidades máximas de concurrencia.
- Analizar cuellos de botella en componentes de aplicación, infraestructura, datos y modelos IA.
- Identificar límites operativos seguros antes de la puesta en producción.
Performance para IA Generativa y Agentes IA
- Validar desempeño de:
- Chatbots.
- Agentes IA.
- Soluciones RAG.
- Sistemas con LLMs.
- Medir:
- Latencia.
- Throughput.
- Tiempo de inferencia.
- Tiempo de respuesta extremo a extremo.
- Consumo de tokens.
- Consumo de CPU, memoria y GPU.
- Evaluar comportamiento bajo diferentes tamaños de contexto.
- Analizar degradación de desempeño bajo alta concurrencia.
- Determinar impacto de las integraciones con APIs, bases de conocimiento y sistemas corporativos.
DevOps y Observabilidad
- Integrar pruebas de performance a pipelines CI/CD.
- Automatizar ejecuciones recurrentes de performance.
- Establecer Quality Gates de desempeño.
- Analizar métricas provenientes de observabilidad y monitoreo.
- Participar en modelos de validación continua.
Gobierno y Riesgo
- Definir KPIs de rendimiento para soluciones IA.
- Establecer criterios de aceptación de performance.
- Emitir recomendaciones de liberación desde la perspectiva de desempeño.
- Documentar riesgos y limitaciones operativas identificadas durante las pruebas.
Requisitos:
- Formación profesional
- Titulado en licenciatura o ingeniería en Sistemas, Ciencia de Datos, Inteligencia Artificial o carreras afines.
- Años de experiencia
- + 4 años en pruebas de performance.
- + 3 años en pruebas de sistemas empresariales.
- Experiencia en plataformas críticas de alta disponibilidad.
- Diseño y ejecución de pruebas de carga y estrés.
- Áreas de experiencia
- Deseable en banca.
- Experiencia en soluciones basadas en IA.
- Experiencia con arquitecturas cloud.
- Experiencia en plataformas distribuidas y microservicios.
- Conocimientos requeridos
- Performance: JMeter, LoadRunner, BlazeMeter, Gatling, K6.
- Observabilidad: Grafana, Dynatrace, AppDynamics, Prometheus, Azure Monitor.
- DevOps: GitLab, Jenkins, Azure DevOps.
- IA (deseable): Azure OpenAI, Copilot Studio, RAG, LLMs, Vector databases, Prompt Engineering.
- Idiomas
- Inglés hablado y escrito (Nivel técnico)
En Grupo Financiero Banorte impulsamos una cultura de inclusión, respeto y equidad. Todas las personas interesadas en formar parte de nuestro equipo son consideradas bajo criterios objetivos, relacionados con su talento, experiencia y habilidades. Nuestro compromiso es garantizar procesos de selección transparentes.
