AI Engineer – GenAI Evaluation & Monitoring

  • Tiempo completo
  • madrid

Fujitsu

¡En Fujitsu buscamos personas con talento!

Fujitsu es la compañía líder japonesa en tecnología digital, de la información y comunicaciones, y uno de los cinco principales proveedores de estos servicios en el mundo. Contamos con más de 50 años de experiencia en la entrega de soluciones tecnológicas a clientes de todo el globo y somos más de 140.000 expertos con el propósito de crear un mundo más sostenible a través de la innovación.

Somos una compañía que pone en valor la DIVERSIDAD y el TALENTO de TODOS; una empresa que reconoce los valores profesionales, la capacitación laboral y la pasión, independientemente de las diferentes capacidades de cada uno que, lejos de alejarnos, nos enriquecen..

✔️¿Cuáles serán tus responsabilidades?

  • Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en términos de rendimiento, latencia y costes.
  • Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivos.
  • Optimizar estrategias de prompting según el comportamiento y capacidades de cada modelo.
  • Definir e implementar frameworks de testing para soluciones GenAI.
  • Ejecutar testing de regresión, testing de prompts y evaluación de outputs.
  • Diseñar pipelines de evaluación y monitorización de modelos IA.
  • Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados.
  • Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos.
  • Generar recomendaciones para selección de modelos, optimización de costes y mitigación de riesgos.
  • Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción.
  • Trabajar en coordinación con equipos locales e internacionales.

✔️¿Qué habilidades y experiencia requerimos de ti?\”

  • Experiencia de más 2 años en posiciones similares.
  • Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas.
  • Experiencia sólida con LLMs en entornos productivos.
  • Experiencia en GenAI enfocada en auditing, evaluating y monitoring.
  • Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch.
  • Conocimiento en Prompt Engineering.
  • Experiencia con frameworks de evaluación de LLMs como RAGAS, DeepEval o similares.
  • Experiencia en A/B testing y experimentación.
  • Conocimiento de observabilidad y monitorización de soluciones IA.
  • Comprensión del gobierno de IA y ciclo de vida de modelos.
  • Nivel fluido de español e inglés.

✔️ ¿Qué te ofrecemos?

  • Contratación indefinida.
  • Ayuda de comida.
  • Plan de Compensación Flexible (seguro médico, guardería, transporte, formación).
  • Seguro de vida y accidentes.
  • Carrera profesional en una multinacional líder en su sector.
  • Empresa con sólida cultura organizacional.
  • Acceso a plataformas formativas.

¡Y muchísimos beneficios más!

¿Y por qué Fujitsu?

  • El estudio Spain 2022 de Whitelane Research y Quint, ha situado a Fujitsu España como líder en los indicadores de Ciberseguridad y Business Understanding.
  • A nivel global, Fujitsu figura entre los diez principales proveedores de servicios TI (PAC/SITSI 2024).
  • Fujitsu a sido reconocida de forma continua en índices de sostenibilidad como el Dow Jones Sustainability World Index y FTSE4Good.
  • La revista FORTUNE la ha incluido a Fujitsu repetidamente en su lista de las “World’s Most Admired Companies”.

Por favor, para solicitar este trabajo visita es.whatjobs.com.