Cómo desbloquear el Potencial de los Agentes de IA

Las últimas innovaciones en IA de Databricks optimizan la gobernanza, el monitoreo y la escalabilidad para que las empresas implementen agentes de IA con confianza.

Para Craig Wiley, Director Senior de Producto en Databricks, el 85% de las empresas globales ya utilizan IA Generativa, muchas enfrentan desafíos significativos al escalar estos proyectos más allá de la fase piloto. Incluso los modelos de GenAI más avanzados tienen dificultades para ofrecer resultados precisos, específicos para el negocio y bien gobernados, principalmente porque carecen de acceso a datos empresariales relevantes.

Mientras que muchos clientes implementan soluciones de GenAI en casos de uso de bajo riesgo y alcance limitado, la mayoría no confía lo suficiente como para aplicarlas en escenarios internos o externos que impliquen riesgos financieros.

Hoy estamos emocionados de presentar varias innovaciones clave que ayudarán a las empresas a escalar e implementar agentes de IA con confianza. Estas incluyen:

• Gobernanza centralizada para todos los modelos de IA: Integra y gestiona modelos de IA de código abierto y comerciales en un solo lugar con Mosaic AI Gateway, que admite proveedores personalizados de LLM (Vista previa pública).
• Integración simplificada en flujos de trabajo existentes: La suite de API AI/BI Genie Conversation (Vista previa pública) permite a los desarrolladores incrustar chatbots basados en lenguaje natural en apps personalizadas o herramientas populares de productividad como Microsoft Teams, SharePoint y Slack.
• Optimización de flujos de trabajo con humanos en el proceso: La nueva versión de Agent Evaluation Review App (Vista previa pública) facilita que los expertos en la materia den retroalimentación, envíen trazos para etiquetado y personalicen criterios de evaluación.
• Inferencias por lotes sin provisión: Ejecuta inferencias por lotes con Mosaic AI usando una simple consulta SQL, eliminando la necesidad de aprovisionar infraestructura mientras permite una integración fluida de datos no estructurados.

Estas nuevas capacidades permitirán a las organizaciones implementar agentes de IA en aplicaciones de alto valor y misión crítica, garantizando precisión, gobernanza y facilidad de uso. Ahora, vamos a sumergirnos en los detalles de cada lanzamiento.

Crear y gobernar agentes de alta calidad

En Databricks, creemos que el mejor modelo fundamental es aquel que mejor se adapta a tu caso de uso específico. A veces, esto puede ser un modelo de código abierto, mientras que en otras ocasiones podría ser GPT-4o u otro modelo de IA comercial. Para ayudar a los clientes a gobernar y gestionar tanto modelos de IA de código abierto como propietarios, hemos creado Mosaic AI Gateway. Esta herramienta permite integrar endpoints de modelos externos, proporcionando gobernanza unificada, monitoreo e integración en todos tus modelos.

A partir de hoy, estamos ampliando el alcance de AI Gateway para admitir cualquier endpoint de LLM, de modo que también puedas integrar endpoints desde tu propia puerta de enlace interna. Esto significa que las empresas podrán aprovechar todo el valor de Databricks sin tener que renunciar a las capacidades personalizadas que han desarrollado en sus propios sistemas. Sabemos que muchos de ustedes han estado pidiendo esto, y por eso estamos emocionados de anunciar que ya está disponible y pública la vista previa. ¡Espero que estén atentos, porque el martes tendremos más anuncios sobre AI Gateway!

Además, presentamos la suite de APIs Genie Conversation, que permite a los usuarios autogestionar información y obtener datos en lenguaje natural desde diversas plataformas, como Databricks Apps, Slack, Teams, SharePoint y aplicaciones personalizadas. Con la Genie API, los usuarios pueden enviar prompts de manera programática y recibir datos, tal como lo harían en la interfaz de Genie. La API es stateful, lo que significa que puede retener el contexto a lo largo de múltiples preguntas de seguimiento dentro de un mismo hilo de conversación.

En nuestro próximo blog, revisaremos los endpoints clave disponibles en la vista previa pública, exploraremos la integración de Genie con Mosaic AI Agent Frameworks y destacaremos un ejemplo de cómo incrustar Genie en un canal de Microsoft Teams. ¡No te lo pierdas!

Garantizando que los agentes ofrezcan resultados precisos y confiables

Construir agentes de IA de alta calidad es todo un reto, ya que no siempre es fácil mejorar la respuesta a un prompt sin afectar negativamente muchas otras. Los desarrolladores han invertido mucho tiempo y esfuerzo en entender si su agente funcionará correctamente y cómo se desempeña en producción. En diciembre, lanzamos una API que permite a los clientes generar conjuntos de datos de evaluación de manera sintética, basándose en sus propios datos. Y hoy, estamos emocionados de anunciar nuevas actualizaciones en la Agent Evaluation Review App para optimizar la retroalimentación con personas en el proceso. Esta herramienta mejorada permite a los expertos realizar evaluaciones precisas en función de su dominio, enviar trazos de desarrollo o producción para su etiquetado y definir criterios de evaluación personalizados sin necesidad de usar hojas de cálculo ni aplicaciones a la medida. Al facilitar la recopilación de feedback estructurado, los equipos pueden refinar continuamente el rendimiento de los agentes de IA y mejorar la precisión de manera sistemática.

A medida que los clientes buscan implementar agentes en áreas con riesgos reputacionales o financieros, es clave medir la precisión y contar con herramientas que permitan mejorarla de manera sistemática. Si quieres conocer más sobre nuestras nuevas funciones para evaluar agentes, quédate atento a nuestro blog este miércoles, donde profundizaremos en cómo usarlas para mejorar la precisión de agentes nuevos o existentes.

Escalar la IA sin dolores de cabeza por la infraestructura

Si bien la selección de modelos, la gobernanza y la evaluación son clave para construir agentes de alta calidad, también sabemos que simplificar la experiencia es fundamental para las empresas que quieren escalar esta tecnología en toda la organización. En el último año, cada vez más empresas han adoptado la inferencia por lotes para modelos fundacionales y agentes. Ahora, con Mosaic AI admitiendo inferencia por lotes con AI Functions, escalar estos flujos de trabajo es más fácil que nunca.

Ya sea utilizando un LLM para clasificación o procesamiento de lenguaje natural, o un agente para ejecutar tareas más complejas de inteligencia de datos, los clientes han valorado la posibilidad de acceder al poder de estos modelos a escala con simples consultas SQL.

Aunque escribir las consultas SQL no es complicado, muchos clientes se han encontrado con obstáculos al aprovisionar y escalar los endpoints de servicio. Ahora, ya no necesitas configurar la infraestructura para ejecutar ai_query, nosotros nos encargamos de todo, solo pagas por lo que usas. Clientes ya están viendo resultados con estas capacidades, y esto es solo el comienzo.

“Batch AI con AI Functions está optimizando nuestros flujos de trabajo de IA. Nos permite integrar inferencia de IA a gran escala con una simple consulta SQL, sin necesidad de gestionar infraestructura. Esto se integrará directamente en nuestras canalizaciones, reduciendo costos y simplificando la configuración. Desde que lo adoptamos, hemos visto una aceleración impresionante en la velocidad de desarrollo al combinar ETL tradicional y canalizaciones de datos con cargas de trabajo de inferencia de IA» comentó Ian Cadieu, CTO de Altana