Experiência aprimorada de benchmarking de modelos
Inicialmente a experiência de benchmarking no modelo Azure AI Foundry está sendo adicionada a novas métricas de desempenho (por exemplo em latência, custo estimado e taxa de transferência) e métricas que apontam a qualidade de geração destas ações. Isso irá permitir que os usuários comparem modelos básicos em diversos critérios, para entender melhor as possíveis compensações.
Agora você terá a possibilidade de avaliar e comparar modelos base usando seus próprios dados privados. Esse recurso simplifica o processo de seleção de modelos, permitindo que as organizações comparem como os diferentes modelos se comportam em ambientes do mundo real e avaliem quais modelos se alinham melhor com seus requisitos exclusivos.
Novas avaliações de risco e segurança para conteúdo de imagem e multimodal
Novas avaliações de risco e segurança para conteúdo de imagem e multimodal fornecem uma maneira pronta para uso de avaliar a frequência e a gravidade do conteúdo prejudicial em interações generativas de IA contendo imagens. Essas avaliações podem ajudar a informar mitigações direcionadas e demonstrar a prontidão para a produção.
SDK e interface do usuário de avaliações do Azure AI Foundry
O SDK e a interface do usuário do Azure AI Foundry Evaluations agora estão em disponibilidade geral. O Azure AI Foundry dá suporte a uma experiência Python de código primeiro, o SDK de Avaliação de IA do Azure, que lançou sua versão 1.0.0 para avaliações locais e de nuvem, bem como seu assistente de visualização e baixo código para enviar avaliações por meio do portal do Azure AI Foundry.
Os avaliadores de qualidade assistidos por IA e baseados em PNL/ML agora estão disponíveis com pontuações de alinhamento humano aprimoradas com lógica e raciocínio da cadeia de pensamento para fornecer transparência e explicabilidade às pontuações de avaliação. Fizemos melhorias significativas em nossas medições de qualidade de geração, aprimorando a precisão e a confiabilidade de nossos modelos de IA. Esses avanços garantem que nossos modelos produzam resultados de maior qualidade, atendendo às diversas necessidades de nossos usuários com mais eficiência.
Temos um novo conjunto de amostras disponíveis para você começar!
GitHub Actions para avaliações do GenAI
As avaliações do GitHub Actions para GenAI permitem que os desenvolvedores usem o GitHub Actions para executar avaliações automatizadas de seus modelos e aplicativos, para experimentação e iteração mais rápidas em seu ambiente de codificação. Essas ações do GitHub podem ser integradas perfeitamente aos fluxos de trabalho de CI/CD existentes no GitHub. Com essas ações, agora você pode executar avaliações automatizadas após cada confirmação, usando o SDK do Azure AI Foundry para avaliar seus aplicativos em busca de métricas como fundamentação, coerência e fluência.
Avaliações de nuvem
Agora oferecemos avaliações baseadas em nuvem para ajudá-lo a dimensionar avaliações em grandes conjuntos de dados de produção. Você pode iniciar remotamente um trabalho com nosso serviço de Avaliação de IA do Azure, que executará as avaliações e retornará os resultados assim que forem concluídos. Essa experiência está disponível com o SDK do Python do Azure AI Foundry.
Relatório de IA
Em breve, os desenvolvedores poderão compilar os principais detalhes do projeto, incluindo caso de uso comercial, riscos potenciais, modelo de cartão, configuração de endpoint, configurações de segurança de conteúdo e resultados de avaliação em um relatório unificado de IA. Esses relatórios podem ser publicados no centro de gerenciamento do portal do Azure AI Foundry para que os líderes de negócios acompanhem, examinem e avaliem. Além disso, os usuários podem exportar relatórios de IA nos formatos PDF e SPDX 3.0 AI BOM para integração em fluxos de trabalho de GRC. Esses relatórios ajudam a determinar se um modelo ou aplicativo de IA está pronto para produção como parte das avaliações de impacto da IA.
Para solicitar acesso à visualização privada de relatórios de IA, preencha o Formulário de interesse.
Olhando para o futuro
Nas próximas semanas, os módulos de aprendizado de IA responsável existentes para refletir os anúncios recentes de produtos serão atualizados. Nesse ínterim, recomendamos que você analise os seguintes recursos para se familiarizar com todas as nossas atualizações de IA responsável:
- Leia o blog de anúncio do Ignite: Novas ferramentas de avaliação para aplicativos multimodais, benchmarking, integração de CI/CD e muito mais | Hub da Comunidade Microsoft
- Documentação do Microsoft Learn sobre como avaliar com o SDK de Avaliação de IA do Azure (documentos de referência do Python) e a interface do usuário do Azure AI Foundry
- Você pode assistir à gravação da sessão destacando esse e outros recursos da sessão “IA confiável: avaliação e risco de IA avançada” do Microsoft Ignite: https://ignite.microsoft.com/en-US/sessions/BRK113?source=sessions
Fonte: Blog Tech Community.
Transforme sua estratégia com o Microsoft Fabric e a expertise da DataEX
A revolução tecnológica está ao seu alcance, e a DataEX está aqui para ajudá-lo a liderar essa transformação. Nossa equipe de especialistas entende profundamente os novos recursos do Microsoft Fabric e como eles podem otimizar sua operação, simplificar processos e impulsionar resultados.
Com mais de uma década de experiência e certificação Microsoft, somos parceiros ideais para transformar desafios em oportunidades. Agende uma reunião agora mesmo e descubra como nossa expertise pode alavancar o potencial do seu negócio.
Preencha o formulário e nosso time de especialistas entrará em contato.
Não se esqueça de nos seguir em nossas redes sociais e ler o Blog Data Universe diariamente.
