O ponto de extremidade do Fabric Livy permite que os usuários enviem e executem seu código do Spark na computação do Spark em um workspace do Fabric designado, eliminando a necessidade de criar artefatos de Definição de Trabalho do Notebook ou do Spark. Essa integração com um artefato específico do Lakehouse garante acesso direto aos dados armazenados no OneLake. Além disso, a API Livy oferece a capacidade de personalizar o ambiente de execução por meio de sua integração com o artefato Environment.
Quando uma solicitação é enviada para o endpoint do Fabric Livy, o código enviado pelo usuário pode ser executado em dois modos diferentes:
Trabalho de sessão:
- Um trabalho de sessão do Livy envolve o estabelecimento de uma sessão do Spark que permanece ativa durante toda a interação com a API do Livy. Isso é particularmente útil para cargas de trabalho interativas e iterativas.
- Uma sessão do Spark é iniciada quando um trabalho é enviado e dura até que o usuário a encerre ou o sistema a encerre após 20 minutos de inatividade. Ao longo da sessão, vários trabalhos podem ser executados, compartilhando dados de estado e armazenados em cache entre as execuções.
Trabalho em lote:
- Um trabalho em lotes do Livy envolve o envio de um aplicativo do Spark para uma única execução. Ao contrário de um trabalho de sessão do Livy, um trabalho em lotes não sustenta uma sessão do Spark em andamento.
- Com os trabalhos em lotes do Livy, cada trabalho inicia uma nova sessão do Spark, que termina quando o trabalho é concluído. Essa abordagem funciona bem para tarefas que não dependem de cálculos anteriores ou exigem manutenção do estado entre os trabalhos.
O endpoint da API do trabalho de sessão seria semelhante a: https://api.fabric.microsoft.com/v1/workspaces/ ws_id/lakehouses/lakehouse_id /livyapi/versions/2023-12-01/ batches
O endpoint da API do trabalho de sessão seria semelhante a: https://api.fabric.microsoft.com/v1/workspaces/ ws_id/lakehouses/lakehouse_id /livyapi/versions/2023-12-01/sessions
ws_id: esta é a área de trabalho na qual o artefato Lakehouse de hospedagem pertence. lakehouse_id: este é o ID do artefato do Lakehouse de hospedagem. Todo o histórico de consumo de capacidade dessa chamada de API em lote será associado a esse artefato.
Para acessar o endpoint da API Livy, você precisa criar um artefato do Lakehouse. Depois de configurado, você encontrará o endpoint da API Livy no painel de configurações.
Configurações do Lakehouse mostrando o endpoint do Livy
A documentação da API do Livy fornece mais detalhes e mostra como criar seu primeiro lote ou trabalho de sessão do Livy.
Fonte: Blog Microsoft Fabric.
Agende uma reunião com nossos EXperts e acelere sua estratégia de Engenharia de Dados!
Está pronto para levar sua arquitetura de dados para o próximo nível? A integração da API REST para Livy no Microsoft Fabric oferece uma abordagem poderosa para executar trabalhos do Spark com eficiência e flexibilidade, simplificando o acesso aos seus dados armazenados no OneLake.
Nossos especialistas estão prontos para mostrar como essa tecnologia pode transformar suas operações de dados. Agende uma reunião personalizada para entender como aproveitar ao máximo o poder do Fabric e otimizar sua infraestrutura de dados. Não perca a chance de impulsionar seu negócio com soluções inteligentes e escaláveis.
Preencha o formulário e nosso time de especialistas entrará em contato.
E não se esqueça de ler o blog Data Universe diariamente e nos seguir em nossas redes sociais.
