Para os que não conhecem, o Fabric Data Warehouse é um data Warehouse moderno e otimizado para modelos de dados analíticos, focado principalmente nos times menores numéricos de data e hora e de sequência de caracteres adequados para análise.
Em dados textuais, o Fabric DW oferece suporte ao tipo VARCHAR que pode armazenar até 8 KB de texto, o que é adequado para a maioria dos valores textuais que você utiliza em uma análise (Por exemplo: Nomes de cidades/países, cargos, endereços, números de telefone, etc.). Contudo, vale ressaltar que você não pode armazenar grandes valores textuais para descrições, comentários e outros tipos de valores de texto livre, sem risco de um possível truncamento potencial de dados.
Deste modo, a Microsoft informa que agora irá aumentar o limite de tamanho para as colunas de sequência de caracteres e binárias no Fabric DW. Ou seja, agora será utilizar uma visualização pública para os tipos de VARCHAR(MAX) e VARBINARY(MAX), que permitirão o armazenamento de até 1MB de dados por células.
Para armazenar grandes dados textuais ou binários em tabelas, você pode usar as colunas VARCHAR(MAX) e VARBINARY(MAX) em suas definições de tabela:
Além disso, outros aprimoramentos de desempenho para acelerar operações em colunas binárias e de string serão incluídos, como operador LIKE mais rápido, filtragem de coluna de string e execução em modo de lote em valores textuais grandes. Como conselho para utilizar essa atualização da melhor maneira, você deve experimentar inicialmente a utilização de uma sobrecarga mínima ao usar o tipo VARCHAR(MAX) em comparação com o tipo VARCHAR(N), desde que você esteja trabalhando com dados semelhantes.
Embora ainda seja recomendado que você otimize seus tipos de dados, a Microsoft está tentando garantir que vários tipos de dados grandes e subótimos introduzam sobrecarga mínima.
Além de armazenar dados binários e textuais não estruturados, os tipos VARCHAR(MAX) e VARBINARY(MAX) permitem novos cenários envolvendo:
- Trabalhando com dados JSON: JSON (JavaScript Object Notation) é um formato amplamente usado para representar dados semiestruturados. Armazenar dados JSON diretamente em seu banco de dados permite um gerenciamento de dados mais flexível e eficiente, especialmente para aplicativos que exigem estruturas de dados dinâmicas, complexas e hierárquicas.
- Trabalhando com dados espaciais: Dados espaciais representam a localização física e a forma de objetos, o que é crucial para sistemas de informações geográficas (GIS), aplicativos de mapeamento e serviços baseados em localização. O suporte a tipos de dados espaciais permite que você armazene e consulte informações geográficas, permitindo análise e visualização espacial avançadas.
Trabalhando com dados JSON
O tipo VARCHAR(MAX) permite que você armazene dados JSON formatados como texto em tabelas DW. JSON é um formato de armazenamento flexível que permite que você armazene facilmente matrizes de endereços, números de telefone ou propriedades personalizadas sem um esquema predefinido, conforme mostrado no exemplo a seguir:
Colunas VARCHAR(MAX) formatadas como texto JSON são comumente usadas para armazenar dados complexos e semiestruturados. Se você precisa armazenar estruturas como matrizes ou mapas, o formato JSON fornece uma maneira flexível de armazená-las em tabelas do Data Warehouse. Com a capacidade de armazenar até 1 MB de texto, o tipo VARCHAR(MAX) garante que você possa manipular grandes quantidades de dados complexos com campos aninhados, sem o risco de truncamento.
O Fabric DW suporta funções T-SQL JSON como JSON_VALUE e OPENJSON, permitindo que você extraia informações de forma eficiente de colunas VARCHAR(MAX) contendo texto JSON.
Trabalhando com dados espaciais
Outro cenário que o Fabric DW suporta é o uso de várias funções espaciais T-SQL para executar cálculos espaciais complexos, como encontrar distâncias ou interseções entre objetos espaciais.
Embora os objetos espaciais mais comumente usados sejam pontos armazenados como pares (latitude, longitude), pode haver casos em que você precise armazenar objetos espaciais mais complexos que excedam 8 KB de tamanho. Por exemplo, você pode precisar armazenar informações sobre os limites de zonas de táxi. Os formatos comuns para serializar objetos espaciais são well-known binary (WKB) e well-known text (WKT). Nesses casos, você pode armazenar informações espaciais em uma coluna VARBINARY(MAX) usando o well-known binary format:
Neste exemplo, a coluna geometry pode conter o limite de uma zona de táxi armazenada no formato WKB. Você pode usar a função T-SQL geometry::STGeomFromWKB para converter binários conhecidos em objetos de geometria.
O tipo de coluna VARBINARY(MAX), com seu limite de 1 MB por célula, permite que você armazene objetos espaciais grandes e complexos sem se preocupar com truncamento, o que pode corromper seus dados espaciais.
Se você preferir usar texto conhecido para armazenar dados espaciais, o tipo VARCHAR(MAX) pode acomodar a maioria dos objetos espaciais que você pode precisar em seus cenários. Neste caso, você pode usar a função geometry::STGeomFromText para converter texto conhecido em objetos de geometria.
Depois de converter dados VARBINARY ou VARCHAR em objetos de geometria, você pode usar uma variedade de funções espaciais T-SQL com esses objetos espaciais.
Os tipos VARCHAR(MAX) e VARBINARY(MAX) no Fabric Datawarehouse permitem que você armazene grandes quantidades de texto e dados binários. Com esses novos tipos, você pode gerenciar e processar dados textuais extensos de forma eficiente, graças aos aprimoramentos de desempenho que implementamos. Além disso, o suporte para tipos de dados maiores abre novas possibilidades para lidar com dados semiestruturados complexos formatados como JSON e trabalhar com dados espaciais. Esses avanços garantem que seu data warehouse seja mais versátil e capaz de atender a diversas necessidades analíticas.
Fonte: Microsoft Fabric Updates Blog.
Trabalhe com o Microsoft Fabric e descubra uma nova maneira de gerir sua equipe e os dados da empresa
Descubra como a expertise da DataEX pode te ajudar a implementar soluções robustas com Microsoft Fabric, garantindo uma experiência de análise de dados altamente otimizada e segura. Nossa equipe possui o conhecimento necessário para ajudá-lo a utilizar ao máximo as novas funcionalidades de VARCHAR(MAX) e VARBINARY(MAX) no Fabric Data Warehouse, permitindo que seu negócio explore dados complexos com desempenho aprimorado e flexibilidade. Agende uma reunião conosco e descubra como podemos auxiliar sua empresa a transformar dados em resultados tangíveis.
Preencha o formulário abaixo e nosso time Expert entrará em contato.
Acesse agora nossas redes sociais, nos siga e continue a acompanhar o blog Data Universe para ficar por dentro de todas as novidades sobre o Universo dos Dados e IA.
