Engenharia de Dados

Engenharia de Dados

 Artigos

Engenharia de dados com Nifi,AWS S3 ePython

Engenharia de dados com Nifi,AWS S3 ePython

Veja como realizar a ingestão de dados disponibilizados na API usando Nifi, S3 e Python.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
21
 min read
Proposta simplificada para construção sustentável de catálogo dados

Proposta simplificada para construção sustentável de catálogo dados

Resumo Com o surgimento de meios para armazenar de grandes volumes de dados, de diversas fontes e a todo momento, as organizações vêm enfrentando cada vez mais dificuldades para fazer a gestão e entender o valor desses recursos. Esse fato tem impacto direto na qualidade da informação que é gerada, prejudicando a eficiência de processos, tomada de decisões e finalmente o sucesso do negócio.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
30
 min read
Os novos padrões de segurança no Windows 11

Os novos padrões de segurança no Windows 11

O Windows 11 vem com novos pré-requisitos para sua instalação, sendo eles o TPM 2.0(Trusted Platform Module) e o Securete Boot, o que pode influenciar no uso cotidiano e na segurança do consumidor.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
3
 min read
Automatização de Testes em Projetos de Business Intelligence e Big Data

Automatização de Testes em Projetos de Business Intelligence e Big Data

O processo de testes em projetos de Business Intelligence e Big Data é bastante trabalhoso e moroso. A grande quantidade de dados envolvida na avaliação dos dados envolvidos na carga torna a verificação através de testes manuais uma tarefa quase impossível de ser bem sucedida. Este artigo apresenta uma alternativa aos testes manuais com a demonstração da eficácia de testes automatizados em um projeto de Business Intelligence.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
15
 min read
Conceitos da Modelagem Datavault

Conceitos da Modelagem Datavault

O datavault é uma técnica de modelagem de dados para o desenvolvimento de Enterprise Data Warehouses (EDW). Inclui modelos de dados simples e processos de ETL com o objetivo de armazenar dados ao longo do tempo e dispor um repositório central que receba e organize os dados de diversas fontes..

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
7
 min read
Tutorial React Admin

Tutorial React Admin

O React Admin é um framework criado para auxiliar na criação de dashboards e tabelas para gerenciamento de negócios tendo várias funções prontas para auxiliar no tempo de desenvolvimento e criar uma plataforma extremamente amigável ao usuário e de simples desenvolvimento.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
5
 min read
Por que é importante integrar seu e-commerce a um ERP e quais suas vantagens?

Por que é importante integrar seu e-commerce a um ERP e quais suas vantagens?

Integrar a plataforma de e-commerce a um ERP é fundamental para otimizar a gestão do negócio como um todo, incluindo a automação de preços, pedidos, faturas, estoque e muito mais.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
17
 min read
O que são funções de ordem superior em Javascript?

O que são funções de ordem superior em Javascript?

Entenda como utilizar funções de ordem superior em JavaScript e entenda como isso pode te ajudar em seu processo

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
6
 min read
O que realmente é um algoritmo recursivo?

O que realmente é um algoritmo recursivo?

Indo direto ao ponto, um algoritmo recursivo, é aquele que invoca à ele mesmo durante o processo de execução. Mas, será que é só isso?Neste artigo quero te mostrar, de uma maneira simples, como este tipo de algoritmo realmente se comporta.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
15
 min read
O que é Vue.js: um guia prático sobre esse framework

O que é Vue.js: um guia prático sobre esse framework

Descubra os principais recursos desse framework JavaScript progressivo e como ele pode ser usado em seus projetos. Confira no Blog LinkApi.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
20
 min read
O que é o problema N + 1?

O que é o problema N + 1?

O problema N+1 é um anti-pattern, conhecido por ser uma maneira ineficiente de realizar consultas numa base com um número relativamente grande de dados.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
11
 min read
Introdução ao Interceptors NestJS

Introdução ao Interceptors NestJS

Nest é a biblioteca backend do Noje.js que mais cresceu no mundo. É um framework utilizado para construir aplicações server-side mais eficientes, confiáveis e escaláveis, construídas com Node.js e com suporte completo para TypeScript. Por debaixo dos panos, o Nest usa estruturas robustas de servidor HTTP como Express (o padrão) e opcionalmente pode ser configurado para utilizar Fastify.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
10
 min read
Google Cloud Composer (integrado ao Apache Airflow) simplificado

Google Cloud Composer (integrado ao Apache Airflow) simplificado

O Google Cloud Platform oferece um serviço chamado Cloud Composer para agendar e monitorar pipelines que se estendem por ambientes híbridos e com várias nuvens. Esse serviço é baseado no projeto de código aberto Apache Airflow e operado usando python.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
9
 min read
Apache Spark Streaming com Python

Apache Spark Streaming com Python

Faremos uma demonstração simples, porém muito objetiva de como utilizar o ApacheSpark com o modulo de streaming, para capturar todos os arquivos CSVs disponibilizadosem uma pasta especifica da rede. Será utilizado o Pyspark, banco de dados PostgreSql paraarmazenamento dos dados, três arquivos csv com dados dummy e um jar de conexão ao postgres. Apache Spark, Pyspark, Streaming, PostgreSQL

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
9
 min read
Funções mais legíveis em Javascript com options object

Funções mais legíveis em Javascript com options object

Funções legíveis, fáceis de entender e simples de se usar é uma ótima prática em qualquer linguagem de programação e em Javascript uma das estratégias pra se fazer isso é usar o design pattern objeto de opções ou options object.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
6
 min read
A relative from localhost and Kubernetes

A relative from localhost and Kubernetes

Start in kubernetes maybe looks like a hard thing to do but you can take a simpler approach by making a parallel with your local development environment. We need to focus on the fact that kubernetes is a container orchestrator so in the basic approach we don’t go too far from this idea.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
12
 min read
Estratégia de programação - Chega de IFs!

Estratégia de programação - Chega de IFs!

Neste artigo estarei te apresentando um design pattern muito poderoso e muito fácil de se aplicar em um projeto, conhecido como Strategy.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
9
 min read
A Transição Real para a Indústria 4.0

A Transição Real para a Indústria 4.0

O Texto abaixo relata um breve histórico do surgimento do conceito de Indústria 4.0, sua evolução até os dias atuais e o panorama do Brasil neste contexto.Cabe alertar que o presente conteúdo foi escrito em 2021 e dado e que o avanço tecnológico está num estágio de crescimento exponencial.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
25
 min read
Como contar uma história com dados

Como contar uma história com dados

A narrativa de dados é algo recente no meio empresarial, porém cada vez mais necessária dentro das empresas de DataDriven

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
16
 min read
Descomplicando o Apache Spark

Descomplicando o Apache Spark

O que é e como utilizar o mecanismo de processamento de dados Spark

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
8
 min read
O que é Open Banking e quais os desafios do mercado financeiro

O que é Open Banking e quais os desafios do mercado financeiro

Entenda o que é Open Banking e como ele vai revolucionar a oferta de produtos e serviços e entregar maior autonomia para os clientes.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
9
 min read
O poder das APIs para a transformação tecnológica

O poder das APIs para a transformação tecnológica

Algumas tecnologias emergentes como as APIs estão trazendo mudanças para o mundo dos negócios e estabelecendo novas maneiras de oferecer serviços e produtos digitais.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
6
 min read
Gestão de APIs e Integrações tem ajudado empresa a automatizar os pagamentos de seus clientes

Gestão de APIs e Integrações tem ajudado empresa a automatizar os pagamentos de seus clientes

Com a ajuda de uma plataforma de Gestão de APIs e integrações, a Vindi tem automatizado pagamentos aos seus clientes. Confira.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
8
 min read
A evolução da experiência de consumo com um iPaaS

A evolução da experiência de consumo com um iPaaS

Como um iPaaS pode te ajudar a evoluir a experiência do consumo dos seus clientes? Aqui explicamos, do lado da empresa e do lado do consumidor!

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
4
 min read
Design Pattern Adapter: uma boa solução para lidar com códigos legados

Design Pattern Adapter: uma boa solução para lidar com códigos legados

As bibliotecas e frameworks vem e vão e para lidar com elas em uma aplicação, uma excelente opção é aplicando o design pattern Adapter.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
5
 min read
Conventional Commits Pattern

Conventional Commits Pattern

Dispor de uma linguagem coerente e padronizada ajuda a todos os envolvidos no projeto a entenderem as mudanças ocorridas e quais os contextos foram afetados.

Engenharia de Dados
Engenharia de Dados
Clock Icon - Tech Webflow Template
15
 min read