O big data está ficando muito grande? 90% de todos os dados existentes no mundo foram produzidos apenas nos últimos dois anos - e apenas 20% estão sendo usados. Com a análise de big data incapaz de manter o ritmo, esse aumento exponencial está se mostrando impossível, e há um resultado muito óbvio: a maioria dos dados coletados por empresas, indivíduos e por sensores da Internet of Things não está sendo usada.

Dados não estruturados, não utilizados e não amados escondidos nos computadores, servidores e arquivos de organizações em todo o mundo são evidências claras de que as empresas, embora estejam cada vez mais digitalizadas e centradas em dados, ainda estão vivendo na idade das trevas..

Dados escuros podem ser metadados produzidos por outros sistemas (Crédito de imagem: NASA)

O que são dados escuros?

Dados não utilizados ou "obscuros" são a história do mundo dos negócios que não corresponde às expectativas em grande escala. Dados escuros são definidos pelo Gartner como 'os ativos de informação que as organizações coletam, processam e armazenam durante atividades comerciais regulares, mas geralmente não usam para outros propósitos'.

“Principalmente, estamos falando de informações transacionais, arquivos de log, metadados que não foram usados, pequenas partes de informações não analisadas que parecem não ter valor e podem ser vistas como o produto residual de outros sistemas e processos.,” diz John Culkin, diretor de gerenciamento de informações da Crown Records Management, que assessora empresas sobre políticas de dados. Ele também adiciona esse rascunho de lista, emails temporários e antigos e arquivos ZIP.

Dados obscuros podem se esconder em laptops de empresas não utilizados

De onde vêm os dados escuros??

“Dados escuros compõem cerca de 80% do conteúdo total em qualquer organização,” diz Stephen Mackey, consultor sênior de IM da empresa de gerenciamento de informações Kefron, que insiste que é o resultado de processos de negócios comuns no dia-a-dia.. “Dados escuros são todo o conteúdo que é deixado para trás, oculto em sistemas e servidores, e subutilizado ou esquecido,” ele adiciona.

De acordo com a IDC, 90% dos dados não estruturados nunca são analisados, o que é frequentemente o resultado de uma atitude anti-exclusão perigosa, alimentada tanto pela regulamentação de conformidade quanto pela disponibilidade de armazenamento de dados barato na nuvem e em outros lugares.

“Para uma empresa de varejo ou manufatura, por exemplo, as informações financeiras podem ser corretamente mantidas como um registro,” diz Culkin, acrescentando, “mas, embora os dados gerados por muitos sistemas de vendas e entrega não sejam necessários, raramente são excluídos.” Mas uma atitude conservadora em relação aos dados cria um risco.

Poderia haver 21 bilhões de dispositivos de IoT até 2020

Por que os dados escuros são prejudiciais?

Existem duas maneiras principais pelas quais dados obscuros podem danificar uma empresa. Em primeiro lugar, há um risco de segurança ao não excluir dados. “É importante que os arquivos não sejam esquecidos,” diz Mackey. “Se eles não forem monitorados e mantidos em segurança, as informações críticas de negócios que contêm podem ser extraídas sem conhecimento e usadas por razões nefastas..”

Os dados que não serão usados ​​devem ser excluídos ou protegidos contra acesso não autorizado, pois informações confidenciais, confidenciais e não estruturadas podem incluir detalhes da conta do cliente, o que produz problemas de conformidade..

A segunda maneira que os dados obscuros podem prejudicar um negócio é indiretamente custar-lhe dinheiro. “Muitas empresas desconhecem que tipo de dados existe, e são esses dados ocultos que dificultam as revisões internas e as auditorias externas.,” diz Mackey. “E se uma questão for levantada sobre uma conta de dois anos atrás e o pagamento for questionado, mas as faturas e os registros não puderem ser encontrados??” ele pergunta. A resposta é simples. dados escuros custam dinheiro às empresas.