我家里有一个柜子，里面塞满了……嗯，我不太确定是什么. 我很确定有充电器, 尽管我不确定他们曾经充电的设备是否还存在. 有电缆、连接器和很多东西. 如果我是个赌徒的话, 我敢打赌，大多数读者都有自己的橱柜, 衣橱, 盒子或抽屉就像我的一样.
最糟糕的理由
我提起这个是因为很多, 也许最, 澳门赌场官方下载数据中心有一个数字版的“我的柜子”. 他们有很多所谓的“暗数据”,，最广泛的定义是澳门赌场官方下载收集的任何信息, 过程, 和存储, 但不要用于其他目的，如分析和洞察.1
这是准确的，但我觉得还不够. 组织拥有大量的数据，但他们并不知道, 不要使用, 找不到，如果他们知道自己有的话，早就扔掉了. 就像我的内阁. 但如果你不知道你有它们，即使你知道，你也找不到它们, 这在功能上等同于没有它们. 那么为什么组织要保留它们呢? 最糟糕的原因是:你永远不会知道.2 这种方式存在大量的数据保留.
使用暗数据
我读过的大多数关于暗数据主题的文献都在哀叹所有这些比特和字节所带来的浪费机会. 一个被广泛引用的数据是，事实上，55%的澳门赌场官方下载数据是暗的.3 任何组织都在为存储付费, 看来大部分投资都被浪费了. 更重要的是，暗数据代表着浪费的机会. 这些数据是有价值的, 如果组织机构能够开发和使用这些工具，就可以把他们带进光里. 事实上，忽视暗数据的挑战就是把钱丢在桌子上.4
人工智能(AI), 特别是机器学习, 提供了一种识别方式, 研究, 解析和, 最终, 从暗数据中提取价值.5 机器学习提供了利用这些“垃圾”信息的希望.
我不知道我的柜子里有什么，但我知道它们是怎么来的. 有人(可能是我)把它放在那里的. 同样，了解暗数据的来源和位置也很重要. 这些数据有很多来源, 包括, 但并不局限于, 日志记录, 收集员工候选人数据, 地理位置, 调查, 监视和电子邮件.6 其他重要的来源是工业过程中使用的所有传感器, 越来越多地。, 物联网(IoT)设备.
数据一般存储在NAS (network attached storage)设备中, 非结构化数据的常用存储库.7 特别是, sensor data are by definition unstructured and easy to collect; it is easy to capture them and forget them. 结果是, 一家工业公司可能有大量过时的传感器数据, 编译数月或数年, 那对谁都没用.
滥用暗数据
或者几乎所有人. 有很多坏人想知道这个化学过程是如何运作的, 管道是如何运行的, 那家工厂是怎样经营的. 他们可以从暗数据中得到很多信息，如果他们能得到的话. 当我读到最近对一家管道公司的网络攻击时，我突然想到，这种详细的数据可能已经被盗了. 的确，勒索软件是报道的事件. 但窃贼也会窃取信息，并对其进行加密吗? 我没有内部消息，也不知道这件事是否发生过，但威胁是真实的.
更有价值的方法是一开始就假定所有非结构化信息, 黑暗或其他, 是有价值的, 至少对某人来说.
大多数大公司和政府机构都有信息安全职能，监督对敏感和关键数据的保护. 根据我的经验，黑暗的、非结构化的数据既不敏感也不关键. 据我所知, 目前还没有发表过关于如何保护暗数据的研究, 尽管对于该澳门赌场官方软件，不乏建议.8 我读过的大多数建议都是从审计非结构化数据开始(有时是结束)，以找出实际存在的数据. 当然，一旦数据被定位、识别和分类，它们就不再是黑暗的了.
嘿,转眼间! 问题解决了.
保护暗数据的方法
我认为更有价值的方法是一开始就假定所有非结构化信息, 黑暗或其他, 是有价值的, 至少对某人来说. 基于这个假设, 应该教育广大用户了解暗数据的潜在价值和风险，并进行调查，以确定哪些人使用了暗数据的一部分. 从这里开始，基本的安全措施需要到位(例如.g., 访问控制, 加密, 日志记录, 监控)所使用的数据, 如果他们还没有. 那些执行数据挖掘的人, 使用一些非结构化数据的分析和其他应用程序在合法控制方面应该没有问题.
应该禁止访问所有其他非结构化数据. 这一步可能会激怒一些人, 但是一旦他们被确认为这些数据的用户, 他们可以获得他们需要的东西. 在一段可接受的时间后，比如一年，任何无人认领的数据都可能被丢弃.
有些人可能会认为彻底删除所有这些数据风险太大，因为，你永远不会知道. 有一种选择是将它们全部转储到某种便携式介质(我想到了磁带)，并将其存储在安全的地方. 这将是我的电子内阁，所以我有什么可反对的?
一旦不必要的暗数据被清除, 下一个需求是监控新的非结构化数据的流入, 以避免黑洞再次被填满. 对数据的任何意外使用都应被视为可疑. 请记住，合法用途之前已经确定. 有意制造一些诱人的暗数据可能是有道理的, 看看有谁会在里面打探.
实际上, 暗数据可能是我在前面几篇文章中提到的商业秘密的一个意想不到的后门.9, 10, 11 在我的下一篇专栏文章中，我将对保密的私人信息进行一些探讨.
尾注
1 卡特R.; “What Is Dark Data and How Can You Use It?“UC今日，2019年10月23日 http://www.uctoday.com/united-communications/what-is-dark-data-and-how-can-you-use-it/
2 我知道有一条神圣的惩罚法则规定在你扔掉任何闲置的东西的第二天, 你会需要它的. 这个定律是牛顿发现的. 或墨菲. 或草皮.
或某人.
3 有许多来源提供了这个数字. 我相信他们都引用了Splunk公司的一项优秀研究， 暗数据的现状，美国，2019,p. 3, http://www.splunk.com/en_us/form/the-state-of-dark-data.html.
我认为55%的估计是最准确的. 我还见过其他的，高达90%(约翰逊，H.; “Digging Up Dark Data: What Puts IBM at the Forefront of Insight Economy,“SiliconANGLE, 二零一五年十月三十日, http://siliconangle.com/2015/10/30/ibm-is-at-the-forefront-of-insight-economy-ibminsight/)，但只有Splunk的研究似乎是基于研究，而不是轶事.
4 真爱一世情,T.; “Dark Data Has Huge Potential, But Not If We Keep Ignoring It,” Splunk2019年4月30日 http://www.splunk.com/en_us/blog/leadership/dark-data-has-huge-potential-but-not-if-we-keep-ignoring-it.html
5 Louvrier L.; “The Rise of Machine Learning to Manage Dark Data,” Technative2019年8月2日 http://technative.io/the-rise-of-machine-learning-to-manage-dark-data/
6 沼泽,年代.; “Dark Data—The Blind Spots in Your Analytics,” iDashboards, 30 January 2019, http://www.idashboards.com/blog/2019/01/30/dark-data-the-blind-spots-in-your-analytics/
7 非结构化数据和暗数据有时会被混为一谈. 看，奥尔顿，L.; “Is There Value in Unstructured Data?ISACA Now, 2018年11月27日， http://5wb7.baileherculane.net/resources/news-and-trends/isaca-now-blog. 不幸的是，也有许多结构化数据被收集、归档和遗忘的情况. 在某些情况下，保留它们是出于遵守法规的原因. 在其他, 它们是在某个地方积灰的档案文件, 再也见不到天日了.
8 有几个例子可以说明这个问题:袋鼠，A.; “Defend Yourself Against Dark Data,” InfoSecurity,
2020年11月13日， http://www.infosecurity-magazine.com/opinions/defend-dark-data/; Peters, M.; “Dark Data Is Hurting Your Cyber Security,” Security Boulevard, 16 October 2019, http://securityboulevard.com/2019/10/dark-data-is-hurting-your-cyber-security/.
9 罗斯,年代.; “Secrecy and 隐私,” ISACA®杂志,卷. 1, 2021, http://5wb7.baileherculane.net/archives
10 罗斯,年代.; “Keeping Secrets,” ISACA杂志,卷. 2, 2021, http://5wb7.baileherculane.net/archives
11 罗斯,年代.; “Advanced Security for Secret Information,” ISACA杂志,卷. 3, 2021, http://5wb7.baileherculane.net/archives
Steven J. Ross, CISA, CDPSE, AFBCI, MBCP
是国际风险大师有限责任公司的执行负责人吗. 罗斯一直在写一本 杂志自1998年以来最受欢迎的专栏. 可以联系到他 stross@riskmastersintl.com.