2010年，当时的Google首席执行官埃里克·施密特（Eric Schmidt）在阿布扎比举行的媒体活动中发表了一个非凡的声明：“有一天，我们进行了一次对话，我们认为我们可以[使用Google关于其用户的数据]来预测股市。然后我们认为这是非法的。因此，我们停止这样做”（Fortt 2010）。
记者约翰·巴特尔（John Battelle，2010年）将Google描述为“ [人类]意图的数据库”。Battelle注意到搜索查询进入了Google Express人类需求和欲望。通过存储所有这些查询（每年超过一万亿个查询）可以建立人类意图的数据库。然后，意图的知识使Google可以预测股票市场的运动（以及其他很多）。当然，Google和其他任何人都没有完整的人类意图数据库。但是，巴特尔（Battelle）短语的力量的一部分是，它暗示了这种愿望。Google联合创始人谢尔盖·布林（Sergey Brin）表示，搜索的最终未来是直接连接到用户的大脑（Arrington 2009）。如果您拥有真正包含所有人类意图的数据库，该怎么办？
人类意图的数据库是更大愿景的一小部分：一个包含世界所有知识的数据库。这个想法可以追溯到现代计算的早期，以及Arthur C. Clarke和H. G. Wells等人探索“世界大脑”的愿景（Wikipedia 2013）。最近发生了变化的是，少数技术公司从事认真的（尽管是早期）来构建数据库的努力，这些数据库确实包含了许多人类知识。例如，想想Facebook绘制了超过10亿人之间的社交联系的方式。或Wolfram研究的方式将有关数学以及自然和社会科学的大量知识纳入了Wolfram Alpha。或Google构建Google地图，有史以来最详细的世界地图和Google Books的努力，该图书渴望将所有书籍（以所有语言）数字化数字化（Taycher 2010）。建立一个包含世界所有知识的数据库已变得有利可图。
这些数据赋予了这些公司了解世界的巨大力量。考虑以下示例：Facebook首席执行官Mark Zuckerberg使用用户数据来预测哪些Facebook用户将启动关系（O’Neill 2010）；研究人员已使用来自Twitter的数据来预测电影的票房收入（Asur和Huberman 2010）；Google使用搜索数据来跟踪全球流感爆发（Ginsberg etal。2009）。这几个例子仅仅是冰山更大的尖端。使用正确的基础架构，可以将数据转换为知识，通常以令人惊讶的方式转换为知识。
这样的示例特别令人惊讶的是，可以轻松地进行此类项目。小型工程师团队有可能在几周内建立一项服务，例如Google流感趋势，Google流感趋势，Google的流感跟踪服务。但是，这种功能依赖于访问专业数据和理解该数据所需的工具。数据和工具的这种组合是一种数据基础架构，并且仅在少数组织（例如Google和Facebook）提供强大的数据基础架构。如果无法访问此类数据基础架构，即使是最有才华的程序员也会发现创建诸如Google流感趋势之类的项目极具挑战性。
今天，我们认为，仅在一些大型营利性公司1中提供强大的数据基础架构，以及NSA和GCHQ等秘密情报机构。但是在本文中，我探讨了创建类似强大的公共数据基础架构的可能性，这是世界上任何人都可以使用的基础架构。这将是群众的大数据。
想象一下，例如，一个在卫生机构的19岁实习生，在某个地方有一个诸如Google Flu趋势2的想法。他们可以使用公共数据基础架构快速测试他们的想法。或者想象一个21岁的本科生，对如何对搜索引擎进行排名有了新的想法。同样，他们可以使用公共数据基础架构快速测试他们的想法。或者，也许是一个想法的历史学家想了解如何随着时间的流逝而添加短语；或思想如何在特定群体中传播，并在他人内死亡；或新闻中特定类型的故事的吸引力，而其他故事则没有。同样，通过强大的公共数据基础架构可以很容易地完成这种事情。
这些实验是不免费的 - 跨包含数千台计算机的群集运行计算，需要将这些成本运送到进行实验的人们。但是，即使是新手程序员也应该为几十美元进行出色的实验，即使对于最有才华的程序员来说，今天几乎都是不可能的。
请注意，顺便说一句，当我说公共数据基础架构时，我不一定意味着政府运营的数据基础架构。重要的是，基础架构可供公众使用，作为发现和创新的平台，而不是实际上是公众拥有的。原则上，它可以由一个非营利组织，营利性公司，甚至可以由一个宽松的个人网络运营。在下面，我认为这种基础架构应该由非营利组织运行。
有许多新生项目来建立强大的公共数据基础架构。最著名的项目可能是维基百科。考虑一下Wikimedia基金会（经营Wikipedia）的愿景陈述：“想象一个世界，每个人都可以自由地分享所有知识的总和。那是我们的承诺。”Wikipedia的规模令人印象深刻，英语版本中有超过400万篇文章。Wikipedia数据库包含超过40 GB的数据。但是，尽管这听起来很巨大，但请考虑Google通常会以PB尺度与数据合作，这是一百万千兆字节！相比之下，维基百科很小。而且很容易看出为什么会有这种差异。与Google发现有用的有关世界的数据范围相比，Wikimedia基金会认为“所有知识的总和”非常狭窄 - 从书籍扫描到Google无人驾驶汽车生成的数据（每辆汽车都会产生几乎Gigabyte）每秒关于其环境！[Gross 2013]），因此Google正在创建一个更全面的知识数据库。
另一个奇妙的公共项目是OpenStreetMap，是一个非营利组织，正在努力创建全世界的免费且公开可编辑的地图。OpenStreetMap足够好，可以通过Wikipedia，Craigslist和Apple Maps等服务使用它们的数据。但是，尽管数据很好，但OpenStreetMap尚未与Google Maps提供的全面封面相匹配，Google Maps拥有1,000名全职员工和6,100个从事该项目的承包商（Carlson 2012）。OpenStreetMap数据库包含400 GB的数据。同样，尽管这是令人印象深刻的，但与Google和Facebook等公司经营的规模相比，这是微不足道的。
更一般而言，许多现有的公共项目，例如Wikipedia和OpenStreetMap正在生成可以使用现成软件在一台计算机上分析的数据。营利性公司的数据基础架构远远超出了这一规模。他们的计算机簇包含数亿或数百万计算机。他们使用巧妙的算法运行分布在这些群集上的计算。这不仅需要访问硬件，还需要专门的算法和工具，以及具有稀有（且昂贵的！）知识的杰出人物团队。回报是，这种更大的数据基础架构为他们提供了更大的理解和塑造世界的力量。如果人类目前正在构建全球所有知识的数据库，那么到目前为止，大部分工作都是在私人数据库上完成的。
我还没有说过“全世界知识的数据库”的意思。当然，这是一个令人回味的短语，而不是（现在！）对正在建造的内容的文字描述。即使是朝着这一目标取得最大进步的组织Google，在大多数方面都没有直接针对这个目标4。案例收集数据以构建有用的产品。然后，他们利用并整合已经创建其他产品的数据集。例如，他们将Android和Google地图组合在一起，以建立城市交通的实时地图，然后可以在Android手机上显示。Google搜索背后的数据已用于启动产品，例如Google News，Google Flu趋势以及（现已失败但著名的）Google Reader。因此，尽管Google的大部分努力实际上并非旨在构建全球所有知识的数据库，但这是考虑最终最终游戏的有用方式。
因此，从现在起，我将主要使用更通用的术语公共数据基础架构。在具体的情况下，日常术语可以从特定的项目中考虑到这一点。想象一下，例如，一个项目构建开放基础架构搜索引擎。如上所述，这将是一个平台，使世界上的任何人都可以尝试对搜索结果进行排名的新方法以及提供新的信息的新方法。或者想象一个建立开放基础设施社交网络的项目，世界上任何人都可以尝试新的方式与人联系。这些项目反过来将充当其他新服务的平台。谁知道人们会想出什么？
公共数据基础架构的短语可能表明了某个特殊组织的创造。但这不是我的意思。为了建立强大的公共数据基础架构，将需要组织的生态学，每个组织都为整个公共数据基础架构做出贡献。这些组织中的许多组织都很小，希望以新的方式进行创新，或者充当利基平台。一些优胜者将出现，这些组织以优越的方式整合和汇总大量数据的大型组织。因此，当我写创建公共数据基础架构时，我并不是在谈论创建一个组织。取而代之的是，我谈论的是组织的整个生态学生态，Wikipedia和OpenStreetMap等项目的生态只是早期的成员。
我将很快描述如何创建强大的公共数据基础架构，以及可能产生的影响。但是在这样做之前，让我明确指出，我的建议与开放数据的众多想法有很大不同。
许多人，包括网络的创建者蒂姆·伯纳斯·李（Tim Berners-Lee），都提倡在线发布数据。开放的数据有远见的人认为，我们可以通过发布这些领域的重要数据来改变政府，科学和法律等领域。
如果实现这一愿景，则成千上万或数百万的人和组织将在线发布其数据。
虽然开放数据将具有变革性，但与我的建议不同（尽管是互补）也不同。开放的数据视觉是关于分散数据的数据。这意味着在大多数情况下是关于小数据的。我所说的是大数据 - 将来自强大的集中数据基础架构中许多来源的数据汇总，然后使任何人都可以使用该基础架构。这在质上有所不同。换句话说，公开发布数据是第一步。但是，为了获得全部收益，我们需要从强大的公共数据基础架构中的许多来源汇总数据。
为什么应该由非营利组织开发公共数据基础架构
公共数据基础架构是由营利性公司或非营利组织建立的更好的？还是其他选择更好的选择 - 例如，政府创建它，或者可能没有传统的机构结构的贡献者网络松散组织？在本节中，我认为最好的选择是非营利组织。
让我们首先关注营利组织与非营利组织的情况。总的来说，我全都是将技术推向市场的营利性公司。但是，在公共数据基础架构的情况下，在某些特殊情况下，可以使非营利组织更加优惠。
要了解这些特殊情况，请回想一下1980年代末和1990年代初。那是计算机软件停滞不前的时期，这是一个增量进度的时期，但很少有大步飞跃。原因是微软对计算机操作系统的扼杀。每当公司发现一个新的软件市场时，Microsoft都会复制产品，然后使用对操作系统的控制来粉碎原始的创新者。这发生在电子表格Lotus 1-2-3（由Excel粉碎），文字处理器单词Perfect（由单词压碎）以及许多其他鲜为人知的程序。实际上，其他公司是微软的研发部门。随着这种模式逐渐变得清晰，结果减少了投资软件新想法的动力，以及十年左右的停滞。
当出现一个新的计算平台（Web浏览器）时，一切都改变了。微软无法利用其操作系统的优势来摧毁Google，Facebook和Amazon等公司。原因是这些公司的产品没有直接在微软的操作系统上运行，而是在网络上运行。微软最初在很大程度上忽略了网络，这种情况直到1995年5月发生了变化，当时比尔·盖茨（Bill Gates）发出了一份题为“互联网潮汐”的备忘录（Note Letter of Note of Note of Note of Note 2011）。但是到盖茨意识到网络的重要性时，停止潮汐为时已晚。微软随后进行了许多尝试控制网络标准的尝试，但是这些努力被诸如万维网联盟，Netscape，Mozilla和Google之类的组织击败。有效地，计算机行业从专有平台（Windows）转移到了不特别人拥有的开放平台（网络）。结果是软件创新的复兴。
教训是，当主要的技术平台是私人所有时，平台所有者可以选择使用该平台的公司发现的市场。我以微软为例，但是还有许多其他示例 - 诸如Apple，Facebook和Twitter之类的组合都使用了他们对重要技术平台的所有权以这种方式选择了新市场。如果出于公共利益而不是作为选择创新的一种方式，我们都会更好。幸运的是，这就是互联网和网络都发生的事情，这就是为什么这些平台对创新如此强大的刺激。
网络和互联网等平台有点特别，因为它们主要是标准。也就是说，它们是关于技术应如何运作的广泛共享协议。这些标准通常受到非营利组织（例如万维网联盟和互联网工程工作组）的管理。但是说标准是那些非营利组织拥有的，因为重要的是真正的社区对标准的承诺，这并没有意义。标准是关于拥有心灵，而不是原子。
相比之下，公共数据基础架构将是另一种技术平台。任何此类基础设施的任何部分都将涉及大量的资本成本，与拥有（或租赁）和运营大量计算机有关。由于这项资本投资，所有者确实是必要的。我们已经看到，如果公共数据基础架构由营利性公司拥有，那么这些公司将总是很想利用其所有权来选择创新。自然的替代解决方案是公共数据基础设施由非营利组织拥有和运营的公共数据基础设施，这些基础设施致力于不选择创新，而是鼓励其蓬勃发展。
政府提供公共数据基础设施呢？实际上，对于与政府直接相关的数据，这是通过诸如Data.gov之类的计划开始实现的成为一个好主意。技术创新需要许多人来尝试我们的许多不同的想法，最大的想法和最佳想法赢得了。这不是政府有效使用历史悠久的发展模式。话虽如此，诸如data.gov之类的计划将为公共数据基础架构做出非常重要的贡献。但是它们不会成为强大，广泛的公共数据基础架构的核心。
最终的可能性是，组织根本不开发公共数据基础架构，而是由一个无传统的机构结构的贡献者网络松散组织的网络。诸如OpenStreetMap之类的示例是在此方面。OpenStreetMap的核心确实具有传统的非营利性，但它很小，2012年的预算少于100,000英镑（OMS 2013）。大部分工作是由志愿者宽松的网络完成的。这是OpenStreetMap的绝佳模型，但其工作的部分原因是涉及的数据的相对较小。大数据涉及较大的组织（以及较大的预算），这是由于涉及的计算能力的规模以及提供可靠的服务，有效文档和支持所需的长期承诺。所有这些事情都意味着建立一个持久的组织。因此，尽管分布松散的模型可能是启动此类项目的好方法，但随着时间的流逝，它们将需要过渡到更传统的非营利模型。
非营利组织开发公共数据基础架构的挑战
非营利组织如何帮助开发这样的公共数据基础架构？
乍一看，一个令人鼓舞的信号是OpenSource软件的蓬勃发展的生态系统。ohloh 5，？一个网站索引开源项目，目前列出了60万个项目。Linux，Hadoop等开源项目通常是其地区的领导者。
鉴于这个开源软件的生态系统，令人困惑的是，公共数据基础架构相对较少。为什么世界上任何人都可以使用如此重要的代码，而数据基础架构则很少？
为了回答这个问题，它有助于考虑OpenSource软件的起源。开源项目通常以两种方式开始：（1）作为业余爱好项目（尽管经常在业余时间由专业程序员创建），例如Linux；或（2）作为营利性公司工作的副产品。通过单独查看这些情况，我们可以理解为什么开源软件越来越蓬勃发展，而不是公共数据基础架构。
首先，让我们考虑营利性公司创建的开源软件的动机。一个示例是Hadoop项目，该项目是由Yahoo创建的，是一种使在大量计算机群中运行程序更容易的一种方式。当营利性公司以这种方式开源项目时，这是因为他们不将拥有代码视为其竞争性业务优势的一部分。尽管对雅虎进行大型集群计算显然是必不可少的，但他们并没有试图将其用作与其他公司的优势。因此，对于雅虎，开源的Hadoop是有意义的，因此其他人和组织可以帮助他们改进代码。
相比之下，对于许多拥有自己数据的互联网公司而言，确实是核心业务优势，而且他们不太可能打开其数据基础架构。先验的事实说，这一定是这样。营利性可以尝试建立提供强大的公共数据基础架构的业务，并找到除拥有数据（很可能是物流和供应链管理中的优势）以外的其他竞争优势。但是我相信这没有发生，因为关闭数据是公司保持竞争优势的一种简单而自然的方式。投资者沃伦·巴菲特（Warren Buffet）描述了成功公司如何需要护城河，这是其他组织很难复制的竞争优势。对于Google和Facebook以及许多其他互联网公司而言，他们的内部数据基础架构是他们的护城河。
那业余项目呢？如果这样的Linux可以从业余爱好开始，那么为什么我们看不到更多的公共数据基础架构作为业余爱好项目的一部分开始呢？问题在于，创建数据基础架构比创建开源代码需要更大的承诺。业余爱好开源项目需要时间投入，但几乎没有直接支出的钱。可以在周末或晚上进行。正如我上面已经指出的那样，建立有效的数据基础架构需要时间，金钱和长期承诺，以提供可靠的服务，有效的文档和支持。要做这些事情，需要一个长期存在的组织。与开源相比，这是一个要大得多的入境障碍。
创建一个致力于开发公共数据基础架构的非营利性组织的健康，充满活力的生态需要什么？
这个问题太大了，无法在这样的简短文章中全面回答。但是，我将简要指出，通过资助非营利组织的传统机制发生了两个重大障碍：基金会，赠款机构和类似的慈善来源。
要了解第一个障碍，请考虑营利性公司Ludicorp的故事。2003年，卢迪科普（Ludicorp）发布了一个名为“ Neverending”的在线游戏。发布游戏后，Ludicorp添加了一项功能，供玩家互相交换照片。程序员很快注意到，人们正在登录游戏只是为了交换照片，而忽略了实际的游戏玩法。观察到这一点后，他们做出了大胆的决定。他们抛出了比赛，几周后重新启动了作为照片共享服务，他们将其命名为Flickr。Flickr继续成为第一个主要的在线照片共享应用程序，并最终被Yahoo收购。尽管自收购以来，Flickr就消失了，但它是世界上最受欢迎的网站之一。
这样的故事在技术界非常普遍，甚至还有这个现象的名字。企业家在发现其业务模型中的某些关键假设是错误的，他们需要尝试其他事情时，他们谈论了枢纽。企业家史蒂夫·布兰克（Steve Blank）是开发枢轴概念的人之一，他将一家初创公司的有影响力的定义设计为“旨在寻找可重复可重复可扩展的业务模型的组织”（Blank 2010）。当Ludicorp发现照片共享是一项可扩展的业务时，他们没有做出的游戏，他们做了正确的事情：他们很难旋转。
这种旋转模式对于试图为这些技术创建新技术和新市场的企业家来说是有意义的。真正的创新者不知道什么会起作用。他们发现什么将有效。因此，他们的最初计划几乎可以肯定是错误的，并且可能需要改变。
许多技术投资者都对该枢纽已理解和接受。预计甚至鼓励公司在寻找可扩展业务模型时通常会从根本上改变其使命。但是在非营利性世界中，这种变化是缩语。您能想象他们决定枢纽的资助者（例如，一些巨大的基础）告诉他们的资助者吗？也许他们已经决定不再与无家可归的青年一起工作，因为他们发现他们的技术对艺术界有很好的应用。这样的更改在年终报告中看起来并不好！然而，正如Flickr和类似公司背后的枢轴所表明的那样，这种灵活性对于开发新技术和新市场是一种巨大的援助（可以说是非常重要的）。
在公共数据基础设施上工作的非营利组织的资金的第二个障碍是越来越多的非营利性资金的风险规避性质。在营利性世界中，了解技术初创公司极为冒险。风险的估计有所不同，但典型的估计将初创企业的失败几率定为70％至80％（Gompers等，2008）。很少有基金会或赠款机构接受70％至80％的失败几率。考虑企业家史蒂夫·布兰克（Steve Blank）的创业传记，这是有益的。他直言不讳地指出，他的初创公司已经制作了“两个深陨石坑，几个“基本命中”，还有一个巨大的'Dot-com Bubble'本垒打”（Blank 2013）。也就是说，他有两个灾难性的失败，还有一个真正的成功。在营利性创业世界中，这可以吹嘘。在非营利性世界中，这种成功率将被视为灾难性的。确定非营利组织的成功的困难使情况更加复杂。这使得（可能）诱人（可能），平庸的非营利组织可以继续存在，继续存在，如果他们停止运营会更健康，并为更有效的组织提供了空间。
我已经尝试过的一种解决方案是针对基金会和赠款机构，以劝告申请人承担更多风险。问题在于，任何考虑服用这些风险的申请人都知道失败意味着他们将来仍然很难获得赠款，劝诫或不劝告。因此，进行低风险工作仍然更有意义。
解决此问题的一种可能解决方案是，非营利性资助者进行故障审核。假设大型基础的计划因失败而进行了审核，并且必须达到一定数量以上的失败率。如果一个基金会认真对待冒险，那么他们可以执行故意的高风险赠款计划，该计划必须实现至少70％的项目失败的目标目标。做得很好，需要仔细设计以避免陷阱。但是，如果实施得很好，结果将是一种非营利的文化，愿意冒险。据我所知，目前，没有大型资助者使用故障审核或任何类似的想法来鼓励真正的冒险。
我为公共数据基础架构（以及许多其他技术）的非营利资金提供了惨淡的图片。但这并不完全是黯淡的。Wikipedia和OpenStreetMap等项目已经找到了成功的方法，尽管没有开始传统资金。我很乐观，诸如此类的例子将有助于激发资助者采用更实验性和高风险的方法来资助技术创新，这种方法将加快强大的公共数据基础架构的发展。
大数据的两个期货
我们正处于历史上的过渡时刻。许多核心人类活动正在发生深刻的变化：我们寻求信息的方式；我们与人的联系方式；我们决定要去哪里以及想要与谁在一起的方式。我们做出这样的选择的方式越来越受到一些具有强大数据基础架构的技术公司的控制。技术可以改善我们的生活真是太棒了。但是我相信，如果更多的人能够影响我们的生活如何影响这些核心决定，我们会变得更好。
在本文中，我已经描述了两个可能的大数据未来。在一个将来，今天的趋势仍在继续。最好的数据基础设施将由一些大型公司私有，他们将其视为绘制人类知识的竞争优势。在另一个未来，我希望我们能创建的未来，世界上任何人都可以使用最好的数据基础架构，这是一个强大的实验，发现和创建新的，更好的生活方式的平台。
致谢
感谢Jen Dodd，Ilya Grigorik和Hassan Masum就这些想法进行了许多对话。
笔记
1实际上，许多公司（包括Google和Facebook在内）确实为局外人提供了对其内部数据的有限访问权限。例如，Facebook Platform（）是外部程序员将应用程序与Facebook集成的一种方式。诸如Google Maps之类的Google产品提供“打开API”（应用程序编程界面），该产品允许外部程序员在自己的应用程序中使用Google的地图。这种开放性是有价值的，但通常具有严格的限制，这使其与这些公司的程序员可用的基础架构的直接访问远不及直接访问。
2
3 org/＃map = 5/51.500/-0.100
4一个例外是Google知识图（），这确实是全球知识的数据库的开始。
5
参考
阿灵顿，迈克尔。
“ Google首席执行官埃里克·施密特（Eric Schmidt）关于搜索的未来：“将其直接连接到您的大脑。”技术紧缩，2009年9月3日。大脑/
Asur，Sitaram和Bernardo A. Huberman。
“通过社交媒体预测未来。”Arxiv，2010年3月29日。
巴特尔，约翰。
“意图数据库远大于我想象的。”约翰·巴特尔（John Battelle）的搜索博客（博客），2010年3月5日。
空白，史蒂夫。
“什么是初创公司？第一原则。”Steve Blank.com，2010年1月25日。
空白，史蒂夫。
“关于史蒂夫。”Steve Blank.com。（2013年9月9日访问）。
卡尔森，尼古拉斯。
“要在地图上做Google做的事情，苹果将不得不雇用7,000人。” Business Insider，2012年6月26日。
乔恩堡。
“来自埃里克·施密特（Eric Schmidt）在阿布扎比（Abu Dhabi）演讲的前5个时刻。”
CNN Money，2010年3月11日。
Ginsberg，Jeremy，Matthew H. Mohebbi，Rajan S. Patel，Lynnette Brammer，Mark S. Smolinski和Larry Brilliant。
“使用搜索引擎查询数据检测流感流行病”（字母）。大自然457
（2009年2月19日）。
Gompers，Paul A.，Anna Kovner，Josh Lerner和David S. Scharfstein。
“企业家精神的绩效持久性。”哈佛商学院。工作文件09-028。马萨诸塞州剑桥：哈佛大学，2008年。
毛，比尔。
“ Google的自动驾驶汽车每秒收集近1 GB。”Twitter，2013年4月13日。bill_gross/状态/
值得信。
“互联网潮汐。”注意信：应得的信件
2011年7月22日，更广泛的观众。
奥尼尔，尼克。
“ Facebook知道您的关系将在一周内结束。”Allfacebook（博客），2010年5月17日。
OMS（OpenStreetMap Foundation）。
“ 2012年财务/收入。”开放式街头地图基金会，2013年6月4日。
泰彻（Taycher），莱昂尼德（Leonid）。
“世界上的书籍，站起来并被计算在内！所有129,864,880人。”谷歌
书籍搜索（博客），2010年8月5日。
Wikipedia贡献者。
“世界大脑。”维基百科，免费百科全书。（2013年9月17日访问）。