简介：许多朋友询问了有关大数据相关查询和步骤 - 步骤查询的哪些快速相关问题。本文的首席CTO笔记将为您提供详细的答案，以供所有人参考。我希望这对每个人都会有所帮助！让我们一起看看！
在查询中，存在子问题，连接，效率讨论
以下是SQL的帮助（高级查询优化的概念）
Microsoft?SQLServer?2000在内存中使用分类，在内存中使用分类，以执行排序，交叉点，联合，差异和其他操作。SQLServer使用此类型的查询计划来支持垂直表面分区，有时称为列存储。
SQL Server使用三种类型的连接操作：
嵌套循环连接
合并连接
哈希连接
如果一个连接输入很小（例如少于10行），并且另一个连接输入很大，并且在其连接上创建了一个索引，则索引循环是最快的连接操作，因为它们需要最少的I/O，最小的连接操作比较有关嵌套周期的更多信息，请参阅了解嵌套周期的连接。
如果两个连接输入并不小，但它们在两个连接上进行排序（例如，如果通过扫描排序索引获得它们，则合并连接是最快的连接操作。如果两个连接大，并且大小是这两个输入相似，预分类的合并连接与与哈希连接的连接相似。但是，如果两个输入的大小很大，则哈希连接操作通常要快得多。有关更多信息，请参见组合连接。。
哈希连接可以有效地处理大型，外的非索引输入。它们对于复杂查询的中间结果很有用，因为:::
中间结果未索引（除非已明确保存在磁盘上，然后创建索引），并且在生成时，通常在查询计划中的下一个操作中不正确地对其进行分类。
查询优化器仅估计中间结果的大小。由于估计值在复杂查询中可能存在较大的误差，如果中间结果比预期大得多，则处理中间结果的算法不仅必须有效，而且还必须是有效的中度削弱。
hachin连接减少了不合格的使用。少量化通常通过降低连接操作来获得更好的性能，尽管存在冗余危险（例如不一致的更新）。HachinConnection降低了使用的需求。哈希连接使垂直分区（单独的文件单独文件）或索引表示单个表中的几个组），以成为设计物理数据库的可行选择。有关更多信息，请参阅哈希连接。
1.如果MySQL表设计合理并且具有缓存和索引，那么它必须比检查程序更简洁，更有效。专业的事情允许专业工具执行，并且关系库是这样做的。
2.但是，不建议连接3个表上的查询（可以优化表设计，简化业务逻辑和使用程序步骤-By -step解析数据），SQL复杂代码不容易维护，并且当大量数量数据带来麻烦，考虑拆分表拆分表。或使用分布式框架
大数据是指在一定时间内无法捕获，管理和处理常规软件工具的数据集。
阿里巴巴的创始人Ma Yun来到台湾，发表讲话，即未来时代不是IT时代，而是DT时代。DT是数据技术数据技术，它表明大数据对阿里巴巴集团非常重要
扩展信息
大数据趋势
趋势1：数据资源
资源化是指大数据成为公司和社会的重要战略资源，它已成为每个人都急于的新重点。因此，企业必须提前制定大数据营销战略计划，以抓住市场机会。
趋势2：与云计算的深度组合
大数据与云处理密不可分。云处理为大数据提供了弹性和扩展的基础架构。它是生产大数据的平台之一。从2013年开始，大数据技术已经开始与云计算技术紧密相关，并且可以预计两者之间的关系将来会更加紧密。
此外，诸如物联网和移动互联网之类的新兴计算形式也将帮助大数据革命，从而使大数据营销产生更大的影响。
趋势III：科学理论的突破
随着大数据的快速发展，就像计算机和互联网一样，大数据可能是一轮技术革命。数据界的理论，并在科学技术方面取得突破。
参考数据来源：百度百科全书数据
如果数据量很小，则该设计不是很好，并且当然是快速的。如果数据量很大，则设计非常有意义。请注意多表连接中的数据和外部健康，以避免大量冗余数据会导致性能下降。我使用Oracle谈论数据查询的整个过程技术。
由于数据分布到数据块，可以将数据存储在大量数据设计中的多个数据块中。通过随机访问高并发过程，它可以有效地减少块冲突。这导致了Oracle获得的数据块的效率降低。在固定行长度的前提下，单个块可以存储更多的数据行，这意味着Oracle I/O可以读取更多和MOREMORE数据行。适合连续读取或存储大型对象数据（例如LOB数据），因为很大数据块可以存储更多的索引叶节点信息，并且很容易引起争议，因此大数据块不适合存储索引叶节点信息。
大量数据表的数据库参数db_file_multiblock_read_count指示最多可以在i/o读取操作的数据块的数量。此参数的默认值与操作系统不同（例如DSS）系统）使用大量扫描或索引完整表，建议设置更大的值。大多数操作系统不能按操作系统的大小超过1MB，这意味着该参数的最大值在8KB数据块的大小下为128。值得一提的是，此参数的大小也会影响Oracle CBO评估执行计划。如果将其设置为更大的值，Oracle的执行计划往往会扫描完整表格。当参数设置为0或保持默认值时，CBO假设在扫描整个表时最多可以连续读取8个数据块从Oracle 11R2，DB_FILE_MULTIBLOCK_READ_COUNT的值如下：如下：
db_file_multiblock_ream_count = min（1048576/db_block_size，db_cache_size/db_cache_size/
（会话 * db_block_size））
请注意，在设置后的数据库生命周期中，数据库参数block_size无法更改。
当执行选择语句时，如果在内存中找不到相应的数据，将从磁盘中读取并缓存到LRU的末端（冷端）。此过程称为物理阅读。当相应的数据已经在内存中时，它将以逻辑读取。我的物理阅读是磁盘读数，逻辑读数是内存读数；内存读取速度远比磁盘读取的速度要快得多。
在下面，我将设计我的大数据分区的屏幕截图，以参考研究。
首先发布乡镇小镇农场。
介绍
使用单个查询进行内部连接是有意义的，因为您只会获得匹配行。
对于左连接，多个查询要好得多。
数据说话
查看下面的基准测试：
5连接的单个查询
5行
请注意，我们在两种情况下有相同的结果（6 x 50 x 7 x 12 x 90 = 2268000）
综上所述
对于冗余数据，请在左侧使用更多内存。
如果仅执行两个表的连接，则内存限制可能不会那么糟糕，但是通常是三个或更多表，因此值得不同的查询。
在最后
您是否使用过Laravel？还记得雄辩的ORM模型吗？
我不知道我是否注意到Debug印刷的多表连接查询，
它们分为“单个表查询”，然后用PHP处理。
快乐的编码:-)
是否有必要分析是进行表连接查询还是分解查询。
如果数据库的结构是合理的并且索引的设计正确，则表连接的效率高于分解查询。例如，当有外部键时，数据库可以为外部键构建表格并建立一个表格提高多表连接查询效率的索引。此外，多表连接查询不需要将数据传输到应用程序并直接在数据库上执行，从而极大地提高了效率。
但是，多表连接存在一些缺点。多表连接对表面结构的依赖性非常高。只要表面结构发生变化，它将对数据库检索和应用程序处理产生很大的影响。此外，多表连接的兼容性不好，数据库有所不同。分散的数据库，实现多个表连接是很麻烦的。因此，一些支持各种数据库的大型系统或系统通常不使用多表连接，而是倾向于使用分解查询。
这取决于实际情况。通常，在此情况下，多表连接查询和多个单表查询的效率相似。如果数据量足够大，那么对于多个大公司，多数公司，多型公司必须更有效。表连接查询将被禁用。原因是，一旦数据量足够大，多表连接查询效率将非常慢，并且不利于片剂表的查询优化。然后查看以下示例。
比较两种查询方法
我在这里有一个数据库。用户表数据为310,000，该区域为3511。
1.使用系列查询成都的客户总数
2.使用多个单表查询客户总数
可以看出，查询的结果是相同的，但是第一种连续表中的第一个表查询为0.67秒，第二个多个单表可查询总共使用0.14秒。已经很明显了。
尽管这只是一个非常简单的示例，但比较结果非常明显。在实际应用程序和更多数据中可能更复杂。如果您仍然在查询中使用表，则非常慢，并且还会消耗服务器资源。
因此，许多公司清楚地要求使用加入查询。例如，Ali和Tencent清楚地规定了三个以上表或更多表的联接查询。
总而言之，单表查询的优点
1.多个单表查询，以提高缓存效率。
许多应用程序可以轻松缓存相应的结果对象。在此外，对于MySQL的查询缓存，如果协会中的表更改，则无法使用查询缓存。拆分后，如果表很少更改，则可以重复基于表的查询以重复该表的查询。使用查询缓存结果。
2.查询分解后，执行单个查询可以减少竞争。
3.应用程序层上的相关性更容易拆分数据库，并且更容易实现高性能和可扩展性。
4.查询本身的效率也可以提高。
5.可以减少冗余记录的查询。
6.在应用程序中，实现哈希关联，而不是使用MySQL的嵌套环关联。某些情况的效率具有更高的效率。
7.单个查询有利于后期的大量数据。如果询问联合查询，一旦库进行了划分，则需要更改原始的SQL。
8.许多大公司清楚地规定了JOIN被禁用，因为当数据量大时，查询确实非常慢。
因此，在少量数据的情况下，查询没有两种方式没有明显的差异。使用多表连接查询更为方便。但是，通常建议使用单个可置位查询来使用多表格的数据，或者在某些高含量和高性能应用程序中的数据，或者在某些高含量和高性能应用程序中的数据，以数亿，数百万甚至数亿个数据的数据，或者有数亿个数据的数据，或者是数亿个数据的数据，或者是数以千万万的数据，或者在某些高含量和高性能应用程序中使用单一的可疑查询。
如果您觉得愚蠢的猫答案很有用，请注意，非常感谢。
在ORM框架下进行Java，分解查询与面向对象的操作最为一致。
首先让我们谈谈结论：不一定。
当多表格查询效率较低时，您可以考虑将SQL拆分为多个小SQL。至于效率是否肯定会提高，这不一定是特定的问题。当多表格查询效率低时，将单个小型SQL分解成一个可能的想法。它不一定是不起作用。
SQL是一件非常复杂的事情。SQL Engine将分析执行计划，并可以根据他对最佳执行计划的考虑执行SQL，但他认为可能不正确。不同的SQL执行计划是不同的，因此很难确定SQL拆卸或合并。
说了太多了，它是多表的联合查询还是拆卸？是否有原则？！您需要这种能力来了解数据库，例如何时进行索引，何时嵌套循环等等。分析拆除的SQL执行计划，以查看是否避免了多表联合查询的效率。
简而言之，这个问题只能为您提供一个总体的想法，因为它涉及许多基本问题，我认为至少SQL执行计划应该需要理解。SQL可能有数十个可能执行的执行计划，而复杂的SQL执行计划就是这些组合。哪种效率很低，高效率应该具有一般性的理解。
多表查询可以快速或慢。这主要取决于执行计划。
单个单曲绝对是多表连接查询的高效率，但是单表查询的数量具有很高的吞吐量，并且很容易优化，例如拆分表，使用缓存来减少DB访问时间的数量，等等，因此，在高数据卷中，通常会使用高传流场景场景毫无用处查询方法。加上它是单个表还是多表连接查询，SQL的执行时间有很多要做的使用数据量和并发量，并且也与扫描的数据行有关。如果通常执行SQL，一次执行2秒钟，当10并发时，系统可能没有任何问题。当同时1,000同时，数据库可能会被拖到死亡。我们几次遇到了这种问题，只有数万数据的手表，因为忘记添加LED，通常只有几百毫秒，高峰期DB飙升至数十秒钟，几乎被拖下来。
在效率方面，Join's Watch并不多，并且Join更有效。但是它主要由数据库服务器的资源所占据。DatabaseResources再次是瓶颈，并且水平扩展并不容易。数据量很大，我们将使用单个表格查询来移动大量任务，例如循环和匹配到应用程序服务器。应用服务器易于扩展，最好支持并发。
当数据量达到或更多1000万或更多时，建议尽可能最大程度地减少加入以鼓励使用单表查询。查询优化更加容易。这次，大量的加入查询可能会采用很长一段时间，会导致其他查询阻塞，导致服务无法获得。
在考虑了单一的查询之后，将得出一系列策略，例如将热数据与历史数据分开，大大降低了数据水平以提高热数据查询性能，并可以使用内存缓存。这提示您考虑引入微服务。
总而言之，数据量很小，查询很小，因此连接的性能是可控的，开发成本较低。当数量上升到数千万级别并继续增加时，请考虑使用单个 - 切换 -桌面查询会尽快查询，否则性能下降可能会导致系统的崩溃。性能下降不是线性的，并且会陡峭地下降。
结论：以上是有关大数据关联查询和步骤查询的主要CTO注释的全部内容。我希望这对每个人都会有所帮助。如果您想了解有关此信息的更多信息，请记住要收集注意力以引起注意。