信息检索第8章-并行以及分布式信息检索

《信息检索第8章-并行以及分布式信息检索》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第八章并行与分布式信息检索§8.1.并行计算§828.2.分布式系统§8.3.并行检索§8.4.分布式检索§858.5.索引分割§8.6.并行与分布式检索§8.1.并行计算并行计算：用多个处理器去求解单个问题，把单个大问题分解成若干“部分”,每个“部分”采用单个处理器去解决并行计算通过“以成本换时间”的方式来减少求解问题的总时间。总时间取决于时间最长的那个“部分”问题的求解通过并行计算，系统具有较好的可伸缩性§8.1.并行计算并行体系结构：可以将多处理器进行不同组合构成并行体系结构。按照指令(It(Instruction)流和数据(Dt)(

2、Data)流的数目，Flynn将并行体系结构分成四类：SISD：单指令流单数据流，如传统的冯.诺依曼计算机SIMD：单指令流多数据流，N个处理器，N个数据流，但是多个处理器执行相同的操作。§8.1.并行计算MISD：多指令流单数据流，N个处理器处理共享内存中的单数据流，每个处理器的操作不同，目前MISD结构已经非常少见。MIMD：多指令流多数据流，N个处理器，N个数据流，每个处理器处理自己的操作。多处理器可以处理不同任务或者协同处理单个任务。MIMD是目前最通用和最流行的一类并行体系结构。处理器之间交互(通信)频繁的MIMD系统称为紧耦合系统，反之称为松

3、耦合系统。§8.1.并行计算SISD：结构只有一个处理器，执行一个单一指令流，操作单一存储器上的数据。对应冯.诺依曼结构§8.1.并行计算SIMD：多个处理执行相同的指令，多个数据流§8.1.并行计算MISD：多指令流单数据流，N个处理器处理共享内存中的单数据流，每个处理器的操作不同，目前MISD结构已经非常少见。§8.1.并行计算MIMD：多指令流多数据流，N个处理器，N个数据流，每个处理器处理自己的操作。多处理器可以处理不同任务或者协同处理单个任务。第八章并行与分布式信息检索§8.1.并行计算§828.2.分布式系统§8.3.并行检索§8.

4、4.分布式检索§858.5.索引分割§8.6.并行与分布式检索§8.2.分布式系统Adistributedsyypstemisoneinwhichcomponentslocatedatnetworkedcomputerscommunicateandcoordinatetheiractionsonlybypassingmessagescoordinatetheiractionsonlybypassingmessages分布式计算：通过局域网或者广域网将多台计算机连接起来，协同处理一个问题。分布式结构可以看成MIMD并行结构的一个松耦合特例。分布式计算程

5、序是粗粒度的(计算量大通信少)，而并行计算程序是细粒度的(计算量小通信大)。所谓“大小”都只具相对意义。§8.2.分布式系统系统拥有多种通用的物理和逻辑资源，可以动态的分配任务，分散的物理和逻辑资源通过计算机网络实现信息交换。系统中存在一个以全局的方式管理计算机资源的分布式操作系统。分布式系统只有一个模型或范型。在操作系统之上有一层软件中间件(()Middleware)负责实现这个模型。万维网(WorldWideWeb)是分布式系统，在WWW中，所有一切看起来好像是一个文档(Web页面)一样。§8.2.分布式系统在计算机网络中，不存在这种统一性、模模以型以

6、及及其中的软件。用户看到的是实际的机器，计算机网络并没有使这些机器看起来是统一的。如果这些机器有不同的硬件或者不同的操作系统，这些差异是完全可见的。如果希望在一台远程机器上运行一个程序，必须登陆到远程机器上，在那台机器上运行该程序。多数分布式系统是建立在计算机网络之上的，所以分布式系统与计算机网络在物理结构上是基本相同的。§8.2.分布式系统区别在于：分布式操作系统的设计思想和网络操作系统是不同的，这决定了他们在结构、工作方式和功能上也不同。网络操作系统要求网络用户在使用网络资源时首先必须了解网络资源，网络用户必须知道网络中各个计算机的功能与配置、软件资源、

7、网络文件结构等情况，在网络中如果用户要读一个共享文件时，用户必须知道这个文件放在哪一台计算机的哪一个目录下。§8.2.分布式系统分布式操作系统是以全局方式管理系统资源的,可以为用户任意调度网络资源，并且调度过程是“透明”的。当用户提交一个作业时，分布式操作系统能够根据需要在系统中选择最合适的处理器，将用户的作业提交到该处理程序，在处理器完成作业后，将结果传给用户。在这个过程中，用户并不会意识到有多个处理器的存在，这个系统就像是一个处理器一样。§8.2.分布式系统分布式日志收集系统：FacebookScribe在facebook内部已经得到大量的应用。Sc

8、ribe是基于一个使用非