当前位置:首页 > CN2资讯 > 正文内容

要做的题目-要用到hadoop资源

1天前CN2资讯


关于项目,我出两个练手题目:

一、多机数据处理。有 10 台机器,每台机器上保存着 10 亿个 64-bit 整数(不一定刚好 10 亿个,可能有上下几千万的浮动),一共约 100 亿个整数(其实一共也就 80GB 数据,不算大,选这个量级是考虑了 VPS 虚拟机的容量,便于实验)。编程求出:

1. 这些数的平均数。

2. 这些数的中位数。

3. 出现次数最多的 100 万个数。

*4. (附加题)对这 100 亿个整数排序,结果顺序存放到这 10 台机器上。

*5. (附加健壮性要求)你的程序应该能正确应对输入数据的各种分布(均匀、正态、Zipf)。

*6. (附加伸缩性要求)你的程序应该能平滑扩展到更多的机器,支持更大的数据量。比如 20 台机器、一共 200 亿个整数,或者 50 台机器、一共 500 亿个整数。

 

二、N-皇后问题的多机并行求解。利用多台机器求出 N-皇后问题有多少个解。(注意目前的世界纪录是 N = 26,A000170 - OEIS )

1. 8 皇后问题在单机上的运算时间是毫秒级,有 92 个解,编程实现之。

2. 研究 N-皇后问题的并行算法,写一个单机多线程程序,争取达到线性加速比(以 CPU 核数计)。再设法将算法扩展到多机并行。

3. 用 10 台 8 核的机器(一共 80 个 CPU cores),求解 19-皇后和 20-皇后问题,看看分别需要多少运行时间。你的方案能否平滑扩展到更多的机器?

*4. (附加题)如果这 10 台机器的型号不一,有 8 核也有 16 核,有旧 CPU也有更快的新 CPU,你该采用何种负载均衡策略,以求缩短求解问题的时间(至少比 plain round-robin 算法要好)?

 

其他内容,详见以下文章:

http://fpcfjf.blog.163.com/blog/static/55469793201681811258259/



    你可能想看:

    扫描二维码推送至手机访问。

    版权声明:本文由皇冠云发布,如需转载请注明出处。

    本文链接:https://www.idchg.com/info/31572.html

    分享给朋友:

    “要做的题目-要用到hadoop资源” 的相关文章

    Racknerd 圣何塞 VPS:高性能、低延迟的托管解决方案

    Racknerd 公司简介 Racknerd 是一家国际性的互联网托管服务提供商,成立于2019年。虽然相对年轻,但它在短时间内赢得了不少用户的信赖。公司提供多种托管解决方案,包括虚拟主机、分销主机服务、基于KVM虚拟化技术的VPS产品、独立服务器租赁以及数据中心托管服务。Racknerd 的全球业...

    AS4134是什么线路:深入解析中国电信的核心骨干网

    AS4134线路,大家也可以叫它163网络,这是中国电信的核心骨干网之一。聊到AS4134,首先让人想到的就是它在国内出海带宽上占据的重要地位。能够承载90%的电信业务负载,真的是一个不可小觑的网络。这条线路不仅是中国电信的主要骨干网,还成为了很多海外用户访问国内互联网资源的高性价比选择。我在租用香...

    PumpCloud VPS主机服务解析:注册、设置与价格一站式指南

    PumpCloud是一家自2015年成立以来便致力于提供高效主机服务的公司,让我来分享下其中的一些亮点。它主要在香港和台湾设有数据中心,专注于为用户提供动态VPS服务。相比于国内一些主机商,PumpCloud显得更国际化,主要通过其快速的网络连接和强大的服务基础设施吸引用户。虽然在行业中还算年轻,但...

    Rackdog:高性价比的独立服务器租赁和托管解决方案

    Rackdog是一家充满活力的基础设施即服务(IaaS)提供商,成立于2020年。作为互联网时代的重要角色,Rackdog专注于独立服务器出租和托管业务,拥有一系列丰富的服务。通过自己的设备和网络架构,Rackdog正在为客户提供优质的托管解决方案。 Rackdog的AS号是AS398465,拥有多...

    Hostwinds评测:全面解析优秀的网络托管服务

    Hostwinds概述 在了解Hostwinds之前,首先想分享一下我对这家公司的印象。Hostwinds成立于2010年,作为一家相对年轻的网络托管服务提供商,虽然起步不久,但它的发展速度却让我感到惊叹。起初,Hostwinds仅是一家提供基本虚拟主机服务的小公司,随着需求的不断增长,他们逐步扩展...

    如何在VPS上安装安卓模拟器并优化开发环境

    VPS,或虚拟专用服务器,是一种在物理服务器上划分出的虚拟服务器,它能为用户提供独立的操作系统和资源。简单来说,VPS就像一套高效且灵活的电脑系统,可以让我们在云端独立工作。通常情况下,VPS会通过虚拟化技术来实现多个独立环境,从而使用户可以安装任何他们需要的软件和应用。 VPS的几大构成因素包括:...