做云计算模拟如何搭建物理平台

A. 云计算：请教大家一个问题。就是我的课题要求我搭建一个云服务平台，用hadoop。

可以说和你以前写的东西完全不一样，他用的是maprece的框架，你先把这个搞懂了，知道代码怎么改了，才有可能把你的系统放到上面。所以，最重要的是你用hadoop干什么？数据分析？处理？

B. 怎么做云计算做数据中心的平台有哪些

服务器稳定和性能来说,现在阿里云好点.腾讯云,网络云等性能也都差不多.但是没有阿里云的相关服务配套齐全.不过他们的价格相对较贵,最近我在用小鸟云便宜点,价格还是可观的.稳定性还可以，特别是它的高防云服务器，最近都在打折，SSD+DDR4，还免费送抗攻击容量，看你自己实际情况去选择了

C. 如何搭建云服务器

第一种是购买利用传统的物理服务器，通过虚拟化技术来进行搭建，属于硬件范畴。不过耗费的人力、物力和财力比较大，需要专业的技术团队，个人一般是很难实现的。

这种方式适合大型的企业，看重数据安全，希望建立自有的独立数据资源池，当然在业务稳定、连续、快速方面有很好的优势。

第二种是直接从IDC云服务商那里购买云服务器。这种方式更适合于中小型企业和个人站长，前期投入成本低，搭建简单，在服务器维护、数据安全等方面均有云服务商提供支持，自己无需配备专业技术团队。

企业选择云服务器一定是有优势的：

一、云计算降低了管理成本

企业进行云服务器租用，也许在前期的投入相对共享主机来说要高一点，但是在后期，企业对云平台的运维，云服务器的维护等方面会节约不少成本。企业的信息化管理更加高效便捷，节约技术和人力成本。

二、数据安全更有保障

企业云就是建立在云端的独属于企业的资源池，云主机基于庞大的云计算集群，当中的所有数据都是独立于其他资源池的，完美支持热迁移，用户的数据可以很好的被保护起来。

三、灵活扩展业务需求

“云”带给了企业IT应用更大的灵活性和移动性。使用云服务，企业可以拥有更灵活的选择，企业可以在任何时间并且花费很少的前提下，停止使用现在所不需要的东西。也可以在业务增加时，方便地扩展资源。

西部数码云服务器简单高效、处理能力可弹性伸缩，用户可根据不同需求，自由选择vCPU、内存、数据盘、带宽等配置，还可随时不停机升级带宽，1分钟内停机升级vCPU和内存， 支撑业务的持续发展。云服务器产品链接

D. 怎样搭建平台

亲身参与，作为主力完成了一个信息大数据分析平台。中间经历了很多问题，算是有些经验，因而作答。
整体而言，大数据平台从平台部署和数据分析过程可分为如下几步：
1、linux系统安装
一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。例如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。

2、分布式计算平台/组件安装
目前国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。
先说下使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）。2）开源组件一般免费，学习和维护相对方便。3）开源组件一般会持续更新，提供必要的更新服务‘当然还需要手动做更新操作’。4）因为代码开源，若出bug可自由对源码作修改维护。
再简略讲讲各组件的功能。分布式集群的资源管理器一般用Yarn，‘全名是Yet Another Resource Negotiator’。常用的分布式数据数据‘仓’库有Hive、Hbase。Hive可以用SQL查询‘但效率略低’，Hbase可以快速‘近实时’读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务，Yarn和Hbase需要它的支持。Impala是对hive的一个补充，可以实现高效的SQL查询。ElasticSearch是一个分布式的搜索引擎。针对分析，目前最火的是Spark‘此处忽略其他，如基础的MapRece 和 Flink’。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等库，可以满足几乎所有常见数据分析需求。
值得一提的是，上面提到的组件，如何将其有机结合起来，完成某个任务，不是一个简单的工作，可能会非常耗时。

3、数据导入
前面提到，数据导入的工具是Sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台‘一般主要导入到Hive，也可将数据导入到Hbase’。

4、数据分析
数据分析一般包括两个阶段：数据预处理和数据建模分析。
数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。
数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。

5、结果可视化及输出API
可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。在这里，要基于大数据平台做展示，会需要用到ElasticSearch和Hbase。Hbase提供快速‘ms级别’的行查找。 ElasticSearch可以实现列索引，提供快速列查找。
平台搭建主要问题：
1、稳定性 Stability
理论上来说，稳定性是分布式系统最大的优势，因为它可以通过多台机器做数据及程序运行备份以确保系统稳定。但也由于大数据平台部署于多台机器上，配置不合适，也可能成为最大的问题。 曾经遇到的一个问题是Hbase经常挂掉，主要原因是采购的硬盘质量较差。硬盘损坏有时会到导致Hbase同步出现问题，因而导致Hbase服务停止。由于硬盘质量较差，隔三差五会出现服务停止现象，耗费大量时间。结论：大数据平台相对于超算确实廉价，但是配置还是必须高于家用电脑的。

2、可扩展性 Scalability
如何快速扩展已有大数据平台，在其基础上扩充新的机器是云计算等领域应用的关键问题。在实际2B的应用中，有时需要增减机器来满足新的需求。如何在保留原有功能的情况下，快速扩充平台是实际应用中的常见问题。

上述是自己项目实践的总结。整个平台搭建过程耗时耗力，非一两个人可以完成。一个小团队要真正做到这些也需要耗费很长时间。

目前国内和国际上已有多家公司提供大数据平台搭建服务，国外有名的公司有Cloudera，Hortonworks，MapR等，国内也有华为、明略数据、星环等。另外有些公司如明略数据等还提供一体化的解决方案，寻求这些公司合作对 于入门级的大数据企业或没有大数据分析能力的企业来说是最好的解决途径。

对于一些本身体量较小或者目前数据量积累较少的公司，个人认为没有必要搭建这一套系统，暂时先租用AWS和阿里云就够了。对于数据量大，但数据分析需求较简单的公司，可以直接买Tableau，Splunk，HP Vertica，或者IBM DB2等软件或服务即可。

以上是我从事大数据以来的一些认识。管见所及，可能有所疏漏，欢迎补充。

E. 如何给企业搭建云服务平台，并分析云服务给企业带来哪些效益

企业要想在自己本来的业务之外再增加云服务项目，不管其经济目的是什么，企业开始搭建商业云之前，搭建云服务时，你的责任和那些规模更大的面向公众的云计算提供商是一样的；
包括数据存储在哪里，如何获得数据，还有任何安全或管理事项。这就要求你必须了解数据和元数据的物理地点，以及从源系统到承载云服务系统的集成路径。
选择最好的外部化和管理途径。这主要是指服务呈现的机制，包括具体使用什么样的技术。很多公司都提供API管理技术，既有软件形式的也有云计算形式。然而，更重要的是考虑这些服务在生产过程中要怎样管理，包括用户接入验证和防止服务饱和。服务管理技术可以解决这些问题。
云服务的好处

云计算能够为中小企业带来以下好处：

一、云计算降低了技术开发成本
大多数中小企业并没有庞大的IT预算开支，处理技术采购方面问题的精力也相当有限。我们需要将有限的资金用到真正需要的方面。这也中小企业的共同点。使用云计算服务，如icloud，比购买一般的物理硬件要便宜得多，那么中小企业就可以摆脱很多不必要的开支。
事实上，在icloud拥有的5GB的免费存储空间已经足够的存储相当一部分中小企业的工作文件备份了，这可以给他们带来巨大的成本效益益。
云计算到底可以为企业节 省多少钱呢？这是一个很难被量化的问题，但我可以大胆地猜测企业局部IT设备备，可以以每年数百甚至数千的数量增长。而使用云服务，这部分开支就节省了。

二、数据可以在任何地方被访问
“云”带给了更大的灵活性和移动性，使用云，可以让企业在一台机器上开始工作并且在另外一台机器上完成它。而这一切不受空间限制。并且，企业可以将数据访问扩展到多种设备 --台式机、笔记本电脑、平板电脑。
再举个简单的例子，使用Google Doc，企业可以随时、随地访问、编辑、删除工作文件。并且，通过发送电子邮件进行实时协作也可以大量节省编辑文件的时间。

三、灵活扩展IT需求
当你购买硬件和软件，你需要支付固定的费用，在这些软、硬件损坏之前你必需一直使用它。但，使用云服务，企业可以拥有更灵活的选择，企业可以在任何时间并且花费很少的前提下，停止使用你现在所不需要的东西。

四、云计算使企业经营变得更加轻松
在小企业中，你可能身兼数职，而大规模的IT部署需要一位管理员时刻保持在最佳状态。云服务可以在管理方面为企业提供高效计划。如，业务协作服务，可以轻易的判断它在IT方面是不是专家，从而帮助我节省更多的钱。

五、统一平台
中小企业中，可能运行多个设备。如，桌面是Mac的，笔记本电脑是戴尔公司出产的，和一个iPad平板电脑。在云服务平台中应用和硬件平台不直接关联，从而消除了同一程序的多个版本的软件需要。

F. 云计算平台是否能将多台服务器硬件资源整合为一台虚拟机

这么做不大可能实现，所谓网格计算是把数据切割成多个小部分给各个电脑进行运算，不是资源的整合。

两台搭成虚拟化，是独立的两台主机，分别用于建立虚拟机，两个主机之间可以实现互为冗余，提高安全性，至于从一台主机化割给另一台，似乎不能实现。

G. 如何做好云计算平台管理技术

云管理平台最重要的两个特质在于管理云资源和提供云服务。即通过构建基础架构资源池（IaaS）、搭建企业级应用/开发/数据平台（PaaS），以及通过SOA架构整合服务（SaaS）来实现全服务周期的一站式服务，构建多层级、全方位的云资源管理体系。
选择云计算管理平台的四种考量:
1. 是否可以保障系统的稳定性、可靠性和安全性。这是IT决策者在选择云管理平台时最重要的衡量标准之一。
2. 是否可以和现在的虚拟化平台兼容。采用现有的虚拟化供应商升级云计算，不失为一种选择，但是考虑到成本以及供应商锁定的问题，也可以选择一种可以兼容现有虚拟化基础的云计算管理平台。
3. 是否有完整的生命周期管理。现在虚拟机泛滥的问题很普通，导致IT管理者不清楚哪些应用在哪些虚拟机上、无法及时回收资源等等问题，多数应用不能按照不同需求定义虚拟机的服务等级。
4. 是否便于管理。云计算的一个重要的优势是减少IT管理成本。

H. 云计算平台要如何搭建

云计算平台也称为云平台。云计算平台可以划分为3类：以数据存储为主的存储型云平台，以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。 （1）微软技术特性：整合其所用软件及数据服务核心技术：大型应用软件开发技术企业服务：Azure平台开发语言：.NET （2）Google技术特性：储存及运算水平扩充能力核心技术：平行分散技术MapRece，BigTable，GFS企业服务：Google AppEngine，应用代管服务开发语言：Python，Java （3）IBM技术特性：整合其所有软件及硬件服务核心技术：网格技术，分布式存储，动态负载企业服务：虚拟资源池提供，企业云计算整合方案 （4）Oracle技术特性：软硬件弹性虚拟平台核心技术：Oracle的数据存储技术，Sun开源技术企业服务：EC2上的Oracle数据库，OracleVM，Sun xVM （5）Amazon技术特性：弹性虚拟平台核心技术：虚拟化技术Xen企业服务：EC2、S3，SimpleDB、SQS开发语言： （6）Saleforce技术特性：弹性可定制商务软件核心技术：应用平台整合技术企业服务：Force. com服务开发语言：Java，APEX （7）旺田云服务技术特性：按需求可定制平台化软件核心技术：应用平台整合技术企业服务：netfarmer 服务提供不同行业信息化平台开发语言：Deluge（Data Enriched Language for the Universal Grid Environment） （8）EMC技术特性：信息存储系统及虚拟化技术核心技术：Vmware的虚拟化技术，一流存储技术企业服务：Atoms云存储系统，私有云解决方案 （9）阿里巴巴技术特性：弹性可定制商务软件核心技术：应用平台整合技术企业服务：软件互联平台，云电子商务平台 （10）中国移动技术特性：坚实的网络技术丰富的带宽资源核心技术：底层集群部署技术，资源池虚拟技术，网络相关技术企业服务：BigCloude-大云平台平台架构 首先：显示层，多数据中心云计算架构这层主要是用于以友好的方式展现用户所需的内容，并会利用到下面中间件层提供的多种服务，主要有五种技术：HTML：标准的Web页面技术，2013年前主要以HTML4为主，但是将要推出的HTML5会在很多方面推动Web页面的发展，比如视频[1]和本地存储等方面。JavaScript：一种用于Web页面的动态语言，通过JavaScript，能够极大地丰富Web页面的功能。CSS：主要用于控制Web页面的外观，而且能使页面的内容与其表现形式之间进行优雅地分离。Flash：业界最常用的RIA(Rich Internet Applications)技术，能够在现阶段提供HTML等技术所无法提供的基于Web的富应用，而且在用户体验[3]方面，非常不错。Silverlight：来自业界巨擎微软[4]的RIA技术，虽然其2013年前的市场占有率稍逊于Flash，但由于其可以使用C#[5]来进行编程，所以对开发者非常友好。 其次：中间层这层是承上启下的，它在下面的基础设施层所提供资源的基础上提供了多种服务，比如缓存服务和REST服务等，而且这些服务即可用于支撑显示层，也可以直接让户调用，并主要有五种技术；REST：通过REST技术，能够非常方便和优雅地将中间件层所支撑的部分服务提供给调用者。多租户：就是能让一个单独的应用实例可以为多个组织服务，而且保持良好的隔离性和安全性，并且通过这种技术，能有效地降低应用的购置和维护成本。并行处理：为了处理海量的数据，需要利用庞大的X86集群进行规模巨大的并行处理，Google的MapRece是这方面的代表之作。应用服务器：在原有的应用服务器的基础上为云计算做了一定程度的优化，比如用于Google App Engine的Jetty应用服务器。分布式缓存：通过分布式缓存技术，不仅能有效地降低对后台服务器的压力，而且还能加快相应的反应速度，最着名的分布式缓存例子莫过于Memcached。

I. 如何搭建一个小型的云计算平台

在计算机上构建私搭建小型云平台的步骤如下：

1、首先，网络直接搜索“私有云企业网络盘”或“云盒子”，进入官网一键下载windows服务器安装包。

J. 什么是云计算云平台典型物理架构如何

简单来说就是把每一个电脑多余的计算力积累起来，
（就是说把一台电脑分为两部分，一部分，电脑的主人用，多余的部分云平台用）

变成一个虚拟的超级电脑，
云平台就是把客户端提出的，100000个小问题进行分配给100000+的电脑
让每一个电脑处理一个，得出答案后，把答案传到云平台，
而你对云平台提出的大小等于若干个小问题，的大问题，
就通过这种分工进行快速解决，然后云平台把得到的答案回答你