做雲計算模擬如何搭建物理平台

A. 雲計算：請教大家一個問題。就是我的課題要求我搭建一個雲服務平台，用hadoop。

可以說和你以前寫的東西完全不一樣，他用的是maprece的框架，你先把這個搞懂了，知道代碼怎麼改了，才有可能把你的系統放到上面。所以，最重要的是你用hadoop干什麼？數據分析？處理？

B. 怎麼做雲計算做數據中心的平台有哪些

伺服器穩定和性能來說,現在阿里雲好點.騰訊雲,網路雲等性能也都差不多.但是沒有阿里雲的相關服務配套齊全.不過他們的價格相對較貴,最近我在用小鳥雲便宜點,價格還是可觀的.穩定性還可以，特別是它的高防雲伺服器，最近都在打折，SSD+DDR4，還免費送抗攻擊容量，看你自己實際情況去選擇了

C. 如何搭建雲伺服器

第一種是購買利用傳統的物理伺服器，通過虛擬化技術來進行搭建，屬於硬體范疇。不過耗費的人力、物力和財力比較大，需要專業的技術團隊，個人一般是很難實現的。

這種方式適合大型的企業，看重數據安全，希望建立自有的獨立數據資源池，當然在業務穩定、連續、快速方面有很好的優勢。

第二種是直接從IDC雲服務商那裡購買雲伺服器。這種方式更適合於中小型企業和個人站長，前期投入成本低，搭建簡單，在伺服器維護、數據安全等方面均有雲服務商提供支持，自己無需配備專業技術團隊。

企業選擇雲伺服器一定是有優勢的：

一、雲計算降低了管理成本

企業進行雲伺服器租用，也許在前期的投入相對共享主機來說要高一點，但是在後期，企業對雲平台的運維，雲伺服器的維護等方面會節約不少成本。企業的信息化管理更加高效便捷，節約技術和人力成本。

二、數據安全更有保障

企業雲就是建立在雲端的獨屬於企業的資源池，雲主機基於龐大的雲計算集群，當中的所有數據都是獨立於其他資源池的，完美支持熱遷移，用戶的數據可以很好的被保護起來。

三、靈活擴展業務需求

「雲」帶給了企業IT應用更大的靈活性和移動性。使用雲服務，企業可以擁有更靈活的選擇，企業可以在任何時間並且花費很少的前提下，停止使用現在所不需要的東西。也可以在業務增加時，方便地擴展資源。

西部數碼雲伺服器簡單高效、處理能力可彈性伸縮，用戶可根據不同需求，自由選擇vCPU、內存、數據盤、帶寬等配置，還可隨時不停機升級帶寬，1分鍾內停機升級vCPU和內存， 支撐業務的持續發展。雲伺服器產品鏈接

D. 怎樣搭建平台

親身參與，作為主力完成了一個信息大數據分析平台。中間經歷了很多問題，算是有些經驗，因而作答。
整體而言，大數據平台從平台部署和數據分析過程可分為如下幾步：
1、linux系統安裝
一般使用開源版的Redhat系統--CentOS作為底層平台。為了提供穩定的硬體基礎，在給硬碟做RAID和掛載數據存儲節點的時，需要按情況配置。例如，可以選擇給HDFS的namenode做RAID2以提高其穩定性，將數據存儲與操作系統分別放置在不同硬碟上，以確保操作系統的正常運行。

2、分布式計算平台/組件安裝
目前國內外的分布式系統的大多使用的是Hadoop系列開源系統。Hadoop的核心是HDFS，一個分布式的文件系統。在其基礎上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。
先說下使用開源組件的優點：1）使用者眾多，很多bug可以在網上找的答案（這往往是開發中最耗時的地方）。2）開源組件一般免費，學習和維護相對方便。3）開源組件一般會持續更新，提供必要的更新服務『當然還需要手動做更新操作』。4）因為代碼開源，若出bug可自由對源碼作修改維護。
再簡略講講各組件的功能。分布式集群的資源管理器一般用Yarn，『全名是Yet Another Resource Negotiator』。常用的分布式數據數據『倉』庫有Hive、Hbase。Hive可以用SQL查詢『但效率略低』，Hbase可以快速『近實時』讀取行。外部資料庫導入導出需要用到Sqoop。Sqoop將數據從Oracle、MySQL等傳統資料庫導入Hive或Hbase。Zookeeper是提供數據同步服務，Yarn和Hbase需要它的支持。Impala是對hive的一個補充，可以實現高效的SQL查詢。ElasticSearch是一個分布式的搜索引擎。針對分析，目前最火的是Spark『此處忽略其他，如基礎的MapRece 和 Flink』。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等庫，可以滿足幾乎所有常見數據分析需求。
值得一提的是，上面提到的組件，如何將其有機結合起來，完成某個任務，不是一個簡單的工作，可能會非常耗時。

3、數據導入
前面提到，數據導入的工具是Sqoop。用它可以將數據從文件或者傳統資料庫導入到分布式平台『一般主要導入到Hive，也可將數據導入到Hbase』。

4、數據分析
數據分析一般包括兩個階段：數據預處理和數據建模分析。
數據預處理是為後面的建模分析做准備，主要工作時從海量數據中提取可用特徵，建立大寬表。這個過程可能會用到Hive SQL，Spark QL和Impala。
數據建模分析是針對預處理提取的特徵/數據建模，得到想要的結果。如前面所提到的，這一塊最好用的是Spark。常用的機器學習演算法，如樸素貝葉斯、邏輯回歸、決策樹、神經網路、TFIDF、協同過濾等，都已經在ML lib裡面，調用比較方便。

5、結果可視化及輸出API
可視化一般式對結果或部分原始數據做展示。一般有兩種情況，行數據展示，和列查找展示。在這里，要基於大數據平台做展示，會需要用到ElasticSearch和Hbase。Hbase提供快速『ms級別』的行查找。 ElasticSearch可以實現列索引，提供快速列查找。
平台搭建主要問題：
1、穩定性 Stability
理論上來說，穩定性是分布式系統最大的優勢，因為它可以通過多台機器做數據及程序運行備份以確保系統穩定。但也由於大數據平台部署於多台機器上，配置不合適，也可能成為最大的問題。 曾經遇到的一個問題是Hbase經常掛掉，主要原因是采購的硬碟質量較差。硬碟損壞有時會到導致Hbase同步出現問題，因而導致Hbase服務停止。由於硬碟質量較差，隔三差五會出現服務停止現象，耗費大量時間。結論：大數據平台相對於超算確實廉價，但是配置還是必須高於家用電腦的。

2、可擴展性 Scalability
如何快速擴展已有大數據平台，在其基礎上擴充新的機器是雲計算等領域應用的關鍵問題。在實際2B的應用中，有時需要增減機器來滿足新的需求。如何在保留原有功能的情況下，快速擴充平台是實際應用中的常見問題。

上述是自己項目實踐的總結。整個平台搭建過程耗時耗力，非一兩個人可以完成。一個小團隊要真正做到這些也需要耗費很長時間。

目前國內和國際上已有多家公司提供大數據平台搭建服務，國外有名的公司有Cloudera，Hortonworks，MapR等，國內也有華為、明略數據、星環等。另外有些公司如明略數據等還提供一體化的解決方案，尋求這些公司合作對 於入門級的大數據企業或沒有大數據分析能力的企業來說是最好的解決途徑。

對於一些本身體量較小或者目前數據量積累較少的公司，個人認為沒有必要搭建這一套系統，暫時先租用AWS和阿里雲就夠了。對於數據量大，但數據分析需求較簡單的公司，可以直接買Tableau，Splunk，HP Vertica，或者IBM DB2等軟體或服務即可。

以上是我從事大數據以來的一些認識。管見所及，可能有所疏漏，歡迎補充。

E. 如何給企業搭建雲服務平台，並分析雲服務給企業帶來哪些效益

企業要想在自己本來的業務之外再增加雲服務項目，不管其經濟目的是什麼，企業開始搭建商業雲之前，搭建雲服務時，你的責任和那些規模更大的面向公眾的雲計算提供商是一樣的；
包括數據存儲在哪裡，如何獲得數據，還有任何安全或管理事項。這就要求你必須了解數據和元數據的物理地點，以及從源系統到承載雲服務系統的集成路徑。
選擇最好的外部化和管理途徑。這主要是指服務呈現的機制，包括具體使用什麼樣的技術。很多公司都提供API管理技術，既有軟體形式的也有雲計算形式。然而，更重要的是考慮這些服務在生產過程中要怎樣管理，包括用戶接入驗證和防止服務飽和。服務管理技術可以解決這些問題。
雲服務的好處

雲計算能夠為中小企業帶來以下好處：

一、雲計算降低了技術開發成本
大多數中小企業並沒有龐大的IT預算開支，處理技術采購方面問題的精力也相當有限。我們需要將有限的資金用到真正需要的方面。這也中小企業的共同點。使用雲計算服務，如icloud，比購買一般的物理硬體要便宜得多，那麼中小企業就可以擺脫很多不必要的開支。
事實上，在icloud擁有的5GB的免費存儲空間已經足夠的存儲相當一部分中小企業的工作文件備份了，這可以給他們帶來巨大的成本效益益。
雲計算到底可以為企業節 省多少錢呢？這是一個很難被量化的問題，但我可以大膽地猜測企業局部IT設備備，可以以每年數百甚至數千的數量增長。而使用雲服務，這部分開支就節省了。

二、數據可以在任何地方被訪問
「雲」帶給了更大的靈活性和移動性，使用雲，可以讓企業在一台機器上開始工作並且在另外一台機器上完成它。而這一切不受空間限制。並且，企業可以將數據訪問擴展到多種設備 --台式機、筆記本電腦、平板電腦。
再舉個簡單的例子，使用Google Doc，企業可以隨時、隨地訪問、編輯、刪除工作文件。並且，通過發送電子郵件進行實時協作也可以大量節省編輯文件的時間。

三、靈活擴展IT需求
當你購買硬體和軟體，你需要支付固定的費用，在這些軟、硬體損壞之前你必需一直使用它。但，使用雲服務，企業可以擁有更靈活的選擇，企業可以在任何時間並且花費很少的前提下，停止使用你現在所不需要的東西。

四、雲計算使企業經營變得更加輕松
在小企業中，你可能身兼數職，而大規模的IT部署需要一位管理員時刻保持在最佳狀態。雲服務可以在管理方面為企業提供高效計劃。如，業務協作服務，可以輕易的判斷它在IT方面是不是專家，從而幫助我節省更多的錢。

五、統一平台
中小企業中，可能運行多個設備。如，桌面是Mac的，筆記本電腦是戴爾公司出產的，和一個iPad平板電腦。在雲服務平台中應用和硬體平台不直接關聯，從而消除了同一程序的多個版本的軟體需要。

F. 雲計算平台是否能將多台伺服器硬體資源整合為一台虛擬機

這么做不大可能實現，所謂網格計算是把數據切割成多個小部分給各個電腦進行運算，不是資源的整合。

兩台搭成虛擬化，是獨立的兩台主機，分別用於建立虛擬機，兩個主機之間可以實現互為冗餘，提高安全性，至於從一台主機化割給另一台，似乎不能實現。

G. 如何做好雲計算平台管理技術

雲管理平台最重要的兩個特質在於管理雲資源和提供雲服務。即通過構建基礎架構資源池（IaaS）、搭建企業級應用/開發/數據平台（PaaS），以及通過SOA架構整合服務（SaaS）來實現全服務周期的一站式服務，構建多層級、全方位的雲資源管理體系。
選擇雲計算管理平台的四種考量:
1. 是否可以保障系統的穩定性、可靠性和安全性。這是IT決策者在選擇雲管理平台時最重要的衡量標准之一。
2. 是否可以和現在的虛擬化平台兼容。採用現有的虛擬化供應商升級雲計算，不失為一種選擇，但是考慮到成本以及供應商鎖定的問題，也可以選擇一種可以兼容現有虛擬化基礎的雲計算管理平台。
3. 是否有完整的生命周期管理。現在虛擬機泛濫的問題很普通，導致IT管理者不清楚哪些應用在哪些虛擬機上、無法及時回收資源等等問題，多數應用不能按照不同需求定義虛擬機的服務等級。
4. 是否便於管理。雲計算的一個重要的優勢是減少IT管理成本。

H. 雲計算平台要如何搭建

雲計算平台也稱為雲平台。雲計算平台可以劃分為3類：以數據存儲為主的存儲型雲平台，以數據處理為主的計算型雲平台以及計算和數據存儲處理兼顧的綜合雲計算平台。 （1）微軟技術特性：整合其所用軟體及數據服務核心技術：大型應用軟體開發技術企業服務：Azure平台開發語言：.NET （2）Google技術特性：儲存及運算水平擴充能力核心技術：平行分散技術MapRece，BigTable，GFS企業服務：Google AppEngine，應用代管服務開發語言：Python，Java （3）IBM技術特性：整合其所有軟體及硬體服務核心技術：網格技術，分布式存儲，動態負載企業服務：虛擬資源池提供，企業雲計算整合方案 （4）Oracle技術特性：軟硬體彈性虛擬平台核心技術：Oracle的數據存儲技術，Sun開源技術企業服務：EC2上的Oracle資料庫，OracleVM，Sun xVM （5）Amazon技術特性：彈性虛擬平台核心技術：虛擬化技術Xen企業服務：EC2、S3，SimpleDB、SQS開發語言： （6）Saleforce技術特性：彈性可定製商務軟體核心技術：應用平台整合技術企業服務：Force. com服務開發語言：Java，APEX （7）旺田雲服務技術特性：按需求可定製平台化軟體核心技術：應用平台整合技術企業服務：netfarmer 服務提供不同行業信息化平台開發語言：Deluge（Data Enriched Language for the Universal Grid Environment） （8）EMC技術特性：信息存儲系統及虛擬化技術核心技術：Vmware的虛擬化技術，一流存儲技術企業服務：Atoms雲存儲系統，私有雲解決方案 （9）阿里巴巴技術特性：彈性可定製商務軟體核心技術：應用平台整合技術企業服務：軟體互聯平台，雲電子商務平台 （10）中國移動技術特性：堅實的網路技術豐富的帶寬資源核心技術：底層集群部署技術，資源池虛擬技術，網路相關技術企業服務：BigCloude-大雲平台平台架構 首先：顯示層，多數據中心雲計算架構這層主要是用於以友好的方式展現用戶所需的內容，並會利用到下面中間件層提供的多種服務，主要有五種技術：HTML：標準的Web頁面技術，2013年前主要以HTML4為主，但是將要推出的HTML5會在很多方面推動Web頁面的發展，比如視頻[1]和本地存儲等方面。JavaScript：一種用於Web頁面的動態語言，通過JavaScript，能夠極大地豐富Web頁面的功能。CSS：主要用於控制Web頁面的外觀，而且能使頁面的內容與其表現形式之間進行優雅地分離。Flash：業界最常用的RIA(Rich Internet Applications)技術，能夠在現階段提供HTML等技術所無法提供的基於Web的富應用，而且在用戶體驗[3]方面，非常不錯。Silverlight：來自業界巨擎微軟[4]的RIA技術，雖然其2013年前的市場佔有率稍遜於Flash，但由於其可以使用C#[5]來進行編程，所以對開發者非常友好。 其次：中間層這層是承上啟下的，它在下面的基礎設施層所提供資源的基礎上提供了多種服務，比如緩存服務和REST服務等，而且這些服務即可用於支撐顯示層，也可以直接讓戶調用，並主要有五種技術；REST：通過REST技術，能夠非常方便和優雅地將中間件層所支撐的部分服務提供給調用者。多租戶：就是能讓一個單獨的應用實例可以為多個組織服務，而且保持良好的隔離性和安全性，並且通過這種技術，能有效地降低應用的購置和維護成本。並行處理：為了處理海量的數據，需要利用龐大的X86集群進行規模巨大的並行處理，Google的MapRece是這方面的代表之作。應用伺服器：在原有的應用伺服器的基礎上為雲計算做了一定程度的優化，比如用於Google App Engine的Jetty應用伺服器。分布式緩存：通過分布式緩存技術，不僅能有效地降低對後台伺服器的壓力，而且還能加快相應的反應速度，最著名的分布式緩存例子莫過於Memcached。

I. 如何搭建一個小型的雲計算平台

在計算機上構建私搭建小型雲平台的步驟如下：

1、首先，網路直接搜索「私有雲企業網路盤」或「雲盒子」，進入官網一鍵下載windows伺服器安裝包。

J. 什麼是雲計算雲平台典型物理架構如何

簡單來說就是把每一個電腦多餘的計算力積累起來，
（就是說把一台電腦分為兩部分，一部分，電腦的主人用，多餘的部分雲平台用）

變成一個虛擬的超級電腦，
雲平台就是把客戶端提出的，100000個小問題進行分配給100000+的電腦
讓每一個電腦處理一個，得出答案後，把答案傳到雲平台，
而你對雲平台提出的大小等於若干個小問題，的大問題，
就通過這種分工進行快速解決，然後雲平台把得到的答案回答你