構建私有雲可能會面臨一些挑戰性的問題，包括如下一些：
● 預算。 私有雲的構建成本可能比較高昂，所以你必須考慮清楚投資回報率的上限和下限。
● 與公有雲相整合。 構建了私有雲之後，如果你還需要公有雲服務的話，也可以轉向一種混合模式。 這會牽涉到如何保障系統的安全，以及如何在公有雲和私有雲中核實你能夠運行的工作負載。
● 規模。 私有雲通常是不具備大規模公有雲提供商所提供的規模經濟效益的。
● 即時重配置。 有時候你可能不得不將服務器和其他基礎設施拆卸下來(儘管它們還在使用中)，轉移到私有雲中去。 這種做法有可能產生嚴重的問題。
● 遺留硬件。 最好是將你最破舊的服務器丟到腦後去。 千萬不要把任何一台需要手動配置才能遷移到私有雲中的服務器重新派什麼用場，因為自動化和協同編排管理對於這些老舊機器來說可能無法適用。
● 技術的逐步過時。 技術變化的複雜性和變化速度對於任何IT組織來說都很難把握，尤其是規模較小的組織更是如此。 一旦要對私有雲進行投資，組織就必須始終與軟件的最新發布保持同步，才能保護投資。
● 對變化的恐懼。 企業的IT團隊可能並不熟悉私有雲，而且存在著學習曲線。 企業可能需要建立一些新的運營流程，並對某些舊的流程進行修改。 要將這種壓力轉變成IT團隊的一次成長機會，要讓他們明白，在今天的業務環境中，這些新的技能是非常重要的。
企業需要購買可以跨界物理基礎設施和虛擬基礎設施的管理工具。 需要選擇能夠讓你以相同的視圖看到不同執行環境的管理工具。
基礎設施中的管理層，包含有對虛擬機、存儲、備份/恢復等資源的管理。 雖然廠商們經常宣稱它們的產品是針對私有雲基礎設施的，但它們有時候對於“雲”的定義卻是非常不嚴謹的，所以企業必須仔細考察廠商每個產品的功能。
第二層即服務等級管理層，涉及到虛擬服務器之上一個抽象層工作負載的管理。 這裡也是需要應用自動化的地方，也是一些傳統管理工具如IBM的Tivoli和惠普的Insight在私有雲堆棧中所處的層。 目前，號稱擁有自動化管理工具的廠商有IBM Tivoli、惠普、CA、LineSider科技、DynamicOps、VMware和BMC等。
IT研究公司Ideas國際的分析師Tony Iams稱，幾乎所有的系統和硬件廠商都有某種類型的虛擬化或者雲管理工具。 例如微軟的System Center管理產品就可以為hypervisor和虛擬服務器提供可見性。
不過Iams說，企業應制定好規劃去管理多個hypervisor，如VMware的ESX、微軟的Hyper-V、開源的Xen，以及Linux KVM(基於內核的虛擬服務器)的各種實施版本。 微軟可以管理Hyper-V虛擬服務器和ESX虛擬服務的某些功能。 其他的雲廠商，如VMware和紅帽，也能管理由多個hypervisor所建立的虛擬機。 最理想的情況，是可以從一個單一界面去控制多個hypervisor。
購買還是自建?
商用的現成工具的缺陷就是它們很有可能需要為企業環境進行定制。 另一方面，自己開發工具的缺陷則是IT團隊需要自己對其進行維護和功能升級。 可替代自產工具的另一種選擇時搭建混合組件的雲堆棧，也就是購買各種第三方的組件，將它們放入堆棧。 這時候的問題就變成了這樣：一旦出現了問題，你應該給誰打電話求助?
你可以選擇單一提供商，例如微軟霍澤華VMware，但是結果可能會造成廠商鎖定。
開源軟件，比如來自OpenStack項目和Abiquo、Cloud.com、Eucalyptus和紅帽的工具對於搭建私有雲來說是一種不錯的選擇。 開源軟件基本上是免費的，而且還能提供比許可證捆綁在物理CPU上的專利軟件更多的靈活性。 舉例來說，當要將虛擬機從一台主機向另一台主機遷移時，專利軟件就可能產生令人頭疼的許可證轉移問題。
每一種選擇都有利有弊，所以須仔細權衡你的選擇，因為一旦開始再要想中途切換，那將會是代價高昂而且非常耗時的。 不過最好不要把自己鎖定給一家廠商的雲堆棧。 尤其要避免那些只能用自己的組件才能表現良好的廠商。 最好為第三方或者自產工具留出空間來。
到目前為止，還沒有一個商用產品能夠解決IT經理在構建和運營私有雲時所遇到的所有問題。 所以你只能將來自不同廠商的大量不同的產品混在一起來用，然後在前端加上自己做的用戶界面。
但是Verizon商業部門的Deacon說，經驗更加豐富的企業正在把多種管理工具集合整合在一起――例如惠普的服務器自動化套件和BMC的Patrol套件。 安全、防火牆、網絡和存儲資源都可以通過惠普和BMC的套件組合進行協同編排。 IT部門如果不將多種工具集合串接起來使用的話，就得自己編寫大量的軟件以獲得自動化能力。
那麼，用單一控制台來管理私有雲現實嗎? Iams認為，還沒有誰能夠只用一個控制台來管理私有雲的，但即便使用2到3個控制台比起現在動輒十多個控制台來也是一個巨大的進步。
Deacn認為，單一控制台管理已經提上了Verizon的議程，Verizon商務已經構建了一個高級別的控制台管理層，可以從VMware vCenter Server、惠普的網絡自動化以及hui的virtual Connect以及其他管理工具中收集數據。
廠商也將開始整合
Forrester分析師Frank Gillett沒有這麼樂觀。 “認為我們正打算把很多管理工具混合在一起工作，這是不現實的，”他說。 相反地，他預測說，隨著時間的推移，這個市場將會由於併購而急劇縮小，只會剩下一小批廠商，它們將提供“更為整合的能力。”一些IT經理更偏愛大型的、著名的雲計算廠商，因為他們不敢把自己的數據中心託付給在這個市場乾了還不到一兩年的小企業去管理。
Deacon贊同這種整合說，他認為一些大企業如惠普和IBM可能會收購雲計算的新興企業，為其現有的產品組合增加新的軟件。 這就是惠普收購OpsWare，BMC收購BladeLogic，CA連續收購了Nimsoft、Oblicore、3Tera和其他廠商的原因所在。
Gillett補充道，IT廠商需要聯邦制和互操作性，“我們很糟就開始了這些方面的努力。現在已能夠將私有雲管理工具攢在一起工作了，不過這仍然只是一個令人厭煩的過渡階段而已。”
然而在這一過渡階段中，IT部門將會受到來自業務部門用戶要求實施雲計算的巨大壓力。 如果數據中心運營團隊不能夠以一個私有雲來快速響應用戶的這種需求，那麼業務部門的用戶就有可能會去外面尋找公有雲服務。 而要想成功地與公有雲提供商競爭，IT部門就需要在企業內部部署和公有雲相同或類似的服務，而且這些私有雲服務還應該比公有雲的性能更好，更有吸引力才行。
