今天給各位分享san框架的知識,其中也會對三框架網頁的名稱分別為進行解釋,如果能碰巧解決你現在面臨的問題,別忘了關注本站,現在開始吧!,本文目錄一覽:,1、,存儲技術是純屬系統的框架里面的么,2、,hadoop叢集的儲存架構一般適宜采用das,nas,san或其他什么架構,3、,如何在Solaris下進行SAN存儲配置,4、,基于SAN存儲的國家級土地調查數據管理與集成系統建設,什么是存儲?
今天給各位分享san框架的知識,其中也會對三框架網頁的名稱分別為進行解釋,如果能碰巧解決你現在面臨的問題,別忘了關注本站,現在開始吧!
本文目錄一覽:
- 1、存儲技術是純屬系統的框架里面的么
- 2、hadoop叢集的儲存架構一般適宜采用das,nas,san或其他什么架構
- 3、如何在Solaris下進行SAN存儲配置
- 4、基于SAN存儲的國家級土地調查數據管理與集成系統建設
存儲技術是純屬系統的框架里面的么
什么是存儲?
用于存放數據信息的設備或者系統
等同與計算機系統中的外部存儲
存儲是一個系統
是計算機技術發展的結果
在計算機系統中存儲分為外部存儲和內部存儲,這里我們談存儲主要指計算機系統中的外部存儲。
如果再把概念收縮一下,一般來講我們談存儲是指存儲系統,并不是簡單的談硬盤、軟盤等。
存儲系統是信息技術發展的結果。
為什么要了解存儲技術
很簡單的原因,存儲變得越來越重要了,我們必須要了解存儲技術,了解存儲技術的發展方向!
存儲系統中到底使用了什么技術?
SCSI/ATA
FC/iSCSI
RAID/JBOD
DAS/NAS/SAN
SCSI/ATA是存儲系統中最基本的技術,其中SCSI是最重要的.
在存儲設備上,使用的SCSI/ATA/FC的硬盤,做成RAID或者JBOD,通過DAS、NAS、SAN的形式,中間使用SCSI、FC或者TCP/IP技術連接主機。存儲技術其實就是是計算機技術與通信技術的結合。iSCSI是將來的存儲形式,這里不做討論
存儲系統架構—三種架構介紹
DAS ( Direct Attached Storage)直接掛接存儲
SAN ( Storage Area Network )存儲區域網絡
NAS ( Network Attached Storage )網絡掛接存儲
存儲系統架構—DAS
DAS-Direct Attached Storag-存儲設備(通常為磁盤或磁帶)通過電纜直接與計算機相連;
系統存取訪問I/O請求(又稱為協議或命令)直接在計算機和存儲設備間進行.
存儲設備(通常為磁盤或磁帶)通過電纜直接與計算機相連,系統存取訪問I/O請求(又稱為協議或命令)直接在計算機和存儲設備間進行。這是一種總線方式的存儲,傳輸距離短,連接方式差。當服務器在地理上比較分散,很難通過遠程連接進行互連時,直接連接存儲是比較好的解決方案,甚至是唯一的解決方案。
存儲系統架構—SAN
SAN- Storage Area Network
主要目的用于在計算機和存儲設備之間傳輸數據
IP-SAN,FC-SAN
SAN(Storage Area Network存儲區域網):是為連接服務器、磁盤陣列、帶庫等存儲設備專門而建立的高性能網絡。SAN技術中最具深遠意義的并給SAN技術帶來最大好處的,即它由從前采用面向總線的存儲結構,轉而采用現在的面向網絡的存儲結構。
存儲系統架構—NAS
NAS-Network Attached Storage
一種直連到網絡(LAN or WAN)里的特殊用途的存儲設備
突出的文件服務性能
向異構客戶端平臺提供高可用的數據共享
存儲產品
磁盤陣列柜
RAID技術
FC技術
SAS技術
iSCSI技術
IB技術
存儲服務器
服務器技術
RAID技術
…
hadoop叢集的儲存架構一般適宜采用das,nas,san或其他什么架構
hadoop叢集的儲存架構一般適宜采用das,nas,san或其他什么架構
It may take a whils to crawl a site ...
set_time_limit(10000);
Inculde the phpcrawl-mainclass
include("libs/PHPCrawler.class.php");
Extend the class and override the handleDocumentInfo()-method
class MyCrawler extends PHPCrawler
{
資料區域性性(data locality):這是Hadoop的主要特性,指的是直接在儲存資料的節點上做CPU密集型計算。顯然,SAN/NAS不適用于任何形式的CPU密集型計算。
RAID:SAN/NAS采用RAID磁碟陣列進行儲存,而Hadoop框架通過復本來確保資料的可靠性和容錯性。
DAS采用JBOD磁碟陣列進行儲存,如果Hadoop節點的內建儲存容量較小,可以采用DAS做擴充套件。如果只是想通過Hadoop做資料歸檔,沒有計算,好吧,SAN/NAS是個選擇。
hadoop叢集的儲存架構一般適宜采用das,nas,san或其他什么架構,適宜采用哪些raid
配置資訊在gridmix_config.xml檔案中。gridmix中,每種作業有大中小三種類型:小作業只有3個輸入檔案(即3個map);
中作業的輸入檔案是與正則表示式{part-0000,part-0001,part-000*2}匹配的檔案;
大作業會處理處有資料。
分析hadoop叢集的儲存架構一般適宜采用das,nas,san或其他什么架構,適宜采用哪些ra
Hadoop提供非常方便的方式來獲取一個任務的統計資訊,使用以下命令即可作到:
$ hadoop job -history all job output directory
這個命令會分析任務的兩個歷史檔案(這兩個檔案儲存在job output directory/_logs/history目錄中)并計算任務的統計資訊。
NAS,DAS和SAN三種儲存架構的區別
NAS儲存特點(網路直連儲存) DAS儲存特點(直連儲存)SAN儲存(光纖儲存)
svn叢集使用什么樣的儲存架構
Svn命令
1、將檔案checkout到本地目錄
svn checkout path(path是伺服器上的目錄)
例如:svn checkout svn:192.168.1.1/pro/domain
簡寫:svn co
2、往版本庫中新增新的檔案
svn add file
amazon云端儲存采用什么架構
這個具體還是要根據儲存的資料型別和資料量的大小來決定的!有很多型別的云端儲存軟體。比如:云創儲存的Minicloud迷你云,這是一款適合中小企業的云端儲存系統,是一個超安全的私有云計算資料中心,采用高可靠的云端儲存技術,檔案資料塊始終以雙副本方式在不同節點上存放,絕不丟失資料。同時,迷你云海量儲存空間支援靈活使用,既可作為應用軟體(如郵箱、視訊監控)的海量儲存空間,又可作為員工的私密儲存空間,還可以作為資料共享空間,為了確保資料安全,公室內部共享資料與通過網際網路共享資料采用完全隔離的兩套系統。在公室內部,可通過逗我的電腦地直接訪問自己的私有資料空間,在公室外部,可通過PCWeb介面和移動終端(安卓手機、iPhone以及iPad)等訪問minicloud,實現移動公。同時,還提供豐富多彩的應用系統,系統自帶企業郵箱、內部虛擬磁碟、網路云盤*、FTP等應用,使用者還可按需安裝配置其它應用;可選配超強的桌面虛擬化系統:單伺服器支援100多個瘦終端流暢共享各類應用軟體和上網。
網路儲存架構是什么呀?
網路儲存有兩大要件,一者為儲存裝置,一者為網通裝置。企業的網路儲存已行之有年,大致分為兩種架構:儲存區域網絡(SAN, Storage Area Neork)和網路附加儲存(NAS, Neork Attach Storage)。前者為支援伺服器和儲存裝置的直接高速資料傳輸的儲存網路架構,后者為直接聯機至區域網絡 (LAN) 或廣域網路 (WAN),以方便由多臺伺服器存取資料的儲存架構。
請教低成本型Hadoop叢集的網路架構與華為網路裝置選型
云端計算和Hadoop中網路是討論得相對比較少的領域。本文原文由Dell企業技術專家Brad Hedlund撰寫,他曾在思科工作多年,專長是資料中心、云網絡等。文章素材基于作者自己的研究、實驗和Cloudera的培訓資料。
如何在Solaris下進行SAN存儲配置
Oracle Solaris 10 和 Oracle Solaris 11 自帶了一個光纖通道發起方系統,您可以對它進行配置以便將 Sun ZFS
存儲設備提供的光纖通道 (FC) LUN 集成到 Oracle Solaris 環境中。本文介紹如何配置 Oracle Solaris 光纖通道系統以及如何配置
Sun ZFS 存儲設備來配置供 Oracle Solaris 服務器訪問的 FC LUN??梢允褂脼g覽器用戶界面 (BUI) 完成這些配置。
本文做出以下假設:
已知 Sun ZFS 存儲設備的 root 帳戶口令。
已知 Sun ZFS 存儲設備的 IP 地址或主機名。
已配置好 Sun ZFS 存儲設備使用的網絡。
Sun ZFS 存儲設備已配置有具有足夠可用空閑空間的存儲資源池。
已知 Oracle Solaris 服務器的 root 帳戶口令。
Sun ZFS 存儲設備已經連接到光纖通道交換機。
已在 FC 交換機上配置了相應的區域,允許 Oracle Solaris 主機訪問 Sun ZFS 存儲設備。
配置 Oracle Solaris FC 系統
為了讓 Sun ZFS 存儲設備和 Oracle Solaris 服務器彼此標識,每個設備的 FC 全球編號 (WWN)
必須在另一個設備中注冊。您必須確定在 FC 交換機上實現的某些形式 FC 區域的 WWN。
主機的 FC WWN 用于向 Sun ZFS 存儲設備標識主機,并且需要它來完成本文中的配置過程。
WWN 來自在 Oracle Solaris 主機和 Sun ZFS 存儲設備中安裝的 FC 主機總線適配器 (HBA)。
為了配置 Oracle Solaris FC 系統,您需要知道 Sun ZFS 存儲設備的 WWN。在傳統的雙結構存儲區域網絡 (SAN) 中,Sun
ZFS 存儲設備至少有一個 FC 端口連接到每個結構。因此,您必須至少確定兩個 FC WWN。
標識 Sun ZFS 存儲設備 FC WWN
首先,您需要建立一個到 Sun ZFS 存儲設備的管理會話。
在 Web 瀏覽器的地址欄中輸入一個包含 Sun ZFS 存儲設備的 IP 地址或主機名的地址,如以下 URL 所示:
;ip-address or host name:215
將顯示登錄對話框。
輸入用戶名和口令,然后單擊 LOGIN。
成功登錄到 BUI 之后,您可以通過 Configuration 選項卡標識 WWN。
單擊 Configuration SAN Fibre Channel
Ports。
將顯示安裝在 Sun ZFS 存儲設備中的 FC 端口。由于每個 HBA 通道只有一個已發現的端口,因此這必須是 HBA 通道本身。
在前面的示例中,端口 1 具有 WWN 21:00:00:e0:8b:92:a1:cf,端口 2 具有 WWN
21:01:00:e0:8b:b2:a1:cf。
在每個 FC 端口框右側的列表框中,應該將 FC 通道端口設置為 Target。如果情況并非如此,則 FC
端口可能用于其他用途。在調查原因之前,請不要更改設置。(一種可能的原因是可能用于了 NDMP 備份。)
標識 Oracle Solaris 主機 HBA WWN
如果 Oracle Solaris 主機已經通過相應的電纜連接到 FC 交換機,則使用以下命令來標識 WWN。
要獲得主機的 WWN,輸入以下命令:
root@solaris:~# cfgadm -al -o show_FCP_dev
root@solaris:~#
在該輸出中,您需要的控制器號為 c8 和 c9。當端口類型為
fc-fabric 時,您還可以看到兩個端口都連接到一臺 FC 交換機。接下來,查詢這些控制器來確定發現的 WWN。
如果 HBA 端口未用于訪問任何其他連接 FC 的設備,則可使用以下命令來確定 WWN。
root@solaris:~# prtconf -vp | grep port-wwn
port-wwn: 210000e0.8b89bf8e
port-wwn: 210100e0.8ba9bf8e
root@solaris:~#
如果正在訪問 FC 設備,則以下命令將顯示 FC HBA WWN。
root@solaris:~# luxadm -e dump_map /dev/cfg/c8
root@solaris:~#
顯示為類型 0x1f 的最后一個條目 (Unknown type, Host Bus Adapter)
在端口 WWN 條目下提供了相應的 WWN。重復此命令,使用在第 1 步中標識的其他控制器替換
/dev/cfg/c8。
從輸出中,您可以看到 c8 具有 WWN
21:00:00:00:e0:8b:89:bf:8e,c9 具有 WWN
21:01:00:e0:8b:a9:bf:8e。
然后,可以使用 Sun ZFS 存儲設備 HBA 和 Oracle Solaris 主機 HBA WWN 來配置任何 FC 交換機區域。
完成此操作之后,您可以運行以下命令來驗證正確的區域:
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
現在,您可以看到可由 Oracle Solaris 主機訪問的 Sun ZFS 存儲設備提供的 WWN。
使用瀏覽器用戶界面配置 Sun ZFS 存儲設備
作為一個統一的存儲平臺,Sun ZFS 存儲設備既支持通過 iSCSI 協議訪問數據塊協議
LUN,又支持通過光纖通道協議進行同樣的訪問。這一節講述如何使用 Sun ZFS 存儲設備 BUI 來配置 Sun ZFS 存儲設備,使其能夠識別 Oracle
Solaris 主機并向該主機提供 FC LUN。
定義 FC 目標組
在 Sun ZFS 存儲設備上創建目標組,以便定義 Oracle Solaris 服務器可通過哪個端口和協議訪問提供給它的 LUN。對于此示例,創建 FC
目標組。
執行以下步驟在 Sun ZFS 存儲設備上定義 FC 目標組:
單擊 Configuration SAN 顯示 Storage Area Network (SAN)
屏幕
單擊右側的 Targets 選項卡,然后選擇左側面板頂部的 Fibre Channel
Ports
將鼠標放置在 Fibre Channel Ports 框中,將在最左側出現一個 Move 圖標()
單擊 Move 圖標并將此框拖到 Fibre Channel Target
Groups 框,如圖 4 所示。
拖動橙色框中的條目來創建新的目標組。將創建組,并將其自動命名為 targets-n,其中
n 是一個整數。
將光標移到新目標組條目上。在 Fibre Channel Target Groups 框右側會出現兩個圖標
要重命名新的目標組 targets-0,單擊 Edit 圖標()顯示對話框
在 Name 域中,將默認名稱替換為新 FC 目標組的首選名稱,單擊
OK。本例中用名稱 FC-PortGroup 替換
targets-0。在此窗口中,您還可以通過單擊所選 WWN 左側的框來添加第二個 FC 目標端口。第二個端口標識為 PCIe 1:Port 2。
單擊 OK 保存更改。
單擊 APPLY。 Fibre Channel Target Groups
面板中顯示了如上的更改。
定義 FC 發起方
定義 FC 發起方以便允許從一臺或多臺服務器訪問特定卷。應該配置對卷的訪問權限,以便允許最少數量的 FC
發起方訪問特定卷。如果多個主機可以同時寫入一個指定卷并且使用非共享文件系統,則各主機上的文件系統緩存可能出現不一致,最終可能導致磁盤上的映像損壞。一般對于一個卷,只會賦予一個發起方對該卷的訪問權限,除非使用的是一種特殊的集群文件系統。
FC 發起方用于從 Sun ZFS 存儲設備的角度出發來定義“主機”。在傳統的雙結構 SAN 中,主機將至少由兩個 FC 發起方來定義。FC
發起方定義包含主機 WWN。為了向 Sun ZFS 存儲設備標識 Oracle Solaris 服務器,必須在存儲設備中注冊 Oracle Solaris FC
發起方 WWN,為此要執行以下步驟。
單擊 Configuration SAN 顯示 Storage Area Network (SAN)
屏幕
單擊右側的 Initiators 選項卡,然后選擇左側面板頂部的 Fibre Channel
Initiators
單擊 Fibre Channel Initiators 左側的 圖標顯示 New Fibre Channel Initiator 對話框
如果已在 FC 交換機上配置了區域,則應顯示 Oracle Solaris 主機的 WWN(假設沒有為它們指定別名)。
在對話框底部單擊一個 WWN(如果顯示)預填充全球名稱,或者在 World Wide Name 框中鍵入相應的
WWN。
在 Alias 框中輸入一個更有意義的符號名稱。
單擊 OK。
對于其他涉及 Oracle Solaris 主機的 WWN,重復前面的步驟。
定義 FC 發起方組
將一些相關 FC 發起方組成邏輯組,這樣可以對多個 FC 發起方執行同一個命令,例如,可以使用一個命令對一個組中的所有 FC 發起方分配 LUN
訪問權限。對于下面的示例,FC 發起方組將包含兩個發起方。注意,在集群中,多個服務器被視作一個邏輯實體,因此發起方組可以包含更多發起方。
執行以下步驟創建一個 FC 發起方組:
選擇 Configuration SAN 顯示 Storage Area Network (SAN)
屏幕。
選擇右側的 Initiators 選項卡,然后單擊左側面板頂部的 Fibre Channel
Initiators。
將光標放置在上一節中創建的一個 FC 發起方條目上。此時,在該條目左側會出現一個 Move 圖標()
單擊 Move 圖標并將其拖到右側的 Fibre Channel Initiator
Groups 面板中。此時,在 Fibre Channel Initiators Groups 面板底部出現了一個新的條目(黃色亮顯)
將光標移到新的條目框上,然后釋放鼠標鍵。此時會創建一個新的 FC 發起方組,其組名稱為
initiators-n,其中 n 是一個整數,如圖 13
所示。
將光標移到新發起方組條目上。在目標發起方組框右側會出現幾個圖標
單擊 Edit 圖標()顯示對話框
在 Name 域中,將新發起方組的默認名稱替換為選定名稱,單擊 OK。本例使用
sol-server 作為該發起方組名稱。
在此對話框中,您可以通過單擊 WWN 左側的復選框向組中添加其他 FC 發起方。
在 SAN 配置屏幕中單擊 APPLY 確認所有修改,如圖 15 所示。
定義 Sun ZFS 存儲設備項目
為了對相關卷進行分組,您可以在 Sun ZFS 存儲設備中定義一個項目。通過使用項目,可以繼承項目所提供文件系統和 LUN
的屬性。還可以應用限額和保留。
執行以下步驟創建一個項目:
選擇 Shares Projects 顯示 Projects 屏幕
單擊左側面板頂部的 Projects 左側的 圖標顯示
Create Project 對話框
要創建一個新項目,輸入項目名稱,單擊 APPLY。在左側面板的 Projects 列表中出現了一個新項目。
選擇這個新項目查看其所含組件
定義 Sun ZFS 存儲設備 LUN
接下來,您將從一個現有存儲資源池中創建一個 LUN,供 Oracle Solaris 服務器訪問。在下面的示例中,將創建一個名為
DocArchive1 的精簡供應 64 GB LUN。
我們將使用定義 FC 目標組一節中創建的 FC 目標組
FC-PortGroup 來確??梢酝ㄟ^ FC 協議訪問該 LUN。將使用定義 FC
發起方組一節中定義的發起方組 sol-server 來確保只有在 sol-server
組中定義的服務器才可以訪問該 LUN。(在本例中,該發起方組只包含一個服務器。)
執行以下步驟創建一個 LUN:
選擇 Shares Projects 顯示 Projects 屏幕。
在左側 Projects 面板中,選擇該項目。然后選擇右側面板頂部的 LUNs
單擊 LUNs 左側的 圖標顯示 Create LUN
對話框,如圖 20 所示。
輸入合適的值以配置該 LUN。對于本例,將 Name 設置為
DocArchive1,Volume size 設置為 64 G,并且選中
Thin provisioned 復選框。將 Target Group 設置為 FC 目標組
FC-PortGroup,將 Initiator Group 設置為
sol-server。將 Volume block size 設置為
32k,因為該卷將保存 Oracle Solaris ZFS 文件系統。
單擊 APPLY 創建該 LUN 使其供 Oracle Solaris 服務器使用。
配置 LUN 以供 Oracle Solaris 服務器使用
現在我們已準備好了 LUN,可以通過 FC 發起方組使用它了。接著必須執行以下步驟,配置 LUN 以供 Oracle Solaris 服務器使用:
發起一個連接 Sun ZFS 存儲設備的 Oracle Solaris FC 會話,如清單 1 所示。由于在發起該 FC 會話前已創建了 LUN,該
LUN 將會自動啟用。
清單 1. 發起 Oracle Solaris FC 會話
root@solaris:~# cfgadm -al c8 c9
root@solaris:~# cfgadm -c configure c8::210100e08bb2a1cf
root@solaris:~# cfgadm -c configure c9::210000e08b92a1cf
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
驗證對 FC LUN 的訪問,如清單 2 所示。
清單 2. 驗證對 FC LUN 的訪問
root@solaris:~# devfsadm -c ssd
root@solaris:~# tail /var/adm/messages
[...]
[...]
在本例中,多路徑狀態最初顯示為 degraded,因為此時只識別了一個路徑。進一步,多路徑狀態更改為
optimal,因為存在多個到達卷的路徑。
磁盤設備現在同樣可供內部服務器磁盤使用。
格式化 LUN,如清單 3 所示。
清單 3. 格式化 LUN 格式
root@solaris:~# format
Searching for disks...done
c1t600144F0F05E906C00004ED6096D0001d0: configured with capacity of 63.93GB
AVAILABLE DISK SELECTIONS:
[...]
Specify disk (enter its number): 4
selecting c1t600144F0F05E906C00004ED6096D0001d0
[disk formatted]
Disk not labeled. Label it now? y
FORMAT MENU:
disk - select a disk
type - select (define) a disk type
partition - select (define) a partition table
current - describe the current disk
format - format and analyze the disk
repair - repair a defective sector
label - write label to the disk
analyze - surface analysis
defect - defect list management
backup - search for backup labels
verify - read and display labels
save - save new disk/partition definitions
inquiry - show vendor, product and revision
volname - set 8-character volume name
!cmd - execute cmd, then return
quit
format q
在準備好的 LUN 上構建 Oracle Solaris ZFS 文件系統,為此創建一個新的 ZFS 池、將此設備添加到 ZFS 池中,并創建 ZFS
文件系統,如清單 4 的示例所示。
清單 4. 構建 Oracle Solaris ZFS 文件系統
root@solaris:~# zfs createzpool create docarchive1 \
c1t600144F0F05E906C00004ED6096D0001d0
root@solaris:~# zfs list
[...]
root@solaris:~# zfs create docarchive1/index
root@solaris:~# zfs create docarchive1/data
root@solaris:~# zfs create docarchive1/logs
root@solaris:~# zfs list
[...]
df(1) 命令的最后兩行輸出表明,現在大約有 64 GB 新空間可供使用。轉載僅供參考,版權屬于原作者。祝你愉快,滿意請采納哦
FC、IP網絡的安全性
不論是光纖通道還是IP網絡,主要的潛在威脅來自非授權訪問,特別是管理接口。例如,一旦獲得和存儲區域網絡(SAN)相連接服務器管理員的權限,欺詐進入就可以得逞。這樣入侵者可以訪問任何一個和SAN連接的系統。因此,無論使用的是哪一種存儲網絡,應該認識到應用充分的權限控制、授權訪問、簽名認證的策略對防止出現安全漏洞是至關重要的。
測錯攻擊在IP網絡中也比在光纖通道的SAN中易于實現。針對這類攻擊,一般是采用更為復雜的加密算法。
盡管DoS似乎很少發生,但是這并不意味著不可能。然而如果要在光纖通道SAN上實現DoS攻擊,則不是一般的黑客軟件所能實現的,因為它往往需要更為專業的安全知識。
實現SAN數據安全方法
保證SAN數據安全的兩個基本安全機制是分區制zoning和邏輯單元值(Logical Unit Number)掩碼。
分區制是一種分區方法。通過該方法,一定的存儲資源只對于那些通過授權的用戶和部門是可見的。一個分區可以由多個服務器、存儲設備、子系統、交換機、HBA和其它計算機組成。只有處于同一個分區的成員才可以互相通訊。
分區制往往在交換級來實現。根據實現方式,可以分為兩種模式,一為硬分區,一為軟分區。硬分區是指根據交換端口來制定分區策略。所有試圖通過未授權端口進行的通訊均是被禁止的。由于硬分區是在系統電路里來實現,并在系統路由表中執行,因此,較之軟分區,具有更好的安全性。
在光纖通道網絡中,軟分區是基于廣域命名機制的(WWN)的。WWN是分配給網絡中光纖設備的唯一識別碼。由于軟分區是通過軟件來保證在不同的分區中不會出現相同的WWNs,因此,軟分區技術比硬分區具有更好的靈活性,特別是在網絡配置經常變化的應用中具有很好的可管理性。
有些交換機具有端口綁定功能,從而可以限制網絡設備只能和通過預定義的交換端口進行通訊。利用這種技術,可以實現對存儲池的訪問限制,從而保護SAN免受非授權用戶的訪問。
另一種被廣泛采用的技術是LUN掩碼。一個LUN就是對目標設備(如磁帶和磁盤陣列)內邏輯單元的SCSI識別標志。在光纖通道領域,LUN是基于系統的WWN實現的。
LUN掩碼技術是將LUN分配給主機服務器,這些服務器只能看到分配給它們的LUN。如果有許多服務器試圖訪問特定的設備,那么網絡管理者可以設定特定的LUN或LUN組可以訪問,從而可以拒絕其它服務器的訪問,起到保護數據安全的目的。不僅在主機上,而且在HBA、存儲控制器、磁盤陣列、交換機上也可以實現各種形式的LUN屏蔽技術。
如果能夠將分區制和LUN技術與其它的安全機制共同運用到網絡及其設備上的話,對網絡安全數據安全將是非常有效的。
業界對存儲安全的做法
盡管目前對于在哪一級設備應用存儲安全控制是最優的還沒有一個明確的結論,例如,IPSec能夠在ASIC、VPN設備、家電和軟件上實現,但目前已有很多商家在他們的數據存儲產品中實現了加密和安全認證功能。
IPSec對于其它基于IP協議的安全問題,比如互聯網小型計算機接口(iSCSI)、IP上的光纖通道 (FCIP)和互聯網上的光線通道 (IFCP)等,也能起到一定的的作用。
通常使用的安全認證、授權訪問和加密機制包括輕量級的路徑訪問協議Lightweight Directory Access Protocol (LDAP)、遠程認證撥入用戶服務(RADIUS), 增強的終端訪問控制器訪問控制系統(TACACS+)、Kerberos、 Triple DES、高級加密標準(AES)、安全套接層 (SSL)和安全Shell(SSH)。
盡管SAN和NAS的安全機制有諸多相似之處,其實它們之間也是有區別的。很多NAS系統不僅支持SSH、SSL、Kerberos、RADIUS和LDAP安全機制,同時也支持訪問控制列表(ACL)以及多級許可。這里面有一個很重要的因素是文件鎖定,有很多產品商家和系統通過不同的方式來實現這一技術。例如,微軟采用的為硬鎖定,而基于 Unix的系統采用的是相對較為松弛的建議級鎖定。由此可以看到,如果在Windows-Unix混合環境下,將會帶來一定的問題。
呼喚存儲安全標準化
SAN安全的實現基礎在交換機這一層。因此,存儲交換機的標準對網絡產品制造商的技術提供方式的影響是至關重要的。
存儲安全標準化進程目前還處于萌芽階段。ANSI成立了T11光纖通信安全協議(FC-SP)工作組來設計存儲網絡基礎設施安全標準的框架。目前已經提交了多個協議草案,包括FCSec協議,它實現了IPSec和光纖通訊的一體化;同時提交的還有針對光纖通訊的挑戰握手認證協議(CHAP)的一個版本;交換聯結認證協議(SLAP)使用了數字認證使得多個交換機能夠互相認證;光纖通信認證協議(FCAP)是SLAP的一個擴展協議。IEEE的存儲安全工作組正在準備制定一個有關將加密算法和方法標準化的議案。
存儲網絡工業協會(SNIA)于2002年建立了存儲安全工業論壇(SSIF),但是由于不同的產品商支持不同的協議,因此實現協議間的互操作性還有很長一段路要走。
關注存儲交換安全
大家都已經注意到了為了保證存儲安全,應該在存儲交換機和企業網絡中的其它交換機上應用相同的安全預警機制,因此,對于存儲交換機也應有一些特殊的要求。
存儲交換安全最重要的一個方面是保護光纖管理接口,如果管理控制臺沒有很好的安全措施,則一個非授權用戶有可能有意或無意地入侵系統或改變系統配置。有一種分布鎖管理器可以防止這類事情發生。用戶需要輸入ID和加密密碼才能夠訪問交換機光纖的管理界面。為了將SAN設備的管理端口通過安全認證機制保護起來,最好是將SAN配置管理工作集中化,并且對管理控制臺和交換機之間的通訊進行加密。另外一個方面,在將交換機接入到光纖網絡之前,也應該通過ACL和 PKI機制實現授權訪問和安全認證。因此,交換機間鏈接應當建立在嚴密的安全防范措施下。
基于SAN存儲的國家級土地調查數據管理與集成系統建設
張定祥 戴建旺 李憲文 何歡樂
(中國土地勘測規劃院,北京,100035)
摘要:本文在對國家級土地調查數據管理與集成系統建設項目背景分析的基礎上,提出了系統建設的總體目標和任務,全面闡述了系統的總體設計、運行模式、系統功能設計思想,系統地介紹了各子系統的功能模塊設計,最后本文對該管理與集成系統的應用進行了展望。
關鍵詞:土地調查;數據集成;SAN (Storage Area Network);數據倉庫
1 項目背景
目前,隨著我國土地調查技術水平不斷提高,數據的精度和現勢性不斷加強,數據資源發揮了越來越重要的作用。但是,我國土地調查數據管理方面還存在一些問題。主要表現在:①數據管理手段落后、數據整合集成度差。大量調查監測與評價數據以文件光盤或紙質方式存放,大多數沒有建立集成化的空間數據庫;土地資源調查監測數據內容不統一,不同時期數據成果的可比性差,難以形成管理和研究分析需要的區域性時間系列數據;土地數據庫存在多種比例尺、多種格式等問題。②數據共享應用存在障礙,數據信息挖掘不夠。由于多方面的原因,土地調查數據共享渠道還不夠通暢,大量數據資源還未納入管理,數據應用潛力遠沒有開發。
當前,建立國家級土地調查數據管理與集成系統的意義在于:①有效整合、集成土地資源調查工程數據成果,為工程提供系列化、標準化的展示成果;②為“金土工程”和“全國土地資源二次詳查”等新項目提供標準化、集成化數據產品;③加強數據基礎建設,并進行數據信息挖掘,形成土地管理科學決策的數據基礎,提高土地科技創新能力和土地資源參與國民經濟宏觀調控的科學性;④挽救土地資源調查歷史數據,加快數據共享應用,保護國家在土地調查多年巨額投資成果。鑒于以上考慮,“土地數據存儲管理系統”采用現代數據倉庫數據集成技術思路,以三個數據庫(土地資料庫、土地成果庫、土地應用庫)、數據整合集成工具包、數據分發和對內對外發布等開發為主要內容,將為國土資源大調查——土地調查原始數據管理、成果數據集成、應用數據產品開發、數據分發服務一體化提供集成的網絡化管理與共享平臺。該系統的建設將大大提高土地調查數據管理和集成信息化水平。
2 系統建設目標
本系統建設目標為:在對國家級土地數據現狀和預測分析基礎上,設計并建立基于SAN (Storage Area Network)存域網的土地數據管理與集成系統,實現客戶端、數據存儲中心和業務系統有機銜接,滿足海量土地數據的動態存儲、管理維護、更新、整合處理、查詢檢索等功能,實現土地數據的分布式共享和應用;能夠實現對國家級土地調查、評價、規劃等數據進行整合、編目、集成形成多層次專題數據建庫,并加入數據管理系統;在此基礎上,構建土地分中心對外服務共享平臺,通過專題數據庫整合、集成、網上發布,實現土地調查數據社會化共享。
3 總體設計
3.1 系統總體框架設計
基于SAN存儲的國家級土地調查數據管理與集成系統由基礎設施、數據和業務應用三層技術體系,安全和整合集成兩個技術保障構成,具體的土地數據分中心總體設計架構如圖1所示。
圖1 土地數據分中心總體設計架構
3.1.1 基礎設施層
基礎設施層是系統建立及日常運行的基本軟硬件環境,其中硬件環境構成了分中心的網絡環境、存儲環境及安全環境,軟件環境則包括操作系統、數據庫管理系統、GIS軟件環境等。
3.1.2 數據層
數據層是系統建設的核心部分,該層構成了分中心的數據基礎設施。全部數據通過建立統一的土地資料元數據實現集中管理與維護。數據層主要由土地資料數據庫、土地成果數據庫和土地應用數據庫組成,數據庫內所有土地資料信息在元數據庫中管理維護。
3.1.3 業務應用層
業務應用層是分中心的運行層,所有具體的業務人員都在這個基礎上實現土地數據分中心的應用。根據應用內容的不同,應用系統包括:土地數據庫管理與維護;土地數據庫信息檢索與查詢;土地數據的加工處理與整合;各種土地業務管理應用;國土資源輔助決策支持;科學數據共享服務網站六部分職能。
3.2 運行模式
國家級土地調查數據管理與集成系統日常運行模式有三種,即分中心內部運行模式、院內部運行模式以及院外部運行模式。分中心內部運行模式的核心是土地資料數據的匯交、存儲、管理、元數據庫維護、數據整合與整理等。院內部運行模式主要為非專業應用系統的普通土地數據用戶則可以通過元數據的檢索查詢完成土地數據的信息瀏覽、數據下載、數據轉換及數據應用工作;此外院內運行的各類土地專業應用系統通過計算機網絡,通過訪問、檢索元數據庫實現土地數據倉庫的信息共享,從而達到不同格式的土地數據在不同部門和業務系統間的流通、交換和共享利用的目標。
規劃院外運行模式涉及國務院各部委機關、國土資源部機關、相關數據中心及信息中心、各級省級國土資源數據中心、省級規劃院系統等不同層次和需求用戶。
3.3 系統功能設計
3.3.1 采用基于高性能的 SAN 的網絡結構
SAN (Storage Area Network)是當前最先進的網絡存儲方式,本系統數據存儲采用光纖布線的方式為用戶提高數據傳輸的帶寬和可靠性數據。系統硬件設備主要包括P650小型機、H16 SAN光纖交換機、FastT600光纖磁盤陣列、3583光纖磁帶庫、IBM EXP400陣列、IBM X365服務器及IBM X445服務器等IBM的設備、SUN的Blade2500圖形工作站及Cisco的網絡交換機(數據存儲結構見圖2)。
圖2 數據存儲結構圖
3.3.2 高可擴展性存儲設計
從存儲容量來看,目前IBM FastT600磁盤陣列可以提供2 T的存儲空間,最大可以擴展到16 T的存儲容量。IBM 3583-L36光纖磁帶庫內有36個磁帶的艙位,配置了4個磁帶驅動器和40盤200 GB的磁帶,正常情況下可以存儲8 TB的數據,壓縮的狀態下可存儲16 TB的數據。3583磁帶庫驅動器可以再增加2個,磁帶的艙位可以增加到72個。離線磁帶的數量理論上是沒有限制的,只需更換新的磁帶就可以了。
3.3.3 基于數據倉庫設計思想的數據存儲管理系統
針對國家級土地調查數據多源異構情況復雜而應用目標不十分明確的矛盾,借鑒數據倉庫技術思想,設計了數據存儲管理系統中土地數據整合集成技術流程。其核心思想在于國家級土地數據通過數據集成工具逐步形成土地資料庫、土地成果庫、專題產品庫等系列產品。系統土地數據整合集成技術體系在以下方面:①外部歷史數據進入資料庫的元數據錄入和數據入庫規范,主要由人工處理和系統自動完成;②數據從資料庫進入成果庫之前的數據轉換、抽取、重組、建模、綜合和集成過程,主要由系統提供工具軟件或數據接口人工操作完成;③成果數據進入應用庫之前的數據裁減、融合、接邊、格式轉換等數據集成過程,以及數據成果庫數據挖掘、決策分析功能,此部分主要通過Arc/Engine開發工具的模塊和利用Oracle相應的數據挖掘功能實現。
4 功能模塊設計
4.1 資料庫管理子系統
土地資料庫系統通過建立數據的管理元數據、數據命名、數據目錄規范入庫、構建資料庫,實現基于元數據的檢索、數據查詢、數據預覽等功能。土地數據資料進入資料庫系統是數據資料的初步整合過程,紙質資料和電子數據進行分類管理,紙質資料只錄入編目系統,資料本身不進入數據目錄管理系統。電子數據納入文件目錄管理范疇,需要進行元數據錄入和文件重命名和數據入庫等過程。數據資料整合管理過程主要包括:數據內容選擇、元數據錄入、文件進入資料庫文件目錄系統(目錄資料不入庫)、文件的規范命名、元數據檢查修改、元數據查詢瀏覽、數據分發和發布等過程。
土地資料庫管理子系統由數據庫、管理和維護應用系統、土地數據對外服務系統構成。具體包括:①數據庫。根據數據層次的不同,土地資料庫管理子系統中含有經過重新目錄組織和文件命名的土地資料數據和體現數據目錄信息及其他內容的元數據。②數據管理維護系統。針對土地資料數據庫、元數據庫分別由土地資料管理維護系統、元數據管理維護系統提供相應數據內容的入庫、檢索、利用、存取控制、備份、恢復等。③土地數據對外服務與數據分發系統。土地數據對外服務系統基于互聯網,向社會公眾提供元數據、土地資料數據的瀏覽、查詢、下載等土地數據服務。
4.2 成果庫管理子系統
在數據庫結構預先構建前提下,在經過數據整合和成果提取過程之后,成果數據存儲在Oracle Spatial中,數據管理工作包括空間數據本地瀏覽、數據內容維護和數據庫結構維護。具體包括以下幾個方面。
4.2.1 成果數據管理
成果最小的組織單位是縣,然后確定一個縣的土地專題,如縣級土地利用、縣級動態監測等,系統建庫標準參考相關國家建庫標準。成果數據的體現按照樹型來組織,第一級是成果主題,然后根據成果組織的類型分為分幅和行政區兩種方式。分幅方式主要是根據標準比例尺將全國區域分為相應數量的邏輯尺寸,數據的組織采用這兩種方式相結合,主要是因為目前有很多已有土地數據成果,本身就是采用分幅來匯交數據,在不改變原有數據的數據范圍下就可以完成數據的拼接。另一方面,一般顯示數據采用行政區省—市—縣逐級索引的,便于數據檢索。
(1)成果分幅管理 標準百萬分幅、標準50 萬分幅、標準25 萬分幅、標準10 萬分幅、標準5萬分幅、標準2.5萬分幅、標準1萬分幅。
(2)成果行政區管理 省級索引圖、市級索引圖、縣級實際成果數據 (圖3)。
圖3a 百萬分幅索引圖
圖3b 全國省界索引圖
圖3c 廣東省界索引圖
圖3d 縣級土地利用專題數據
4.2.2 成果空間數據瀏覽
此功能模塊主要用來實現對存儲在Oracle Spatial中的成果數據進行預覽,主要包括如下空間圖形操作功能。放大、縮小、漫游、全圖、查閱屬性數據、查閱元數據。
4.2.3 成果整合管理
成果庫的建立是通過整合工具將目標數據整合而成。成果的整合管理主要是指將數據整合到成果庫的過程管理,系統提供整合入庫向導輔助完成這個整合過程。整合過程包括如下步驟:①選擇成果目標庫;②查詢選擇整合數據源;③確定數據源與目標庫(數據表)的對應關系,系統支持多種格式的數據源,包括Arcgis shape,Arcgis coverage,Map-gis,VCT 多種國內外主流 GIS 平臺數據格式;④確定數據源屬性表與成果庫數據字段的對應關系;⑤確定數據源元數據與成果庫元數據的對應關系;⑥調用數據整合工具完成目標數據源向成果庫的整合。
4.2.4 成果建庫管理
成果庫包括兩個部分,一個是核心庫,包括分幅信息、行政區索引信息、成果元數據、縣級標準主題庫;另一個部分是成果擴展庫,主要為了實現系統的兼容性和用戶自定義。
由于成果核心數據庫結構是預先生成,在系統正常運行階段不提供用戶接口進行調整,可提供根據預先生成的數據庫腳本重新創建數據庫框架;在不影響資料庫數據整合入庫和數據發布的情況下,通過和開發人員共同合作實現對數據庫的調整。對于成果擴展庫,系統提供建庫向導輔助用戶完成自定義擴展。擴建庫建立向導主要完成如下功能:①定義擴展數據庫、數據表結構;②確定擴展數據庫、數據表與核心庫關系;③定義數據獲取與更新機制。
4.3 應用庫管理子系統
數據的最終目的很大程度上是為了應用于專題中作為數據存儲系統的重要功能,要求實現根據專題用戶輸入應用要求,實現數據提取。完成專題產品的來源可以來自于資料庫和成果庫,由于各種專題的要求并不一致,因此需要具有通用性且功能強大的通用工具,以便實現專題數據產品的生成。
4.4 數據發布管理子系統
土地數據管理模式采用土地數據存域網和土地數據中心對外發布平臺的有機集成管理模式。中國土地勘測規劃院內部土地數據管理由對內發布服務系統實現,社會共享數據和信息管理通過土地數據中心對外發布平臺實現。土地數據資源要求可以被授權用戶使用,使用方式將改變以前通過文件復制的方式,而采用更加方便而且安全有效的方式,即通過信息發布——用戶下載的方式來實現。具體功能包括:①數據查詢;②數據分發申請登記;③數據分發申請審核;④數據分發授權;⑤數據下載服務;⑥數據下載備案。
圖4 數據產品下載申請登記
圖5 數據分發審核管理
4.5 數據整合環境與集成工具包
數據整合處理環境由多個數據提取工具構成。利用數據模型構建工具,面向土地專題應用,構建相應的數據倉庫框架,逐步擴充土地專題業務應用數據庫所涵蓋的土地分析專題;通過開發面向特定土地成果數據庫或土地專題應用的整合特定數據源數據的數據提取工具,逐步充實數據整合處理環境的數據提取工具;通過運行數據提取工具,逐步充實土地成果數據庫和土地專題數據倉庫的內容。編寫數據提取工具,從各土地資料數據庫抽取數據到土地成果數據庫中,由土地成果數據抽取數據到土地專題應用數據庫中。
基于 ESRI Arc/Engine 組件工具,開發服務于“土地數據整合處理”的各種通用 GIS工具組件備用,同時開發具有友好圖形用戶界面,實現基于“土地資料庫”或“土地成果數據庫”及其元數據庫提取特定專題應用產品數據庫的流程管理的專題產品數據庫提取與維護管理系統??紤]到數據產品數據庫創建的復雜性,在系統實現過程中,只實現可自動化進行的流程的管理,對于無法自動化的過程,系統給出信息提示,實施手工處理。
圖6a 數據整合處理環境提取工具
圖6b 通用集成 GIS 工具組件
5 應用展望
當前,加快土地調查評價數據集成既是深化大調查成果的需要,也是國家土地管理新形勢對土地資源調查監測數據集成提出的新要求。充分發揮土地調查評價數據的基礎性作用,促進國家科技數據資源共享也必須對土地數據進行整合集成。如何對多年來取得的國家級土地調查評價數據,特別是大調查數據進行有效集成和管理,并為國家土地管理宏觀決策提供快速、準確的信息服務是國家級土地調查評價數據集成面臨的首要問題?;?SAN 存儲的國家級土地調查數據管理與集成系統,首次將土地數據倉庫技術思想應用于土地數據管理系統建設中,提出資料庫、成品庫、應用庫三庫一體的數據倉庫解決方案,對不同處理級別數據分級存儲,為土地數據挖掘提供可能,也為不同應用目的數據集成提供實現有效途徑。通過該系統建設將能夠實現土地數據管理、土地數據處理和信息發布網絡化,大大提高信息化建設水平。目前本系統已經初步建成,并處于試運行階段,正利用本數據管理集成系統平臺進行全國城市土地利用動態遙感監測數據、1∶1 萬土地利用建庫、土地詳查1∶5 萬縣級土地利用柵格數據等土地調查監測數據的整合集成工作。目前已經完成2004年度全國土地利用動態遙感監測成果數據、“數字國土”工程1∶1 萬土地利用建庫200 多個縣區、土地詳查1∶5 萬縣級土地利用柵格數據全部數據(2000 多個縣)的整合入庫和元數據錄入,并可實現對元數據和數據的管理。系統建設已經初見成效,實現了土地調查數據科學有效管理、避免重復投資,為國家寶貴的數據資源科學管理、有效集成和共享應用打下了堅實基礎??梢灶A見,本系統平臺將在國土資源大調查——土地資源調查數據整合集成發揮重要作用。當然由于受人員、時間,特別是水平等各方面條件的限制,本系統還需要在國家級土地調查監測的數據整合集成實踐中不斷地完善、提高。
san框架的介紹就聊到這里吧,感謝你花時間閱讀本站內容,更多關于三框架網頁的名稱分別為、san框架的信息別忘了在本站進行查找喔。
推薦閱讀: