海量日志分析管理新工具

　　1.云志簡介

　　蟻巡云志，簡稱云志。云志是一個集中存儲、搜索和分析日志的工具，是一個基于大數據處理技術的SaaS服務平臺，提供了四大主要功能：日志集中存儲，實時監測日志，快速搜索分析，及時發出告警。另外提供了日志數據的可視化，通過表格、圖表等形式展示日志的數量、級別、詳細信息等

　　2.功能介紹

　　2.1日志集中存儲：

　　只需簡單的配置，即可將不同類型設備或應用的日志接入到云志中，在瀏覽器中登錄云志即可查看所日志，實現一個系統存儲和管理所有日志的功能。

　　2.2實時監測日志：

　　系統可以將設備或應用的日志實時推送到監測列中，在瀏覽器界面上可實時觀看設備或應用的運行過程。

　　2.3快速搜索分析：

　　系統采用大數據處理技術，能夠實現毫秒級數據查詢。在此基礎上，實現數據分析功能，并提供分析結果的可視化，從而直觀的展示數據中隱藏的價值。

　　2.4及時發出告警：

　　用戶通過設置告警策略，預設可能出現的錯誤日志或者安全日志的關鍵字，當日志中出現包含相關的關鍵字時，系統會通過短信或郵件的方式及時發送告警通知。

　　3.價值特點

　　3.1減少1/4的研發工作量

　　3.2加快產品上線進程

　　3.3加強產品運營及運維能力

　　3.4挖掘并直觀展示海量日志價值

　　4.創業支持計劃

　　云志免費為互聯網行業創業團隊或企業提供3個月vip服務網站日志分析助手 ，期限可以根據實際情況做調整。

　　LogMiner日志分析工具的使用

　　1.安裝logminer：

　　要安裝LogMiner工具，必須首先要運行下面這樣兩個腳本，

　　$ORACLE_HOME/rdbms/admin/dbmslm.sql

　　$ORACLE_HOME/rdbms/admin/dbmslmd.sql.

　　這兩個腳本必須均以SYS用戶身份運行。

　　*************使用字典文件存儲在flat file中*****************************

　　2.創建數據字典文件

　　ALTER SYSTEM SET UTL_FILE_DIR = 'd:\oracle\logmnr' SCOPE=SPFILE;

　　重新啟動數據庫，使新加的參數生效，然后創建數據字典文件：

　　EXECUTE dbms_logmnr_d.build(dictionary_filename => 'dirctionary.ora', dictionary_location => 'D:\oracle\logmnr',options => dbms_logmnr_d.store_in_flat_file);

　　3.創建要分析的日志文件列表

　　EXECUTE dbms_logmnr.add_logfile(LogFileName=>'c:\1_3814.dbf', Options=>dbms_logmnr.new);

　　EXECUTE dbms_logmnr.add_logfile( LogFileName=>'c:\1_3815.dbf',Options=>dbms_logmnr.addfile);

　　4.使用LogMiner進行日志分析

　　EXECUTE dbms_logmnr.start_logmnr(DictFileName=>'D:\oracle\logmnr\dirctionary.ora');

　　***********************************************************************

　　*************使用字典文件存儲在redo file中(推薦這種方法，不需要重啟數據庫)*****************************

　　2.創建數據字典到redo file

　　EXECUTE DBMS_LOGMNR_D.build(options => DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

　　3.創建要分析的日志文件列表

　　EXECUTE dbms_logmnr.add_logfile(LogFileName=>'c:\1_3814.dbf', Options=>dbms_logmnr.new);

　　EXECUTE dbms_logmnr.add_logfile( LogFileName=>'c:\1_3815.dbf',Options=>dbms_logmnr.addfile);

　　4.使用LogMiner進行日志分析

　　EXECUTE DBMS_LOGMNR.start_logmnr(Options => DBMS_LOGMNR_D.STORE_IN_REDO_LOGS);

　　********************************************************************************************************

　　5.觀察分析結果

　　CREATE TABLE temp AS SELECT * FROM v$logmnr_contents;

　　6.終止日志分析事務，此時PGA內存區域被清除，分析結果也隨之不再存在

　　EXECUTE dbms_logmnr.end_logmnr();

　　7.其他注意事項

　　我們可以利用LogMiner日志分析工具來分析其他數據庫實例產生的重作日志文件，而不僅僅用來分析本身安裝LogMiner的數據庫實例的redo logs文件。使用LogMiner分析其他數據庫實例時，有幾點需要注意：

　　1. LogMiner必須使用被分析數據庫實例產生的字典文件，而不是安裝LogMiner的數據庫產生的字典文件，另外必須保證安裝LogMiner數據庫的字符集和被分析數據庫的字符集相同。

　　2. 被分析數據庫平臺必須和當前LogMiner所在數據庫平臺一樣，也就是說如果我們要分析的文件是由運行在UNIX平臺上的Oracle 8i產生的，那么也必須在一個運行在UNIX平臺上的Oracle實例上運行LogMiner，而不能在其他如Microsoft NT上運行LogMiner。當然兩者的硬件條件不一定要求完全一樣。

　　3. LogMiner日志分析工具僅能夠分析Oracle 8以后的產品，對于8以前的產品，該工具也無能為力。

　　8.對于oracle 10g在使用logmnr時必須提前設置SUPPLEMENTAL LOG DATA

　　ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (PRIMARY KEY, UNIQUE INDEX) COLUMNS;

　　刪除SUPPLEMENTAL LOG DATA功能

　　網站診斷分析工作中常用的幾個工具

　　對于網站診斷來說，由于要診斷網站在搜索引擎中的表現和網站異常，那么在對索引、鏈接指向和蜘蛛抓取等方面的分析就顯得很重要。Google管理員工具不但提供了完善的數據分析，還能指出網站存在的問題。在診斷分析工作中，37網絡認為用的最多的三個欄目是：搜索流量、Google索引和抓取。搜索流量欄目中我們可以查詢到關鍵詞搜索查詢、鏈接和手動操作。值得一提的是，指向您網站的鏈接功能尤其給力;不但可以詳細檢測出與自己網站鏈接的對象，還能通過鏈接次數最多的內容順藤摸瓜找出源頭網站(這一點在分析惡意外鏈的時候特別有用)。

　　另外，可能由于Google數據庫過于龐大，內部鏈接功能有些滯后，相當一部分鏈接還可能是上一兩個月的舊網址。Google索引狀態中高級功能還能看到編入索引和被robots.txt阻止的頁面數。內容關鍵詞則是單個關鍵詞在頁面中呈現的重要性。抓取欄目又是一大強勁工具。37網絡在分析網站錯誤和訪問異常的時候，習慣使用抓取欄目的工具;抓取錯誤包含DNS、服務器連接、Robots.txt抓取、網址錯誤羅列都非常詳細。Google是分析搜索引擎抓取頁面的過程。這是一個非常詳細的數據呈現，在模擬搜索引擎的時候用得著。

　　百度站長工具

　　在國內百度搜索引擎是老大，很多排名工作也是圍繞百度展開的。因此百度站長工具也就成了廣大站長診斷分析網站的首選。 百度站長工具有些功能是模仿Google管理員工具的(比如最近推出的抓取診斷工具)。不過百度站長工具更符合國內用戶習慣。網站診斷工作中，我們最多用到的是網站分析欄目的工具。比如百度索引量、關鍵詞、抓取異常、外鏈等。可以查看索引量變化，近期是否有劇烈動蕩;抓取是否異常，近期網站和網址是否異常;外鏈分析是一個比較有用的功能，可以分析出是否有惡意外鏈，還能批量拒絕外鏈。

　　SEO綜合查詢

　　SEO綜合查詢工具想必是幾乎所有站長在網站優化中必備的工具了。如果上述兩種工具是較私密的網站數據外，那么SEO查詢工具查詢出來的則是優化中公開的數據了。在診斷分析工作中，37網絡建議大家著重要檢查的就是網站設置，關鍵詞選取和搭配，site數量，百度權重(主要是排名問題)，快照時間和可視化的鏈接表現。SEO綜合查詢工具集當然不僅僅是這些，還有很多細節上的查詢在網站診斷中也需要注意，比如模擬搜索引擎，長尾關鍵字，同IP查詢諸如此類。

　　xenu

　　網站診斷中鏈接分析是很重要的一環。雖然在Google管理員工具中有內部鏈接的分析，但談到專業性的內鏈分析，那就應該使用xenu了，雖然在一些朋友意識中這是死鏈接分析工具。它是一個強大的網站內鏈分析工具。當然xenu在分析站內死鏈接上尤其有名，能全方位挖掘出網站內部隱藏鏈接和死鏈接。xenu可以詳細分析出網站站內鏈接的指向，讓我們分析出網站鏈接到哪里，哪些鏈接指向這個頁面，這也有利于分析網站權重的分配。

　　opensiteexplorer

　　在分析網站排名問題的時候，不但要分析內鏈的建設和搭配，還要了解網站的外鏈。當然現在還沒有一個工具可以完全分析出競爭對手的所有外鏈。但，我們仍然有很棒的鏈接分析工具opensiteexplorer。這是國外的一款分析工具。運行速度并不快，而且查詢出來的數據并不一定新。37網絡提醒大家本工具中還有詳細的參數可以設置，比如錨文本、只nofollow、導入鏈接等。在對競爭對手網站分析的時候是一個比較實用的外鏈分析工具。

　　光年日志分析系統

　　這個不用說，想必大家也都知道，在網站日志分析的時候，用的很多很有名的日志分析系統。網站分析離不開分析網站日志。這涉及到蜘蛛來訪，抓取和異常問題，很多的問題都已經詳細記錄在網站日志里了。我們要做的就是通過日志分析系統分析網站狀況。不過想必大家也知道，很多虛擬主機的控制后臺都有日志下載功能，這對網站診斷工作節省了不少工作量。

　　流量統計工具

　　我們所說的網站流量統計工具可能并不局限于一種。37網絡之所以沒有列出一個代表性的流量統計工具，是因為一般我們建站之后都會安裝統計代碼，用以分析網站流量。常用的CNZZ、百度統計、51啦等。這些統計后臺每天都有詳細的記錄，對獨立訪客、搜索關鍵詞、頁面受訪等數據都有詳細的記載。在對流量分析和用戶分析的時候是不可或缺的幫手。