網(wǎng)絡(luò)輿情監(jiān)測分析系統(tǒng)軟件
1.1總體需求
Ø 輿情選題子系統(tǒng)負(fù)責(zé)輿情的宏觀選題,為采集子系統(tǒng)實(shí)施采集提供大致范疇和關(guān)鍵詞。
Ø 輿情采集子系統(tǒng)是整個系統(tǒng)的直接數(shù)據(jù)來源,它根據(jù)選題系統(tǒng)提供的采集范疇和關(guān)鍵詞,從互聯(lián)網(wǎng)上按照不同的權(quán)重、不通的采集時間間隔和不通的采集方式,獲取輿情信息的第一手資料,為分析子系統(tǒng)提供數(shù)據(jù)支撐。
Ø 輿情分析子系統(tǒng)將采集子系統(tǒng)從互聯(lián)網(wǎng)上抽取的數(shù)據(jù)通過過濾、分類、聚合等數(shù)據(jù)挖掘方式,進(jìn)行定性分析、定量分析,為人工分析和研判提供技術(shù)支撐。
Ø 輿情報警子系統(tǒng)將輿情分析子系統(tǒng)分析后的數(shù)據(jù),按照預(yù)先設(shè)定的報警指標(biāo)進(jìn)行判別,達(dá)到一定的條件及時通過各種方式通知相關(guān)人員,為輿情處置贏得時間。
Ø 輿情發(fā)布子系統(tǒng)為用戶提供友好的人機(jī)界面,進(jìn)行實(shí)時監(jiān)控、數(shù)據(jù)查詢、統(tǒng)計與分析,同時提供豐富的服務(wù)接口為其它系統(tǒng)的二次開發(fā)提供數(shù)據(jù)和業(yè)務(wù)支撐。
Ø 任務(wù)管理子系統(tǒng)對選題子系統(tǒng)、采集子系統(tǒng)、分析子系統(tǒng)和報警子系統(tǒng)的工作進(jìn)行調(diào)度,充分利用有限的軟硬件和網(wǎng)絡(luò)資源,合理分配調(diào)度任務(wù),使得整個系統(tǒng)的運(yùn)行條件和服務(wù)能力達(dá)到優(yōu)。北京軟件公司有哪些?
Ø 數(shù)據(jù)管理子系統(tǒng)對整個系統(tǒng)的數(shù)據(jù)進(jìn)行管理,及時分類、歸檔、清洗、備份,優(yōu)化數(shù)據(jù)庫的查詢效率,提高用戶的體驗。
Ø 客戶服務(wù)子系統(tǒng)對個系統(tǒng)的用戶進(jìn)行注冊、訂購、支付、權(quán)限管理、滿意度調(diào)查等,為系統(tǒng)的循序漸近的優(yōu)化提供參考依據(jù)。
開發(fā)過程中需要針對軟件的每個功能細(xì)節(jié)進(jìn)行設(shè)計和開發(fā),以求開發(fā)出一款卓越的人機(jī)交互界面更加人性化、執(zhí)行效率更高、可操作性更強(qiáng)的軟件,確保該軟件成為一款高品質(zhì)的產(chǎn)品。其需求總結(jié)如下:北京大數(shù)據(jù)公司有哪些?
Ø 圖形化設(shè)計更符合用戶的使用習(xí)慣,方便操作;
Ø 人機(jī)交互界面風(fēng)格基本統(tǒng)一;
Ø 數(shù)據(jù)結(jié)構(gòu)保持完整性和統(tǒng)一性;
Ø 體現(xiàn)系統(tǒng)強(qiáng)大的交互式功能;
Ø 系統(tǒng)功能具備很強(qiáng)的可擴(kuò)展性;
Ø 系統(tǒng)管理和數(shù)據(jù)交互功能更加智能;
1.2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)
網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖
輿情監(jiān)測分析內(nèi)網(wǎng)包括選題及采集服務(wù)器、分析服務(wù)器、報警服務(wù)器、任務(wù)管理服務(wù)器、輿情發(fā)布及客服Web服務(wù)器集群、數(shù)據(jù)庫服務(wù)器集群、數(shù)據(jù)存儲。外網(wǎng)互聯(lián)網(wǎng)對象包括各類用戶和各類監(jiān)測對象,其中用戶通過“發(fā)布服務(wù)系統(tǒng)”專用網(wǎng)絡(luò)鏈路接入到系統(tǒng)中;系統(tǒng)對互聯(lián)網(wǎng)對象進(jìn)行數(shù)據(jù)采集時,則通過“監(jiān)測采集系統(tǒng)專用網(wǎng)絡(luò)鏈路”對監(jiān)測對象進(jìn)行采集。外網(wǎng)對象接入內(nèi)網(wǎng)時,先要經(jīng)過防火墻進(jìn)行過濾。北京軟件開發(fā)公司有哪些?
1.3系統(tǒng)主要功能需求
網(wǎng)絡(luò)輿情監(jiān)測分析系統(tǒng)包括:輿情選題子系統(tǒng)、輿情采集子系統(tǒng)、輿情分析子系統(tǒng)、輿情報警子系統(tǒng)、輿情發(fā)布子系統(tǒng)、任務(wù)管理子系統(tǒng)、數(shù)據(jù)管理子系統(tǒng)、客戶服務(wù)子系統(tǒng)八大了系統(tǒng)。1.3.1需求功能圖如下圖所示:
需求功能圖
1.3.3功能模塊
1.3.3.1輿情選題子系統(tǒng)
網(wǎng)絡(luò)輿情的選題是輿情監(jiān)測機(jī)構(gòu)對于準(zhǔn)備實(shí)施監(jiān)測的輿情主題或題目的一種設(shè)想和構(gòu)思,選題名稱一般由監(jiān)測范圍、關(guān)鍵詞、服務(wù)對象等構(gòu)成。通過實(shí)時監(jiān)測論壇首頁推薦、門戶網(wǎng)站新聞排行、BBS熱帖排行、博客標(biāo)簽排行、微博話題排行和搜索引擎與百科熱詞,可直接獲得網(wǎng)絡(luò)輿情的選題。
1.3.3.1.1對門戶網(wǎng)站及論壇首頁進(jìn)行監(jiān)測
在網(wǎng)絡(luò)輿情監(jiān)測中,為了迅速查找近期重大網(wǎng)絡(luò)熱點(diǎn),我們應(yīng)該關(guān)注新聞門戶網(wǎng)站和論壇的熱點(diǎn)排行榜。另外,對于當(dāng)天的重大網(wǎng)絡(luò)輿情監(jiān)測也要注意門戶新聞網(wǎng)熱點(diǎn)排行。包括:新浪熱門新聞排行、人民網(wǎng)新聞排行榜、騰訊新聞排行、新華網(wǎng)24小時新聞排行、鳳凰網(wǎng)點(diǎn)擊新聞排行、央視網(wǎng)新聞臺排行、網(wǎng)易新聞排行、搜狐新聞網(wǎng)評排行榜等。
論壇首頁推薦內(nèi)容連接到頻道頁面的方式在各大網(wǎng)站都是普遍采用的處理方式。一般通過采集當(dāng)天的重點(diǎn)論壇首頁和重要板塊首頁,可以在要聞區(qū)獲得相關(guān)重大輿情信息。包括:
天涯社區(qū)、網(wǎng)易論壇、華聲論壇、中華網(wǎng)論壇、鳳凰論壇、大洋論壇、京華論壇、Tom社區(qū)、鐵血社區(qū)、QQ論壇、雅虎口碑論壇、西祠胡同、中新網(wǎng)論壇、在線論壇、南方論壇、請柬論壇、環(huán)球論壇、新華社區(qū)、凱迪社區(qū)、新浪論壇、貓撲社區(qū)、央視網(wǎng)論壇、搜狐社區(qū)、人民網(wǎng)強(qiáng)國社區(qū)、奧一網(wǎng)等。
1.3.3.1.2對BBS熱帖排行進(jìn)行監(jiān)測
全國部分論壇熱帖排行榜:天涯雜談新帖排行、天涯聚焦周報、凱迪社區(qū)凱迪頭條、凱迪社區(qū)熱點(diǎn)事件、凱迪社區(qū)排行榜、強(qiáng)國論壇熱帖排行、強(qiáng)國論壇熱評排行、強(qiáng)國論壇熱帖推薦、強(qiáng)國社區(qū)每日精華、人民網(wǎng)掘客最熱排行、鳳凰論壇有料天天報、鳳凰論壇熱帖排行、新華社區(qū)24小時排行、新華社區(qū)特貼排行、網(wǎng)易論壇風(fēng)云榜、新浪熱帖排行榜、搜狐新聞社區(qū)熱帖、搜狐社區(qū)熱門評論、華聲論壇搜索排行、騰訊論壇新聞?wù)搲⒋笃炀W(wǎng)焦點(diǎn)訪談、大旗網(wǎng)社會熱點(diǎn)精選、大旗網(wǎng)社會頭條精選、大旗網(wǎng)社會版熱點(diǎn)排行等。北京軟件開發(fā)公司。
1.3.3.1.3對博客/微博標(biāo)簽排行進(jìn)行監(jiān)測
我國知名的博客平臺包括新浪博客、搜狐博客、博客大巴、博客中國、鳳凰博報等,博客標(biāo)簽排行榜一般是根據(jù)相關(guān)文章數(shù)量、網(wǎng)民關(guān)注度、社會影響力等因素進(jìn)行的綜合排行。主要包括:博客大巴熱門Tag搜索、新浪博客標(biāo)簽排行搜索、搜狐博客熱門標(biāo)簽搜索、天涯首頁熱門標(biāo)簽、博客中國百科熱門標(biāo)簽、博客中國百科新聞維客、新浪博客排行榜、搜狐博文排行榜、天涯博客排行榜、博客中國排行榜、博客中國支持排行榜、科技中國排行榜大全、騰訊博文熱門排行、和訊新博報等。
知名微博話題榜包括:
新浪微博話題榜、新浪微博熱門標(biāo)簽、騰訊微博話題榜、搜狐微博話題榜、網(wǎng)易微博話題榜、和訊微博話題首頁、人民網(wǎng)微博熱榜等。軟件公司。
1.3.3.1.4固定選題
固定選題是持續(xù)關(guān)注、連續(xù)監(jiān)測的選題,例如在消防輿情監(jiān)測系統(tǒng)中,以消防綜合、消防管理、滅火救援、部隊管理等專題作為持續(xù)關(guān)注的選題,對各類網(wǎng)站進(jìn)行監(jiān)測。主要包括以下方面:1) 消防綜合類:消防、消防官兵、消防干部、消防警官、消防戰(zhàn)士、消防士官、消防文員、合同制消防員、消防文職雇員、消防志愿者、消防人員、消防隊、消防站、火災(zāi)、大火、火警、滅火等。
2) 消防管理類:消防坑爹、消防執(zhí)法不作為、消防無法無天、消防亂處罰、消防亂罰款、消防亂收費(fèi)、消防培訓(xùn)收費(fèi)、消防吃拿卡要、消防腐敗、消防收賄、消防受賄、消防打人、消防抓人、消防執(zhí)法蠻橫等。
3) 滅火救援類:消防滅火收費(fèi)、119報警電話無人接聽、消防隊出警慢、消防隊到場慢、消防車無水、消火栓無水、消防員見死不救、消防隊不作為、消防隊救援不力、消防隊撲救不力、消防指揮不力、消防人員死亡、消防人員受傷等。
4) 部隊管理類:消防車輛事故、消防戰(zhàn)士犧牲、消防裝萌、消防賣萌、消防屌絲、消防2B、消防炫富、消防高富帥、消防白富美、消防富二代、消防官二代、消防對罵、消防女警官、消防美女等。軟件公司有哪些
需要針對這些主題內(nèi)容,精準(zhǔn)篩選出關(guān)鍵詞。
1.3.3.2輿情采集子系統(tǒng)
輿情采集的方法是通過輿情采集工具,抓取不同背景和來源的言論媒介上的第一手樣本數(shù)據(jù)。平臺除了基本的關(guān)鍵詞的新聞搜索以外,還能對微博進(jìn)行定向抓取、閱讀數(shù)量、轉(zhuǎn)發(fā)數(shù)量等。對于采集功能,需要采用先進(jìn)的自動分析抽取網(wǎng)頁結(jié)構(gòu)的技術(shù),支持網(wǎng)站模版的配置,提供多種網(wǎng)站模版庫資源,實(shí)現(xiàn)抽取網(wǎng)頁中的有效信息。針對目前很多網(wǎng)站、博客、論壇大量使用JS(JavaScript)腳本的情況,需要在采集平臺中內(nèi)置js腳本執(zhí)行引擎。對于采集數(shù)據(jù)量大的情況,支持分布式集群采集,通過任務(wù)管理子系統(tǒng)對這些采集程序進(jìn)行調(diào)度。
對于采集的對象,主要考慮網(wǎng)站載體權(quán)重、內(nèi)容版面權(quán)重、意見領(lǐng)袖權(quán)重等。
1.3.3.2.1網(wǎng)站載體
輿情抽樣的網(wǎng)站權(quán)重是指根據(jù)網(wǎng)站瀏覽量的大小和地域性范圍的定位、專業(yè)權(quán)威的特質(zhì)等,在輿情工作中,作為重點(diǎn)監(jiān)測和采集的對象。重點(diǎn)輿情監(jiān)測網(wǎng)站上的文章的影響力要比一般網(wǎng)頁大很多,在數(shù)量積累方面要加大權(quán)重。1) 全國性網(wǎng)絡(luò)論壇
全國性論壇在往上較為火爆的有天涯社區(qū)、凱迪社區(qū)、西祠胡同、央視復(fù)興論壇、人民網(wǎng)強(qiáng)國論壇、新華發(fā)展論壇、百度貼吧、奇虎社區(qū)、大旗網(wǎng)、鳳凰網(wǎng)社區(qū)、新浪論壇、搜狐社區(qū)、網(wǎng)易論壇、騰訊論壇、貓撲、中華網(wǎng)社區(qū)、鐵血論壇等。
2) 熱點(diǎn)思想類網(wǎng)站
國內(nèi)論壇網(wǎng)站中,除了天涯社區(qū)天涯雜談、凱迪社區(qū)貓眼看人、人民網(wǎng)強(qiáng)國論壇、新華網(wǎng)發(fā)展論壇和中華網(wǎng)雜談之外,還有幾個思想類網(wǎng)站需要重點(diǎn)關(guān)注,如中國選舉與治理網(wǎng)、共識網(wǎng)、烏有之鄉(xiāng)、愛思想、噴嚏網(wǎng)、牛博網(wǎng)、一五一十部落等。這些網(wǎng)站往往會有很多政治性話題,高度關(guān)注國內(nèi)外輿情熱點(diǎn),也匯集了不少持有不同觀點(diǎn)的活躍網(wǎng)友,需要重視。
3) 門戶網(wǎng)站排行
依照網(wǎng)站影響力與公信力系數(shù),門戶網(wǎng)站的權(quán)重從高到低一次分別是:
a) 中央重點(diǎn)新聞網(wǎng)站,如新華網(wǎng)、人民網(wǎng)、中新網(wǎng)、中國網(wǎng)等;
b) 全國性門戶網(wǎng)站,如新浪、搜狐、騰訊、網(wǎng)易、百度新聞、財經(jīng)網(wǎng)等;軟件公司。
c) 地方重點(diǎn)新聞網(wǎng)站,地方都市報網(wǎng)站
d) 三大證券報(中國證券報、上海證券報、證券時報)和其它財經(jīng)媒體網(wǎng)站
e) 行業(yè)與專業(yè)網(wǎng)站
f) 政府機(jī)構(gòu)網(wǎng)站
g) 大學(xué)、科研機(jī)構(gòu)網(wǎng)站
h) 一般網(wǎng)站等
4) 地方重點(diǎn)網(wǎng)站
側(cè)重權(quán)威性、影響大的論壇、博客、新聞網(wǎng)站,如黑磚窯《400位父親泣血呼救》從大河網(wǎng)轉(zhuǎn)到天涯社區(qū),才發(fā)生全國性影響。
1.3.3.2.2內(nèi)容版面
在對于輿情采集的標(biāo)準(zhǔn)上,事件或話題敏感、關(guān)注度高、點(diǎn)擊多、回復(fù)多、人氣高的新聞或者評論;時效性強(qiáng)、以新失態(tài)發(fā)展為由頭的新帖;各大媒體和網(wǎng)站的首頁、頭版頭條、置頂帖和專題等,是重點(diǎn)的采集對象。互聯(lián)網(wǎng)上的往右言論主要分布在各種論壇/BBS原帖、博客、網(wǎng)站專題、新聞評論等平臺中,采集時還應(yīng)關(guān)注貼文的瀏覽數(shù)、轉(zhuǎn)載數(shù)、回復(fù)量、支持率、反對率等。
1.3.3.2.3意見領(lǐng)袖
在近幾年的社會熱點(diǎn)中,網(wǎng)絡(luò)意見領(lǐng)袖的作用突顯,立場出現(xiàn)分化趨勢。在一些突發(fā)事件中,在官方傳統(tǒng)媒體失語或者報道不及時的情況下,網(wǎng)民習(xí)慣于打開網(wǎng)絡(luò)意見領(lǐng)袖的博客或追逐其微博上的只言片語,從他們哪里尋找解讀、剖析和批判。首先是數(shù)量龐大的傳統(tǒng)媒體從業(yè)者迅速在網(wǎng)絡(luò)中成長,如笑蜀、李承鵬、黃健翔、梁樹新、鄧飛、王克勤、連岳、雷宇、長平、邊民、五岳散人、十年砍柴等人?;ヂ?lián)網(wǎng)上段、平、快和無障礙的報道新聞、尖銳評說時事的方式,比他們從業(yè)的傳統(tǒng)媒體更具活力,而且逐漸形成了品牌和名人效應(yīng),引起全社會的廣泛重視。
其次,在“公共知識分子”范疇的意見領(lǐng)袖,包括作家、學(xué)者、藝術(shù)家、律師等,如韓寒、于建嶸、戴旭、周澤、牧沐、孫云曉、陳銘龍、沈志華、袁騰飛等,他們以身后的文化工地觀察和描繪社會,對于各種突發(fā)事件和社會熱點(diǎn)暢所欲言,觀點(diǎn)更為開放透明,所以給媒體記者提供了極為便利的信息渠道。
第三類是網(wǎng)上活躍的明星、名人等,如劉翔、徐靜蕾、姚晨、周立波等。經(jīng)驗表明,明星和公共人物往往一上網(wǎng)就會獲得比普通網(wǎng)友更高的關(guān)注度和影響力。再以財經(jīng)業(yè)余觀察家和自由撰稿人而言,網(wǎng)絡(luò)關(guān)注度較高的有徐小明、葉檀、時寒冰、曹建海、牛刀、水皮、秋風(fēng)等。
第四類是積極接觸網(wǎng)絡(luò)的黨政官員。如云南省委宣傳部副部長伍皓、國務(wù)院新聞辦處長侯召迅和湖南湘潭雨湖區(qū)官員張洪峰等。今年中國政壇形成部分官員上網(wǎng)、部分官員的“網(wǎng)絡(luò)恐懼癥”和“雷人雷語”并存的特有現(xiàn)象。體制內(nèi)一線領(lǐng)袖能夠促進(jìn)官民溝通,呼喚官場的黨性、良知和改革動力,有利于輿論新格局的形成。
第五類是真正的普通自由職業(yè)者和活躍網(wǎng)友,如著名的往右“屠夫”對鄧玉嬌案的現(xiàn)實(shí)參與。
1.3.3.3輿情分析子系統(tǒng)
輿情分析子系統(tǒng)需要提供豐富的信息處理工具,可以對信息進(jìn)行自動分類,自動聚類,自動提取關(guān)鍵詞和摘要,自動排重,過濾垃圾信息等。另外帶有人物、地域、機(jī)構(gòu)等知識庫,能夠通過算法和規(guī)則自動識別出這些實(shí)體名稱。用戶通過對這些處理工具的組合應(yīng)用,可以化繁為簡,及時準(zhǔn)確監(jiān)測到自己需要監(jiān)控的輿情信息。1.3.3.3.1自動分類
分析輿情文章的特征,并與實(shí)現(xiàn)定義好的各種類別具有的共同特征進(jìn)行比較,然后將輿情對象劃歸為特征接近的一類,并賦予相應(yīng)的分類代碼。1.3.3.3.2自動聚類
基于相似性算法的自動聚類技術(shù),自動對海量的無規(guī)則文檔進(jìn)行歸類,把內(nèi)容相近的文檔歸為一類,并自動為其生成主題詞,為確定類目名稱提供方便。1.3.3.3.3自動排重
通過相似性檢索,找出輿情信息內(nèi)容雷同文章,對相似、雷同文章消重處理;還根據(jù)文章主題相似性,生成專題報道,背景分析等。1.3.3.3.4垃圾信息過濾
通過設(shè)定關(guān)鍵詞和判別規(guī)則,將明顯與輿情專題無關(guān)的信息排除掉。1.3.3.3.5人物名稱識別
通過建立人物名稱知識庫,對輿情信息中包含的人物名稱進(jìn)行判別。1.3.3.3.6地理位置識別
通過建立地理位置知識庫,對輿情信息中包含的地理位置進(jìn)行判別。1.3.3.3.7機(jī)構(gòu)名稱識別
通過建立機(jī)構(gòu)名稱知識庫,對輿情信息中包含的機(jī)構(gòu)名稱進(jìn)行判別。1.3.3.4輿情報警子系統(tǒng)
將輿情分析子系統(tǒng)分析后的數(shù)據(jù),按照預(yù)先設(shè)定的報警指標(biāo)進(jìn)行判別,達(dá)到一定的條件及時通過各種方式通知相關(guān)人員,為輿情處置贏得時間。1.3.3.4.1首頁報警
針對輿情信息在首頁位置出現(xiàn)的特殊意義和影響,針對各大網(wǎng)站(比如新浪、搜狐、網(wǎng)易、騰訊、人民網(wǎng)等和本地有名的地方性門戶)、著名論壇、地方性論壇等權(quán)重比較大的網(wǎng)站首頁信息進(jìn)行的高效率監(jiān)控,系統(tǒng)以非常迅速的方法掃描這些網(wǎng)站的首頁,如果發(fā)現(xiàn)首頁中出現(xiàn)了要監(jiān)控的關(guān)鍵字,則會以醒目的方式進(jìn)行報警。1.3.3.4.2敏感詞報警
對通過輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,報警系統(tǒng)自動對文章的內(nèi)容進(jìn)行中文分詞并自動比照,如果發(fā)現(xiàn)文章內(nèi)容中涉及到敏感詞,則以醒目的方式在“敏感報警”欄目中顯示。如“法輪功”。1.3.3.4.3敏感地域報警
對通過輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,通過對用戶配置的地理位置關(guān)鍵詞分析,如果出現(xiàn)的地理名稱達(dá)到一定的指標(biāo),則產(chǎn)生“敏感地域”報警。如“汶川”。1.3.3.4.4敏感機(jī)構(gòu)報警
對通過輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,通過對用戶配置的機(jī)構(gòu)名稱關(guān)鍵詞分析,如果出現(xiàn)的人物名稱達(dá)到一定的指標(biāo),則產(chǎn)生“敏感機(jī)構(gòu)報警。如“紅十字會”。1.3.3.4.5敏感人物報警
對通過輿情分析子系統(tǒng)之后的產(chǎn)生的數(shù)據(jù)進(jìn)行再次分析,通過對用戶配置的人物名稱關(guān)鍵詞分析,如果出現(xiàn)的人物名稱達(dá)到一定的指標(biāo),則產(chǎn)生“敏感人物報警。如“郭美美”。1.3.3.4.6推送對象與推送方式
產(chǎn)生報警時,將報警信息推送到預(yù)先設(shè)定的對象,可通過網(wǎng)站客戶端、電子郵件、手機(jī)短信等方式進(jìn)行推送。1.3.3.5輿情發(fā)布子系統(tǒng)
在已經(jīng)采集和分析的這個龐大信息庫里,提供各類輿情展示界面和豐富的高級檢索功能,包括可以按關(guān)鍵詞、時間、分類、地域、人物、機(jī)構(gòu)、信息源等組合進(jìn)行高級檢索,方便用戶準(zhǔn)確鎖定自己關(guān)注的輿情信息,并提供這些數(shù)據(jù)內(nèi)在的聯(lián)系和趨勢圖,便于用戶從事件起源、傳播、發(fā)展、平息等角度把握輿情時間發(fā)展動態(tài)。1.3.3.5.1個性化桌面
個性化桌面上,用戶可以根據(jù)自己的工作習(xí)慣定義,用戶通過“添加記錄”功能即可添加要顯示的模塊。1.3.3.5.2今日輿情
輿情展示子系統(tǒng)中對眾多采集下來的網(wǎng)絡(luò)輿情進(jìn)行了科學(xué)的分類,當(dāng)天采集到的網(wǎng)絡(luò)輿情會統(tǒng)計集中在今日輿情中(輿情),通過這個欄目可以對當(dāng)天發(fā)生的網(wǎng)絡(luò)輿情一目了然。1.3.3.5.3報警輿情
將“輿情報警子系統(tǒng)”中產(chǎn)生的首頁報警、敏感詞報警、敏感地域報警、敏感任務(wù)報警、敏感機(jī)構(gòu)報警等各類報警信息推送到此處。1.3.3.5.4輿情檢索
系統(tǒng)提供統(tǒng)一的查詢檢索入口,對各種來源各種格式的社會公開信息進(jìn)行查詢和檢索。檢索結(jié)果可按類別、相似度、重復(fù)度、信息發(fā)布時間等多種方式進(jìn)行排序。該系統(tǒng)支持元搜索技術(shù),可以對多個通用的互聯(lián)網(wǎng)搜索引擎進(jìn)行聯(lián)和檢索,并在同一個界面返回檢索結(jié)果,配合合理的檢索策略,可大大提高檢索效率。1.3.3.5.5統(tǒng)計報表
按照時間、選題、分類、地域、人物、機(jī)構(gòu)等各種維度對輿情信息進(jìn)行查詢與統(tǒng)計,可用不同的方法對數(shù)據(jù)進(jìn)行展示,如直方圖、餅圖等,并形成相應(yīng)的報表。1.3.3.6任務(wù)管理子系統(tǒng)
對選題子系統(tǒng)、采集子系統(tǒng)、分析子系統(tǒng)和報警子系統(tǒng)的工作進(jìn)行調(diào)度,充分利用有限的軟硬件和網(wǎng)絡(luò)資源,合理分配調(diào)度任務(wù),使得整個系統(tǒng)的運(yùn)行條件和服務(wù)能力達(dá)到。同時任務(wù)管理子系統(tǒng)定期對監(jiān)測對象的網(wǎng)站結(jié)構(gòu)和網(wǎng)頁結(jié)構(gòu)進(jìn)行分析,如果對象的結(jié)構(gòu)發(fā)生變化,則告知后臺工作人員對采集分析模版進(jìn)行相應(yīng)的調(diào)整。
1.3.3.6.1選題調(diào)度
調(diào)度選題子系統(tǒng)抽樣的頻率、采樣對象空間、時間、模版及權(quán)重。1.3.3.6.2采集調(diào)度
調(diào)度采集子系統(tǒng)的任務(wù)進(jìn)程分配、采集頻率、采集對象空間、解析模版及權(quán)重、COOKIE管理等。1.3.3.6.3分析調(diào)度
調(diào)度分析系統(tǒng)的任務(wù)進(jìn)程分配、分析頻率、分析算法及分析模版。1.3.3.6.4報警調(diào)度
調(diào)度報警子系統(tǒng)的進(jìn)程分配、檢測頻率、報警算法、推送對象及推送方式。1.3.3.6.5網(wǎng)站結(jié)構(gòu)監(jiān)測
系統(tǒng)定期對監(jiān)測對象的網(wǎng)站結(jié)構(gòu)和網(wǎng)頁結(jié)構(gòu)進(jìn)行分析,如果對象的結(jié)構(gòu)發(fā)生變化,則告知后臺工作人員對采集分析模版進(jìn)行相應(yīng)的調(diào)整。1.3.3.7數(shù)據(jù)管理子系統(tǒng)
輿情數(shù)據(jù)庫是一個龐大的數(shù)據(jù)庫,需要性能優(yōu)秀的數(shù)據(jù)存儲硬件和功能強(qiáng)大的數(shù)據(jù)庫管理平臺,以對整個系統(tǒng)的數(shù)據(jù)進(jìn)行存儲、管理,及時分類、歸檔、清洗、備份,優(yōu)化數(shù)據(jù)庫的查詢效率,提高用戶的體驗。1.3.3.7.1數(shù)據(jù)存儲
數(shù)據(jù)存儲的速率和容量主要依托于存儲硬件設(shè)備,擬通過光纖通道(Fibre Channel)技術(shù)連接存儲設(shè)備和應(yīng)用服務(wù)器,使得存儲設(shè)備具有很好的傳輸速率和擴(kuò)展性能。1.3.3.7.2數(shù)據(jù)管理
采用已經(jīng)關(guān)系型數(shù)據(jù)庫系統(tǒng),在數(shù)據(jù)庫系統(tǒng)中所建立的數(shù)據(jù)結(jié)構(gòu),充分地描述數(shù)據(jù)間的內(nèi)在聯(lián)系,便于數(shù)據(jù)修改、更新與擴(kuò)充,同時保證了數(shù)據(jù)的獨(dú)立性、可靠、安全性與完整性,減少了數(shù)據(jù)冗余,提高數(shù)據(jù)共享程度及數(shù)據(jù)管理效率。1.3.3.7.3數(shù)據(jù)歸檔
在數(shù)據(jù)庫中劃分獨(dú)立的數(shù)據(jù)歸檔空間,將不再經(jīng)常使用的數(shù)據(jù)移到這個空間來進(jìn)行長期保存的過程。數(shù)據(jù)歸檔由舊的數(shù)據(jù)組成,但它是以后參考所必需且很重要的數(shù)據(jù),其數(shù)據(jù)必須遵從規(guī)則來保存。數(shù)據(jù)歸檔具有索引和搜索功能,這樣數(shù)據(jù)可以很容易地找到。1.3.3.7.4數(shù)據(jù)清洗
因為輿情數(shù)據(jù)倉庫中的數(shù)據(jù)是面向某一主題的數(shù)據(jù)的集合,這些數(shù)據(jù)從多個其它網(wǎng)站中抽取而來而且包含歷史數(shù)據(jù),這樣就避免不了有的數(shù)據(jù)是錯誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突,這些錯誤的或有沖突的數(shù)據(jù)顯然是我們不想要的,稱為“臟數(shù)據(jù)”。按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”,這就是數(shù)據(jù)清洗。而數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù),將過濾的結(jié)果交給業(yè)務(wù)主管部門,確認(rèn)是否過濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。1.3.3.7.5數(shù)據(jù)備份
數(shù)據(jù)備份是容災(zāi)的基礎(chǔ),是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失,而將全部或部分?jǐn)?shù)據(jù)集合從應(yīng)用主機(jī)的硬盤或陣列復(fù)制到其它的存儲介質(zhì)的過程。傳統(tǒng)的數(shù)據(jù)備份主要是采用內(nèi)置或外置的磁帶機(jī)進(jìn)行冷備份。但是這種方式只能防止操作失誤等人為故障,而且其恢復(fù)時間也很長。隨著技術(shù)的不斷發(fā)展,數(shù)據(jù)的海量增加,不少的企業(yè)開始采用網(wǎng)絡(luò)備份。網(wǎng)絡(luò)備份一般通過專業(yè)的數(shù)據(jù)存儲管理軟件結(jié)合相應(yīng)的硬件和存儲設(shè)備來實(shí)現(xiàn)。1.3.3.8客戶服務(wù)子系統(tǒng)
對個系統(tǒng)的用戶進(jìn)行注冊、訂購、支付、權(quán)限管理、滿意度調(diào)查等,為系統(tǒng)的循序漸近的優(yōu)化提供參考依據(jù)。1.3.3.8.1用戶注冊
匿名用戶通過域名登錄系統(tǒng)可注冊用戶,注冊并通過審核之后可憑登錄名和密碼進(jìn)入系統(tǒng)。1.3.3.8.2產(chǎn)品訂購
注冊用戶可訂購不同類型的產(chǎn)品,可按照選題類型、監(jiān)測網(wǎng)站類型、分析復(fù)雜度等維度,來進(jìn)行訂購;訂購之后登錄系統(tǒng)能查看到相關(guān)范圍內(nèi)的內(nèi)容。數(shù)據(jù)庫中暫時沒有的內(nèi)容,用戶也可提出相關(guān)需求,視情況進(jìn)行個性化研發(fā),不斷豐富輿情產(chǎn)品線。1.3.3.8.3權(quán)限管理
根據(jù)用戶訂購產(chǎn)品,擁有查看相關(guān)輿情內(nèi)容的權(quán)限;對于沒有訂購的產(chǎn)品,則只提供有限時間、有限性能的服務(wù)。1.3.3.8.4滿意度調(diào)查
調(diào)查用戶使用的滿意度,以提高服務(wù)及技術(shù)水平。1.3.3.8.5意見反饋
收集用戶對使用產(chǎn)品、服務(wù)的意見和建議,以促進(jìn)服務(wù)及技術(shù)能力。1.4開發(fā)建議
鑒于本系統(tǒng)功能強(qiáng)大、流程復(fù)雜,尤其是網(wǎng)絡(luò)抓取工作量極大,建議本系統(tǒng)分期分批開發(fā)。1.4.1第一階段開發(fā)工作
將“輿情選題子系統(tǒng)”“輿情采集子系統(tǒng)”中的選題內(nèi)容進(jìn)行壓縮,以網(wǎng)站2-5個;論壇2-5個、博客2-5個;微博2-5個等進(jìn)行一期開發(fā)。將“輿情發(fā)布子系統(tǒng)”中的個性化桌面留待后期開發(fā),這樣一來其它子系統(tǒng)的開發(fā)工作也會有所減少,保證在極短的時間內(nèi)開發(fā)出一個可演示的版本;前期硬件投入也會相應(yīng)減少。
聯(lián)系方式:北京軟件開發(fā)公司
電話:010-52895342,400-886-7161
郵件:service@hivekion.com
網(wǎng)址:http://www.pj008.cc
【北京華盛恒輝科技有限公司 ——(hivekion)是一家軟件定制開發(fā)公司,在軟件產(chǎn)品研發(fā)與服務(wù),華盛恒輝堅持穩(wěn)健經(jīng)營、持續(xù)創(chuàng)新、開放合作,在安全生產(chǎn)、大數(shù)據(jù)處理等領(lǐng)域構(gòu)筑了端到端的解決方案優(yōu)勢,為企業(yè)客戶提供有競爭力的IT解決方案、 產(chǎn)品和服務(wù)。】