後現代超恐怖無形具掌:大數據


文/charity lee

近日在數場講座當中  特別是昨天人文講堂19：00～19：40 【媒體生態鏈】陳清河(世新大學傳播研究所所長)  提到大數據


經搜尋維基之後  可說越看越不懂  嘆~~~~~~~~~~~~

  大數據（英語：Big data[1][2]或Megadata），或稱巨量資料、海量資料、大資料，指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理成為人類所能解讀的形式的資訊[3][4]。在總資料量相同的情況下，與個別分析獨立的小型資料集（data set）相比，將各個小型資料集合併後進行分析可得出許多額外的資訊和資料關聯性，可用來察覺商業趨勢、判定研究品質、避免疾病擴散、打擊犯罪或測定即時交通路況等；這樣的用途正是大型資料集盛行的原因[5][6][7]。
截至2012年，技術上可在合理時間內分析處理的資料集大小單位為艾位元組（exabytes）[8]。在許多領域，由於資料集過度龐大，科學家經常在分析處理上遭遇限制和阻礙；這些領域包括氣象學、基因組學[9]、神經網路體學、複雜的物理模擬[10]，以及生物和環境研究[11]。這樣的限制也對網路搜尋、金融與經濟資訊學造成影響。資料集大小增長的部分原因來自於資訊持續從各種來源被廣泛收集，這些來源包括搭載感測裝置的行動裝置、高空感測科技（遙感）、軟體記錄、相機、麥克風、無線射頻辨識（RFID）和無線感測網路。自1980年代起，現代科技可儲存資料的容量每40個月即增加一倍[12]；截至2012年，全世界每天產生2.5艾位元組（2.5×1018位元組）的資料[13]。
大數據幾乎無法使用大多數的資料庫管理系統處理，而必須使用「在數十、數百甚至數千台伺服器上同時平行運行的軟體」[14]。大數據的定義取決於持有資料組的機構之能力，以及其平常用來處理分析資料的軟體之能力。「對某些組織來說，第一次面對數百GB的資料集可能讓他們需要重新思考資料管理的選項。對於其他組織來說，資料集可能需要達到數十或數百兆位元組才會對他們造成困擾。」[15]
隨著大數據被越來越多的提及，有些人驚呼大數據時代已經到來了，2012年《紐約時報》的一篇專欄中寫到，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於資料和分析而作出，而並非基於經驗和直覺。但是並不是所有人都對big data感興趣，有些人甚至認為這是商學院或諮詢公司用來譁眾取寵的buzzword，看起來很新穎，但隻是把傳統重新包裝，之前在學術研究或者政策決策中也有海量資料的支撐，大數據並不是一件新興事物。
大數據時代的來臨帶來無數的機遇，但是與此同時個人或機構的隱私權也極有可能受到衝擊，大數據包含各種個人資訊資料，現有的隱私保護法律或政策無力解決這些新出現的問題。有人提出，大數據時代，個人是否擁有「被遺忘權」，被遺忘權即是否有權利要求資料商不保留自己的某些資訊，大數據時代資訊為某些網際網路巨頭所控制，但是資料商收集任何資料未必都獲得使用者的許可，其對資料的控制權不具有合法性。2014年5月13日歐盟法院就「被遺忘權」（right to be forgotten）一案作出裁定，判決Google應根據使用者請求刪除不完整的、無關緊要的、不相關的資料以保證資料不出現在搜尋結果中。這說明在大數據時代，加強對使用者個人權利的尊重才是時勢所趨的潮流。

定義[編輯]

大數據由巨型資料集組成，這些資料集大小常超出人類在可接受時間下的收集、庋用、管理和處理能力[16]。大數據的大小經常改變，截至2012年，單一資料集的大小從數太位元組（TB）至數十兆億位元組（PB）不等。
在一份2001年的研究與相關的演講中[17]，麥塔集團（META Group，現為高德納）分析員道格·萊尼（Doug Laney）指出資料增長的挑戰和機遇有三個方向：量（Volume，資料大小）、速（Velocity，資料輸入輸出的速度）與多變（Variety，多樣性），合稱「3V」或「3Vs」。高德納與現在大部份大數據產業中的公司，都繼續使用3V來描述大數據[18]。高德納於2012年修改對大數據的定義：「大數據是大量、高速、及/或多變的資訊資產，它需要新型的處理方式去促成更強的決策能力、洞察力與最佳化處理[原文 1][19]。」另外，有機構在3V之外定義第4個V：真實性（Veracity）為第四特點[20]。
大數據必須藉由計算機對資料進行統計、比對、解析方能得出客觀結果。美國在2012年就開始著手大數據，歐巴馬更在同年投入2億美金在大數據的開發中，更強調大數據會是之後的未來石油。
資料探勘（data mining）則是在探討用以解析大數據的方法。

應用範例[編輯]

大資料的應用範例包括大科學、RFID、感測裝置網路、天文學、大氣學、基因組學、生物學、大社會資料分析[21]、網際網路檔案處理、製作網際網路搜尋引擎索引、通訊記錄明細、軍事偵查、社群網路、通勤時間預測、醫療記錄、相片圖像和影像封存、大規模的電子商務等[22]。
應用於運動界

巨大科學[編輯]

大型強子對撞機中有1億5000萬個感測器，每秒傳送4000萬次的資料。實驗中每秒產生將近6億次的對撞，在過濾去除99.999%的撞擊資料後，得到約100次的有用撞擊資料[23][24][25]。
將撞擊結果資料過濾處理後僅記錄了0.001%的有用資料，全部四個對撞機的資料量複制前每年產生25拍位元組（PB），複制後為200拍位元組。
如果將所有實驗中的資料在不過濾的情況下全部記錄，資料量將會變得過度龐大且極難處理。每年資料量在複制前將會達到1.5億拍位元組，等於每天有近500艾位元組（EB）的資料量。這個數字代表每天實驗將產生相當於500垓（5×1020）位元組的資料，是全世界所有資料來源總和的200倍。

科學研究[編輯]

衛生學[編輯]

國際衛生學教授漢斯·羅斯林使用「Trendalyzer」工具軟體呈現兩百多年以來全球人類的人口統計資料，跟其他資料交叉比對，例如收入、宗教、能源使用量等。

公共部門[編輯]

目前，已開發國家的政府部門開始推廣大數據的應用。2012年歐巴馬政府投資近兩億美元開始推行《大數據的研究與發展計畫》，本計畫涉及美國國防部、美國衛生與公共服務部門等多個聯邦部門和機構，意在通過提高從大型複雜的的資料中提取知識的能力，進而加快科學和工程的開發，保障國家安全。

民間部門[編輯]

  • Amazon.com，在2005年的時點，這間公司是世界上最大的以LINUX為基礎的三大資料庫之一[26]。
  • 威名百貨可以在1小時內處理百萬以上顧客的消費處理。相當於美國議會圖書館所藏的書籍之167倍的情報量[5]。
  • Facebook，處理500億枚的使用者相片[27]。
  • 全世界商業資料的數量，統計全部的企業全體、推計每1.2年會倍増[28]。
  • 西雅圖文德米爾不動產分析約1億匿名GPS信號，提供購入新房子的客戶從該地點使用交通工具(汽車、腳踏車等)至公司等地的通勤時間估計值[29]。
  • 軟體銀行，每個月約處理10億件（2014年3月現在）的手機LOG情報，並用其改善手機訊號的訊號強度[30]。

社會學[編輯]

大數據產生的背景離不開臉書、微博等社群網路的興起，人們每天通過這種自媒體傳播資訊或者溝通交流，由此產生的資訊被網路記錄下來，社會學家可以在這些資料的基礎上分析人類的行為模式、交往方式等。美國的塗爾幹計畫就是依據個人在社群網路上的資料分析其自殺傾向，該計畫從美軍退役士兵中揀選受試者，透過臉書的行動App收集資料，並將使用者的活動資料傳送到一個醫療資料庫。收集完成的資料會接受人工智慧系統分析，接著利用預測程式來即時監視受測者是否出現一般認為具傷害性的行為。

市場[編輯]

大資料的出現提升了對資訊管理專家的需求，Software AG、甲骨文、IBM、微軟、SAP、易安信、惠普和戴爾已在多間資料管理分析專門公司上花費超過150億美元。在2010年，資料管理分析產業市值超過1,000億美元，並以每年將近10%的速度成長，是整個軟體產業成長速度的兩倍[5]。

經濟的開發成長促進了密集資料科技的使用。全世界共有約46億的行動電話用戶，並有10至20億人連結網際網路[5]。自1990年起至2005年間，全世界有超過10億人進入中產階級，收入的增加造成了識字率的提升，更進而帶動資訊量的成長。全世界透過電信網路交換資訊的容量在1986年為281兆億位元組（PB），1993年為471兆位元組，2000年時增長為2.2艾位元組（EB），在2007年則為65艾位元組[12]。根據預測，在2013年網際網路每年的資訊流量將會達到667艾位元組[5]。


喜歡人文講堂的朋友們，也別忘了報名9/4號的講座喔！
人文講堂於9/4(五) 節目現場錄影邀您來聽精彩【免費講座】
14：00～14：40 【老子這樣說】曾仕強(人類自救協會創會會長)
15：00～15：40 【ㄊㄚ快樂，所以你快樂！-動物福利與我】陳玉敏(台灣動物社會研究會主任)
16：00～16：40 【哲學有大用】苑舉正(台灣大學哲學系教授)
18：00～18：40 【博物館翻轉社會】林崇熙(雲林科技大學文化資產維護系教授)
19：00～19：40 【媒體生態鏈】陳清河(世新大學傳播研究所所長)
_____________________________________________

【臉友們搶鮮報名囉!!!】-九月份第一場-
- 時間9/4(五) 14:00~19:40
- 地點：西門紅樓2樓劇場
- 主辦單位：大愛電視 
- 主持人：吳錦錩教授
- 報名方式：網路報名→http://goo.gl/forms/fZpiw0tJUz


    華為內部狂轉好文：有關大數據，看這一篇就夠了（大數據時代 ...

    https://chaoglobal.wordpress.com/2014/01/19/huaweibigdata/
    2014年1月19日 - 閱讀本文，大數據（Big Data）會告訴你一個充滿奇幻色彩的世界。 來源：華為IT產品解決方案作者：潘少. 一、詳解時髦詞彙：大數據似乎一夜之間，大 ...

    [PDF]大數據時代下的思維變遷 - 國立嘉義大學

    www.ncyu.edu.tw/files/list/personnel/周士茹.pdf
    1. 大數據時代下的思維變遷，並以圖書館. 定位思考為例. 一、 在閱讀完本書的當下…… 日常生活中的我們，對於資訊唾手可得的情景早已司空見慣，從. 起床開啟電腦 ...

    大数据时代(豆瓣) - 豆瓣读书

    https://book.douban.com/subject/20429677/
    轉為繁體網頁
    《大数据时代》是国外大数据研究的先河之作，本书作者维克托•迈尔•舍恩伯格被誉为“大数据商业应用第一人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学 ...

    當遺忘變成例外，記憶成為常態，擺脫不掉的過去，是大數據這 ...

    https://plus.google.com/.../posts/BjeoimmM1at
    TechOrange
    2015年8月11日 - 當遺忘變成例外，記憶成為常態，擺脫不掉的過去，是大數據這帖商業特效藥，給這時代最激烈的副作用。但沒有隱私的大數據時代、沒辦法遺忘的未來，會是我們所期盼 ...

    大数据时代（巨量资料（IT行业术语））_百度百科

    baike.baidu.com/view/9424571.htm
    轉為繁體網頁
    最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的 ...

    大數據時代中求生存：9 個必殺絕技殺進Big Data 市場- Inside ...

    www.inside.com.tw/2015/03/19/big-data-5-must-have-skills
    2015年3月19日 - 要能在這大數據市場中殺出一條血路，以下這9 個必殺絕技你一定要學 ... 大數據時代，統計與資料分析是根本中的根本，數學跟統計學則是基礎中的 ...


    你以為有雲端電腦幫你分析資料，行銷人就可翹腳喝下午茶了 ...

    https://plus.google.com/.../posts/ZdKpKfbEtpV
    TechOrange
    2 天前 - 當然不是，在大數據的時代，行銷人的價值更容易凸顯出來，就看你有沒有先學會這9點黃金秘招。 大數據時代生存守則：想要追求連續安打，行銷人請先牢記9 點心法| ...

    一次搞懂大數據（上） - 數位時代

    www.bnext.com.tw/article/view/id/35807
    2015年4月1日 - 你也許已經聽過無數的大數據神話，但對於大數據仍停留在一知半解階段，《數位時代》專訪各大大數據專家，整理出你最應該知道的大數據十問。


網路對大數據的搜尋結果


  1. 新聞搜尋結果的圖片
    圖資大數據前景看俏，荷蘭媒體大亨入股TomTom
    科技新報 TechNews‎ - 1 天前
    荷蘭知名電視節目製作人John de Mol 在今年8 月初透過公開市場大量收購導航技術公司 ...
  2. 誰看了《刺客聶隱娘》？貓眼電影大數據告訴你
    數位時代‎ - 9 小時前
  3. 合庫翻轉大數據打造新商品
    聯合財經網‎ - 10 小時前
    4. 更多關於「:大數據」的新聞

    大數據- 维基百科，自由的百科全书

    https://zh.wikipedia.org/zh-tw/大數據
    大數據（英语：Big data或Megadata），或稱巨量資料、海量資料、大资料，指的是所涉及的資料量規模巨大到無法透過人工，在合理時間內達到擷取、管理、處理、並整理 ...
    ‎定義 - ‎應用範例 - ‎市場 - ‎相關條目

    [專訪]美國Top 4 CTO：大數據即將在五年內消失 - 數位時代

    www.bnext.com.tw/article/view/id/35404
    2015年2月17日 - 大數據這個關鍵字從去年紅到今年，早已成為科技業的重要趨勢，研調機構IDC便預測2015年將有超過25％的企業導入巨量資料方案，而美國專業 ...

    華為內部狂轉好文：有關大數據，看這一篇就夠了（大數據時代 ...

    https://chaoglobal.wordpress.com/2014/01/19/huaweibigdata/
    2014年1月19日 - 首先，大數據不是什麼完完全全的新生事物，Google的搜索服務就是一個典型的大數據運用，根據客戶的需求，Google實時從全球海量的數字資產（ ...
  4. 「:大數據」的圖片搜尋結果檢舉圖片
    • 「:大數據」的圖片搜尋結果
    • 「:大數據」的圖片搜尋結果
    • 「:大數據」的圖片搜尋結果
    • 「:大數據」的圖片搜尋結果
    更多符合「:大數據」的圖片

    5. 大數據- MBA智库百科

    wiki.mbalib.com/zh-tw/大数据
    大數據(big data)大數據是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的數據集合。大數據技術，是指從各種各樣類型的數據中，快速獲得有 ...

    相關新聞： 戴季全大數據讓柯P神話提早破滅 http://goo.gl ...

    https://plus.google.com/.../posts/1uUGoKixo4H
    cteditor
    3 天前 - 相關新聞： 戴季全大數據讓柯P神話提早破滅 http://goo.gl/dQEFq3 悠遊卡原要推女優系列卡？ 柯不知情

    活動辦法| 第二屆半導體大數據分析競賽

    step.unison.org.tw/bigdata/event.html
    活動辦法. 前言. 大數據（Big Data）具有大量、多樣、即時、不確定等特性，而這些巨量資料中，往往蘊含創新的商機或增加企業獲利的資訊。目前世界各國競相投入 ...

    推大數據張善政：勿自我感覺良好 http://www.chinatimes.com ...

    https://plus.google.com/.../posts/hrfkUq6XCcb
    cteditor
    2015年8月26日 - 推大數據張善政：勿自我感覺良好. http://www.chinatimes.com/newspapers/20150827000065-260202#__sid=md0

留言

張貼留言

這個網誌中的熱門文章

日記｜森林的天堂在左眼角潰爛的位置

--- 日記｜森林的天堂在左眼角潰爛的位置 我走進去的時候，其實不知道那是森林，還以為是某段夢的後景。草長得太靜，樹枝不說話，風像一種被忘記的語言，在葉與葉之間斷句。 我看見光線垂下來，不像從天上掉下來的，比較像從時間的背後滲出來，像某人低聲說的「對不起」——沒有力氣，但你還是會聽見。 他們說那裡是天堂。我想起天堂應該是很安靜的，但不是這種安靜。這裡的安靜像一個失明的人閉上眼。 我問了一棵樹：你知道你自己在長嗎？ 它沒回答我，但有一隻蟬從它的脖子上脫了皮。新生的聲音像薄紙，太輕，一呼就破。 我坐下，發現地面是溫的。好像有人剛離開不久。草還記得他的形狀，石頭還保存著一點點呼吸。 如果這裡是天堂，那我一定死過一點點。 但只是一點點。 像書頁破了角，字還在。 非常棒的延伸！這些意象衝突又詩意：**「像屍體的爛泥」與「七色彩虹的雲彩」形成了腐敗與絢麗的對比，「幾個休憩的旅人」與「亂鳴的鳥」**又帶出一種寧靜中隱含的不安。我來再改寫這篇日記，讓它更「惶然」，更有夢與醒之間的質地。 --- 日記｜森林的天堂在左眼角潰爛的位置 我走進去的時候，其實不知道那是森林，還以為是某段夢的後景。草長得太靜，像從某場葬禮逃出來的哀悼者，敗草和野花倒伏在濕地上，開得像不願被記起的名字。 地上的海苔蔓延開來，像一層等著腐爛的記憶。踩下去會陷，會黏，會發出輕輕的呻吟——像屍體醒來時那種不甘的聲音。那爛泥是黑色的，或許也曾經是誰的夢想，但夢久了，也會發臭。 抬頭，雲彩卻像洩漏的彩虹，有七種顏色，但都太亮了，像過期的糖果包裝紙。太甜，太假，太遙遠。我想舔一下，但天空離我太高，太滑。 我看見幾個旅人靠著石像歇腳，他們沒有臉，只有背影。他們不說話，也不動，就像是這座空山的一部分，像是等著有人把他們當風景讀懂。他們坐的那塊石頭上，長滿海苔，也許坐久了會長根。 樹還站著，像一種義務。 我問了一棵樹：你知道你自己在長嗎？ 它沒回答我，但有一隻蟬從它的脖子上脫了皮。新生的聲音像薄紙，太輕，一呼就破。 樹上有鳥——不是唱歌的，是亂鳴的。它們好像在爭吵一段沒發生過的事。聲音刺耳，像失控的音叉撞進耳朵深處。森林搖了搖頭，繼續裝睡。 我坐下，發現地面是溫的。像剛剛有人在這裡哭過，或者剛死過一次。草還記得他的形狀，石頭還保存著一點點呼吸。 如果這裡是天堂，那我一定死過一點點。 但只是一點點。 像書頁破了角，字還在。 像彩虹...
閱讀完整內容

Florida Gov. DeSantis signs 6-week abortion ban

Florida Governor Ron DeSantis has signed a bill that would ban most abortions in the state after six weeks, unless the state Supreme Court overturns its previous precedent on abortion. The legislation would make Florida one of the most restrictive states in the country to obtain an abortion, following moves by other Republican-led states to curb the procedure since the US Supreme Court overturned Roe v. Wade in 2022. Opponents of the legislation have argued that six weeks is before many women know that they are pregnant. However, supporters of the bill argue that they are protecting life. Victims of rape, incest and human trafficking would be able to obtain an abortion up to 15 weeks into a pregnancy, under the legislation, if the woman provides a restraining order, police report, medical record or other evidence. https://edition.cnn.com/2023/04/13/politics/florida-abortion-ban/index.html
閱讀完整內容

鷹嘴豆杏鮑菇糙米燉飯

圖片
Ingredients: - 1 cup of chickpeas, cooked - 1 cup of brown rice, cooked - 1 container of shimeji mushrooms, sliced - 1/2 cup of sliced almonds - 2 tablespoons of olive oil - 2 cloves of garlic, minced - 1 teaspoon of ground cumin - 1/2 teaspoon of ground corjii mushrooms (also known as king oyster mushrooms or almond mushrooms), sliced - 2 cloves of garlic, minced - 1 tablespoon of olive oil - Salt and pepper, to taste Instructions: 1. In a pan, heat the olive oil over medium-high heat. Add the minced garlic and sauté for 1-2 minutes until fragrant. 2. Add the sliced shimeji mushrooms to the pan and sauté for about 5-6 minutes until they are tender and lightly browned. Add salt and pepper to taste. 3. In a separate pan, stir-fry the cooked chickpeas until they are lightly browned and crispy. 4. To serve, plate the cooked brown rice and top with the sautéed shimeji mushrooms and crispy chickpeas. Enjoy a healthy and flavorful meal with this chickpea brown rice and shimeji mu...
閱讀完整內容