大(dà)數據分(fēn)析處理(lǐ)的(de)工具

       大(dà)數據是一種能夠快(kuài)速獲取各類數據中有效且有價值的(de)信息的(de)技術。現在在大(dà)數據領域有很多(duō)新技術易于操作。它們将是大(dà)數據收集、處理(lǐ)、存儲和(hé)信息展示的(de)最有效工具。

    1. 大(dà)數據接入

       大(dà)數據接入

   現有數據訪問、實時(shí)數據訪問、消息記錄數據訪問、文件、文本、圖片、視頻(pín)等數據訪問.

      大(dà)數據接入技術

   Kafka，ActiveMQ，ZeroMQ，Flume，Sqoop，Socket（Mina，Netty），ftp/sftp

   2. 大(dà)數據存儲

     大(dà)數據存儲

   結構化(huà)數據存儲、半結構化(huà)數據存儲、非結構化(huà)數據存儲

    大(dà)數據存儲技術

   HDFS, HBASE, Hive, S3, Kuduu, MongoDB, Neo 41, Redis, Alluxo (Tachyan), Solr, ElasticSearch

   3. 數據分(fēn)析挖掘

     大(dà)數據分(fēn)析與挖掘

    離線分(fēn)析、實時(shí)分(fēn)析、準實時(shí)分(fēn)析、圖像識别、語音(yīn)識别、機器學習(xí)等

    大(dà)數據分(fēn)和(hé)挖掘技術

    Map reasoning, hive, pig, spark, Flink,Impala,Kylin,tez,Akka,Storm,S4, etc.。

    數據分(fēn)析需要多(duō)種數據庫客戶端工具的(de)組合，如P/L SQL query analyzer Navicat shell和(hé)其他(tā)客戶端工具。例如，如果使用(yòng)基于Web的(de)treesoft數據庫管理(lǐ)系統，可(kě)以很方便地同時(shí)連接mysql Oracle、BD2、SQL server、mongodb、hive和(hé)SAP haha。使用(yòng)基于web的(de)工具的(de)優點是：省時(shí)、方便、一次性部署，

   4. 大(dà)數據共享交換

    大(dà)數據共享交換

    數據訪問、數據清理(lǐ)、轉換、解密、數據資産管理(lǐ)、數據導出

   數據存取後，通(tōng)常存儲在數據庫中，便于數據分(fēn)析、清洗、轉換、脫敏等處理(lǐ)。這(zhè)些操作與數據可(kě)視化(huà)客戶端工具密不可(kě)分(fēn)。大(dà)量大(dà)數據需要分(fēn)批、分(fēn)任務、分(fēn)時(shí)段處理(lǐ)。Treesoft數據庫管理(lǐ)系統提供數據定時(shí)任務、管理(lǐ)、數據交換同步任務管理(lǐ)、統一任務管理(lǐ)、執行進度顯示、處理(lǐ)日志和(hé)視圖等功能，

   大(dà)數據共享交換技術

   Kafka,ActiveMQ,ZeroMQ,Dubbo,Socket(Mina,Netty),ftp/sftp,Rest Ful,

   Web Service

   5.大(dà)數據的(de)展現

   大(dà)數據的(de)展現

    圖形顯示（柱狀圖、地圖、餅圖、雷達圖、散點圖、折線圖、K線圖、箱線圖、熱(rè)圖、關系圖、矩形樹形圖、漏鬥圖、儀表闆、平行坐(zuò)标）；

    大(dà)數據展現技術

    Echarts， Tabeau，TreeSoft數據庫管理(lǐ)系統把SQL查詢結果直接以圖展示，快(kuài)速展現分(fēn)析結果