博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据分析处理必备工具
阅读量:7196 次
发布时间:2019-06-29

本文共 1193 字,大约阅读时间需要 3 分钟。

大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和展现的有力武器。

一、大数据接入

  1、大数据接入
      已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入
  2、大数据接入技术
      Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp
二、大数据存储
  1、大数据存储
      结构化数据存储、半结构化数据存储、非结构化数据存储
  2、大数据存储技术
      Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch
三、数据分析挖掘
  1、大数据分析与挖掘
      离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习
  2、大数据分析与挖掘技术
      MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib
      数据的分析离不开各种数据库客户端工具,例如P/L SQL, 查询分析器,Navicat, shell等,客户端工具繁多,安装繁琐,
      使用基于Web的TreeSoft数据库管理系统,可以同时连接MySQL,Oracle,DB2,PostgreSQL, SQL Server, MongoDB, Hive, SAP HANA 十分方便。
      使用基于Web的工具有个好处是:一次布署,到处使用,省时省力。

四、大数据共享交换

   1、大数据共享交换
      数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出
      数据接入后,通常是存入数据库中,以便于进行分析、清洗、转换、脱敏等处理,而这些操作都离不开数据可视化客户端工具。
      海量大数据需分批次,分任务,分时段进行处理,TreeSoft数据库管理系统提供了数据定时任务管理,数据交换同步任务管理,
      任务统一管理,执行进度展示,处理日志查看等,十分强大,是大数据处理的好工具。

  2、大数据共享交换技术

      Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service

五、大数据展现
   1、大数据展现
      图化展示(散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘),文字展示;
2、大数据展现技术
      Echarts、Tableau,TreeSoft数据库管理系统将SQL查询结果直接以图表展示,快速展现分析结果。

转载于:https://www.cnblogs.com/treesoft/p/10165453.html

你可能感兴趣的文章
rpc框架之HA/负载均衡构架设计
查看>>
由于媒体16摘要天
查看>>
解析opencv中Box Filter的实现并提出进一步加速的方案(源码共享)。
查看>>
IOS7 UI设计的十大准则
查看>>
微信平台开发应用的签名
查看>>
PHP如何取出数组最后一个元素?
查看>>
CentOS下nginx简单安装
查看>>
移动web开发总结
查看>>
设计模式之享元模式
查看>>
Visual Studio for Mac Preview离线下载安装
查看>>
Git教程
查看>>
Chrome
查看>>
依赖注入
查看>>
如何处理好上下级关系
查看>>
NDK编译STL
查看>>
MFC绘图小实验(2)
查看>>
浅谈 MVP in Android
查看>>
centos7配置网桥
查看>>
iOS使用自己定义字体
查看>>
Java中的数字
查看>>