学习大数据基础1.JavaSE,EE(SSM)90%的大数据框架都是用Java写的2.MySQLSQLonHadoop3,Linux操作系统上安装的Linux大数据框架——学习什么。在刚开始学习大数据的过程中,遇到过学习、行业,缺乏系统的学习路线,没有系统的学习规划。欢迎大家加入我的大数据学习交流裙子:251956502。裙子文件包含我近几年整理的大数据学习手册、开发工具、PDF文档和书籍,大家可以自行下载。大数据离线分析一般处理T+1个数据(T:可能是1天、一周、一个月、一年)Hadoop:一般不使用最新版本,难以解决(常见、HDES、MapReduce、YARN)环境下数据构建和处理的思路b。Hive:大数据的数据仓库,通过编写SQL来操作数据,类似于MySQL数据库的sqlc,HBase:基于HDFS的NOSQL数据库,面向列存储d.协同框架:sqoop(bridge:HDFS《==》RDBMS)flume:收集日志文件中的信息e、调度框架anzkaban理解:crotab(linux自带)zeus(阿里巴巴)oozie(cloudera)f、frontier框架扩展:kylin、impala,ElasticSearch(ES)大数据实时分析基于spark框架Scala:OOP(面向对象编程)+FP(函数即编程)sparkCore:类比MapReducesparkSQL:类比hivesparkStreaming:实时数据处理kafka:消息队列前沿框架扩展:flink阿里巴巴:blink大数据机器学习sparkMLlib:机器学习库pyspark编程:Python与spark推荐系统的结合python数据分析python机器学习----------------------
