个人怎么自学大数据

学什么技术有前途，对于很多想学一技之长的人来说，是一个要认真思考的问题，随着社会的发展和科技的进步，可供选择的行业和技术越来越多，不管是新兴的高新技术，还是传统的生产制造业，只要有一个好技术，就不愁找不到好工作，那么学什么技术有前途呢?以下是小编为你整理的个人怎么自学大数据

结合自身条件挑选自己喜欢的行业，有些人学历文化水平高，有些人学历水平低，可选择技术自然就不一样。

选择社会上的热门，有发展前景的技术，现在的技术更新换代很快，那些夕阳产业技术就没有必要去学了，学会了也找不到工作。

现在社会上主要热门行业有汽修、厨师、IT等，都是发展空间大，人才紧缺的行业，虽然竞争激烈，但是行业里的人才缺口同样巨大，适合初高中学历的人学习，只要学会了不愁找不到好的工作。

如果觉得热门行业竞争压力大，可以选择冷门高新技术，如大数据、律师、经贸等等，需要较高的学历和文化水平，至少大学以上。

最后，选定自己想学的技术或者想要从事的行业，选择专业学校或者跟随经验丰富的老师傅学习。适合对文化水平要求不高的技术，其他比较有档次的当然是要继续求学了。

有些技术过时很快，比如以前很流行的数控、挖掘机等等，火了一阵，现在再学根本找不到工作了。

企业培训管理

企业培训管理是一项系统工程，包含需求分析、培训规划、培训组织与实施、培训效果评估等多个环节。对培训工作者来说，他们会遇到太多太多的难题：如何控制预算、如何有效开展需求调研、如何跟踪学习、如何评估效果、如何激发学员学习热情、如何推动线上线下结合、如何促进效果转化、如何提升绩效……一系列的问题不禁让从事培训管理工作的人员大感分身乏术。

移动学习作为一种基于移动互联网的学习技术，是否能弥补传统培训的不足，是否能和传统的培训手段协同作战，共同推动学习效果的转化，是否能让培训更具有互联网思维，如圈子互动、通知推送、在线调研、在线测验、互动问答、大数据运用、知识分享UGC、培训活动O2O等等，实现混合式学习，是否能够让学员的学习更高效、让培训管理更简单，是评估移动学习平台首先要考量的。

内容资源

研究发现，随着平板电脑和智能手机使用量的快速普及，移动学习APP应用将在企业培训中发挥更大的作用，拥有海量内容的移动学习APP平台将更受青睐。平台易建，内容难求，企业在选择移动学习平台时，必须要事先考虑内容问题，那些提前预设海量内容，或者提供课件制作工具的APP必将会受到培训管理员的更多青睐。

平台接入能力

e-learning进入中国已经有十几年，早期企业多引入的是基于PC端的在线学习系统，如考试系统、培训管理系统、测评系统等，随着移动互联网的日益普及，有人认为，基于移动端的移动学习是完全可以取代PC端的各种在线学习平台，PC端在线学习系统的春天已经过去，其实不然，企业可以选择可以实现与在线学习系统对接的移动学习平台供应商，不仅实现与e-learning的多平台接入，还可以与时下最火热的即时通讯工具——微信实现有效对接，整合企业在线学习资源，实现多平台资源的高效联动。

信息安全

信息安全问题得到了越来越多人的关注，周xx在今年的信息安全大会上提出“用户信息是用户的个人资产;平等交换;授权使用;安全传输、安全存储”的互联网信息安全三大原则，企业级移动学习平台上拥有所有员工的个人信息和企业的所有知识产权课程，甚至部分商业机密，如果出现安全问题，必定会给企业带来不可估量的损失。

数据处理分析中的性能技巧

数据处理和分析是一个大数据系统的核心。像聚合，预测，聚集，和其它这样的逻辑操作都需要在这一步完成。

本节讨论一些数据处理性能方面的技巧。需要注意的是大数据系统架构有两个组成部分，实时数据流处理和批量数据处理。本节涵盖数据处理的各个方面。

在细节评估和数据格式和模型后选择适当的数据处理框架。

其中一些框架适用于批量数据处理，而另外一些适用于实时数据处理。

同样一些框架使用内存模式，另外一些是基于磁盘io处理模式。

有些框架擅长高度并行计算，这样能够大大提高数据效率。

基于内存的框架性能明显优于基于磁盘io的框架，但是同时成本也可想而知。

概括地说，当务之急是选择一个能够满足需求的框架。否则就有可能既无法满足功能需求也无法满足非功能需求，当然也包括性能需求。

一些这些框架将数据划分成较小的块。这些小数据块由各个作业独立处理。协调器管理所有这些独立的子作业

在数据分块是需要当心。

该数据快越小，就会产生越多的作业，这样就会增加系统初始化作业和清理作业的负担。

如果数据快太大，数据传输可能需要很长时间才能完成。这也可能导致资源利用不均衡，长时间在一台服务器上运行一个大作业，而其他服务器就会等待。

不要忘了查看一个任务的作业总数。在必要时调整这个参数。

最好实时监控数据块的传输。在本机机型io的效率会更高，这么做也会带来一个副作用就是需要将数据块的冗余参数提高(一般hadoop默认是3份)这样又会反作用使得系统性能下降。

此外，实时数据流需要与批量数据处理的结果进行合并。设计系统时尽量减少对其他作业的影响。

大多数情况下同一数据集需要经过多次计算。这种情况可能是由于数据抓取等初始步骤就有报错，或者某些业务流程发生变化，值得一提的是旧数据也是如此。设计系统时需要注意这个地方的容错。

这意味着你可能需要存储原始数据的时间较长，因此需要更多的存储。

数据结果输出后应该保存成用户期望看到的格式。例如，如果最终的结果是用户要求按照每周的时间序列汇总输出，那么你就要将结果以周为单位进行汇总保存。

为了达到这个目标，大数据系统的数据库建模就要在满足用例的前提下进行。例如，大数据系统经常会输出一些结构化的数据表，这样在展示输出上就有很大的优势。

更常见的是，这可能会这将会让用户感觉到性能问题。例如用户只需要上周的数据汇总结果，如果在数据规模较大的时候按照每周来汇总数据，这样就会大大降低数据处理能力。

一些框架提供了大数据查询懒评价功能。在数据没有在其他地方被使用时效果不错。

实时监控系统的性能，这样能够帮助你预估作业的完成时间。

如何成为数据分析师

数据库技术(必修):用 SQL 访问企业数据库，结合业务，能从海量数据提取相关信息，从不同维度进行建模分析，形成逻辑严密能够体现整体数据挖掘流程化的数据分析报告;简单了解关系型数据库与非关系型数据库的关系，数据库增删改查，高级查询，高级应用

实用型大数据挖掘算法、(Apriori 算法、Tanagra 工具、决策树)：深入浅出数据挖掘技术。所谓“深入”，指得是从数据挖掘的原理与经典算法入手。其一是要了解算法，知道什么场景应当应用什么样的方法;其二是学习算法的经典思想，可以将它应用到其他的实际项目之中;其三是理解算法，让数据挖掘的算法能够应用到您的项目开发之中去。所谓“浅出”，指得是将数据挖掘算法的应用落实到实际的应用中。课程会通过三个不同的方面来讲解算法的应用：一是微软公司的 SQL Server 与 Excel 等工具实现的数据挖掘;二是著名开源算法的数据挖掘，如 Weka等开源工具;三是利用 JAVA、C#语言两种语言做演示来完成数据挖掘算法的实现。

SPSS Modeler 数据挖掘：将挖掘技术所涉及的思想、方法、参数与统计学基础联系起来，了解包括维度、数据、分析、数据流等在内的功能、参数的实际义和选择、组合等应用方法。

Python 网络爬虫技术 :掌握应用 Python 爬虫基础库;掌握使用 Python 爬虫利器;掌握使用 Scrapy 项目构建;熟练掌握 Scrapy 流化开发;熟练使用 Scrapy 拓展;掌握使用 Scrapy 与 Mysql 交互。

机器学习扩展深入(Python 语言、算法、Numpy 库、MatplotLib)：两大类机器学习的方法：有监督学习和无监督学习，其中有监督学习里面，又分为分类和预测数值型数据。这些算法都是基础的算法。通过深入学习Python来实现数据挖掘下方算法。

人工智能之机器学习(扩展)：了解线性回归、掌握决策树的应用、熟练使用SVM支持向量机、熟练使用聚类+贝叶斯、掌握EM-HMM-LDA-ML。

江苏省