1、平台介绍
优选创新（北京）科技有限公司的大数据教学平台由“大数据实训管理系统”，“大数据教学云平台”、“大数据实验实践教学平台”构成，建设的主要目的是立足于当前大数据的时代背景，集教学、实验、培训于一体的大数据实训平台，集成业界最前沿的大数据应用，提供简单易用的管理功能，并针对教学实训的场景量身定制了实验开发调试环境、实验运行管理以及教学管理等功能，同时结合一线的实战项目，提供多行业多门类具有很强实践性的教学课程和实验课程。将实际企业大数据应用项目引入到课堂，实现学生走出校门企业可用的目标。
平台设计引入“云”的理念，使学生的学习、老师的授课不在依赖传统的教室课堂模式，随时随地进行学习实验。为学校搭建和完善大数据应用和开发的课程体系和教学实训环境。并可以此为基础帮助高校建设集培训中心、科研中心、体验中心三种功能为一体的高等级大数据教学实验中心。
整个平台从功能上可分为“管理与控制系统”、“分布式计算模块”、“大数据实训平台”、“云端实验平台”、“考试系统”、“教学资源包”等部分组成，实为学生提供多梯度、层次式的系列实验，助力学生知识点掌握和基础技能培养；为教师和学生提供毕业设计、课程设计以及科研的基础支撑，为教师学生提供良好的大数据演练环境；
1.1、技术优势
1）基于容器技术的云实验机
基于容器的轻量级虚拟化技术，相比传统kvm之类最明显的特点就是启动快，资源占用小。因此对于构建隔离的标准化的运行环境，轻量级的paas(如dokku), 构建自动化测试和持续集成环境，以及一切可以横向扩展的应用(尤其是需要快速启停来应对峰谷的web应用)，具有巨大的优势。本技术可以在有限的物理资源上创建多个虚拟化的实验机环境，学生可以快速启动专享的实验机。
2）基于b/s的远程桌面交互技术y-desktop
y-desktop是一种html5和js的web应用程序，可使用远程桌面协议（如vnc或rdp）访问桌面环境。 同时提供了一个驱动它的api。该api可用于为其他类似的应用程序或服务提供服务。此web应用程序是提供协议无关的远程桌面网关的一部分。作为api，y-desktop提供了一种通过使用http或websocket的基于javascript的隧道流式传输文本数据的通用和有效的方法，以及支持y-desktop协议的客户端实现，并将远程显示与y-desktop协议流隧道。y-desktop使用javascript及html5和其他标准，只需要一个主流的浏览器或启用web的设备，就可以访问所提供的任何桌面。
1.2、产品优势
1）一站式解决方案
学生可以在平台中学习、实践，以及进行评价与考核，获取专业证书，并向企业推荐，得到就业机会。
2）实验+实战=就业能力
实训系统提供的基于浏览器的桌面及虚拟化技术，让学生可以随时随地学习、验证，通过真实项目的实战，达到同等互联网公司1~2年的工作经验。
3）学习行为分析
实训系统全程记录、追踪学生的学习行为，通过学习行为分析，提供个性化的学习内容。
4）远程陪练
提供云解答专区，在浏览器中实现桌面分享、共享的功能，助教可以远程协助、陪练。
5）充分支撑科研工作
实战平台提供行业数据及案例解剖，用于课题研究、项目实施，同时提供数据更新接口，为科研工作提供海量的行业数据支撑。如某地区经济数据分析、股市数据分析、全国地震数据分析、食品价格行业数据分析等。
2、系统功能说明
2.1、系统构成与平台功能描述
大数据实验实践教学及科研平台，主要由“实训系统”与“科研与实战平台”组成，平台包括高清视频课程、实验任务、实训操作及项目实战等模块；提供数量大、覆盖知识面广的实验任务，实现在线教学、实训操作、项目实战完美结合；
平台提供大数据集群管理功能，包含hadoop、hive、hbase、sqoop、flume、spark等节点部属及管理，提供实时监控集群的cpu、内存、硬盘等使用率及相关信息，可以对管理节点、计算节点进行启动、停止等操作管理。
提供覆盖多个行业的大数据实战案例以及数据，通过对这些行业案例的深入剖析，快速提升学生的大数据实战能力。
2.1.1、系统管理模块
1. 软件为整个系统提供管理功能，管理系统各软件，可对各软件进行开关机，恢复实验初始状态等功能。
1）图形展示各软件运行状况：
2）软件系统的启动与关闭：
2. 软件提供云计算平台配置功能，包括配置存储限额、作业调度方式等。
3. 软件提供云计算工具，包括hive、spark、pig的配置功能，配置spark的作业调度方式和内存管理方式。
4. 软件可以监控整个云计算平台的运行状况，包括可用资源和已用资源、作业的排队状况、正常和异常的作业运行状况，并提供干预功能，及时释放异常占用资源和终止异常作业。
5. 支持大数据查询及分析功能，如聚集查询、连接查询、选择操作、嵌套查询、like查询等功能。
6. 对执行的工作任务运行状况、进度、流程，进行实时图形展示，使得各项指标一目了然：
2.1.2、教学管理模块
提供学生的权限、课程计划、学习记录、学习成绩、实验报告等管理功能，主要功能如下：
2.1.2.1、专业管理
提供对专业信息的增加、删除、修改、查询功能。
2.1.2.2、班级管理
提供对专业下属班级的增加、删除、修改、查询功能。
2.1.2.3、学生管理
提供对班级内学生的管理，学生内容包含姓名、学号、所属班级、所属专业、联系手机、登录次数等内容。
2.1.2.4、交流日志查阅
对实验机分享交流的内容进行查询，包含交流ip、相关学员、相关老师、实验机编号、交流内容等内容。
2.1.2.5、成绩管理
对于学习中心在线学习的学习考核成绩进行管理，包含查询及删除等功能。
2.1.2.6、学习记录
提供每个学生在学习中心平台内学习课程的学习记录，包含日期、计划、课程、章节、学习ip等。
2.1.2.7、学习行为报表
对所有学生的课程学习记录进行统计，包含个体统计、班级统计、全体统计等。
2.1.2.8、课程管理
对学习课程进行查询、修改、删除等操作。
2.1.2.9、开通课程计划
对于学习开课计划的字段内容包含计划名称、授课讲师、授课时间段、开通状态、允许申请周期，允许申请人数等，功能提供绑定课程计划相关实训平台课程、授课助教、云实验机绑定、实验任务绑定等功能。
2.1.2.10、课程测验习题管理
提供对课程相关的习题管理，题型包含单选、多选、判断题等类型，对习题进行增、册、改、查操作。
2.1.2.11、分级权限功能
系统分为总管理员、助教等二级管理角色，总管理员进行管理所有的功能点，助教可以进行班级管理、学生管理、开课计划制作、实验机远程协助等。
2.1.2.12、实训系统管理
提供学生根据姓名、学号、密码登录系统进行实训操作，学生只需安装浏览即可进行实验任务操作；提供实训课程在线学习功能、实验机在线操作、实验报告提交、实验机界面截图、记录课程学习时长等。
2.1.2.13、实验机桌面管理
可管理系统提供的实验机桌面分享功能，如学生在学习、操作云实验机的过程中，有问题可以向老师发起协助请求，助教在收到请求时，可以远程访问学生的实验机，并指导如何操作
【教学管理系统界面】
2.1.3、实训教学模块
【实训系统首页】
实训平台是集教学管理、课程学习、在线实验操作的一个综合平台，系统基于b/s架构，扩展性好，并发能力强，在很有限的硬件资源下，轻松支持上千名学生同时学习、实验。主要特点如下：
2.1.3.1、用户登录
打开浏览器，在地址栏中输入学生端网址，通过注册帐号、学生学号等方式授权进入实训系统主页，如下图所示：
登录成功，进入实训系统学生界面，如下图所示：
2.1.3.2、申请学习
功能描述：学生通过本功能申请参加由主讲老师计划开通的某些课程。
学生点击左边的功能菜单“申请学习”，打开申请学习界面，功能界面如下图：
此界面列出了所有允许申请参加学习的开课计划，在列表中可查看授课开始日期、授课结束日期，申请状态等，选中需要参加课程开课计划，点击“查看详细”链接，可以查看开课计划的详细介绍。
2.1.3.3、我的课程
功能描述：学生通过本功能可以在线学习已经开通的大数据实训课程。如图示：
主要功能：
1） 效果切换：视频播放效果提供标清、高清以及超清三种，为不同的网络带宽服务。
2） 章节目录：列出本课程已经开通的章节，可以根据学习进度，选择章节进行学习。
3） 学习记录：可以查询本课程每个章节的学习完成情况。
4） 学习笔记：提供学生在学习过程中，在线记录学习笔记，笔记可以多次保存。
5） 打开实验机：学习在线视频过程中直接打开与本课程配套的实验机。
2.1.3.4、实验任务
功能描述：实验任务操作界面，学生在此界面上完成大数据相关作业实验。
系统列出所有要求完成的实验任务内容及简要介绍，功能如下图所示：
1、 实验任务的要求，包含实验目的、实验环境、实验内容、实验步骤等内容。
2、实验任务配套的实验机，实验机提供本次实验所需的所有环境。
3、实验报告编辑功能，如下图所示：
3、实验过程载图功能，如下图所示：
2.1.3.5、实验训练
功能描述：学生通过实验训练，可以直接进入实验机。如下图所示：
2.1.3.6、集群安装
功能描述：学生通过本功能及任务要求，完成大数据集群的搭建。
集群安装实训平台提供三台实验机，一台作为主节点，二台作为从节点，按照实验步骤将三台实验机安装成为hadoop完全分布式集群。功能如下图所示：
在完成主节点安装任务后，依次完成二台从节点的任务要求，最终达到集群安装成功。
2.1.3.7、学习记录
功能描述：学生通过本功能，可以实时查询自己所有课程学习情况。
学习记录功能，列出学生所有已经开通的课程列表，可以查询所有课程总学习时长、第一次学习时间、最后学习时间等，功能如下图所示：
还可根据需要，查询某一课程详细学习情况。
2.1.3.8、选修课程
功能描述：学生通过本功能可以自学一些大数据相关的课程，提供视频及配套实验环境。
2.1.3.9、在线习题测验
提供对课程相关的习题，题型包含单选、多选、判断题等类型等，并根据课程进度，可以进行单元练习，完成课程后，系统会进行综合性的测验。
2.1.3.10、在线的代码判断系统（oj）
学生可以在线提交程序多种程序源代码，系统对源代码进行编译和执行，并通过预先设计的测试数据来检验程序源代码的正确性。
支持java、python等语言。
2.1.3、实验教学模块
优选创新（北京）科技有限公司的“大数据实验实践教学及科研平台”完全满足大数据实验、科研、教学的平台支撑需求。
2.1.3.1、实验机支撑系统
1）、包含 hdfs、 yarn、 spark、 hive、 hbase、 zookeeper、 storm、 kafka、solr 等常见的大数据生态组件。
2）、采用新一代资源管理框架，允许多个应用同时高效地运行在一个物理集群上。
3）、灵活的资源管理和调度机制，支持可拔插式的资源调度策略，调度策略支持 fifo、 capacity scheduler、 fair scheduler 和 label basedscheduler 等多种策略
4）、系统架构具备高度的弹性，可满足实验运行平台所需要的高度扩展性，一旦有新的需求出现，即可向现有平台上迅速加入新的服务对象。
5）、分布式批处理框架，将输入的数据集划分为块后并行处理、排序、再归集，可处理 pb 级别的数据。
6）、系统中无单点故障，任何一个角色故障后都应有备份机器承担原失效节点工作，并在监控页面上对错误状态进行显示标识。
7）、系统的存储容量能够动态不停机扩容，扩容时现有系统可以不间断正常运行，不受扩容影响。扩容时无需迁移数据，无需要求用户对数据进行重新分区,避免硬盘和数据损坏。
8）、发生硬件故障时，系统能够自动检测错误并修复数据，无需人工干预，即使机器未修复，系统仍然能够不间断正常运行。
9）、实验初始化、关停、删除等功能：
2.1.3.2、云实验模块
1）基于b/s的web实验机可视化操作
实验机界面采用html5显示，操作终端无需安装其它开发软件即可进行实验操作，同时将实验任务指导书与实验机进行同步显示，提供web在线代码复制粘贴功能。
2）云实验机集群管理功能
提供云实验机集群管理，对实验机所属服务器进行新增、删除等操作，对云实验机可以根据学生编号、实验任务和环境要求自动创建，无需管理人员参与实验机创建操作过程。管理平台对云实验机可以进行停止、销毁操作。
3）云实验机类型
包...