高等教育中数据密集型研究和分析所面临的重大挑战，在于探寻适当的方法，从当今正在生成的、极其丰富的数据集中提取出知识，并提炼成为对学生、教师和公众有用的信息。
技术和方法的进步使人们获得了前所未有的基于大数据的决策能力。大数据已经在商业、娱乐、科学、技术和工程领域中充分确立了这一用途。高等教育尽管也在决策领域中利用了大数据，但在教学的实际应用中仍然非常稀有。
高等教育所面临的独特挑战阻碍了这些应用。在高等教育行业中，有效采集、清洗、分析和发布大数据集所需的计算设施、工具和人员能力都严重匮乏。此外，学校在学生数据的采集和分析中面临着隐私和安全问题的挑战，这一挑战在很多科学学科中并不存在。并且，高等教育关注长期目标，如就业能力、批判性思维，以及健康的公民生活等。由于这些结果难以衡量，尤其是在短期研究中，因此在高等教育中我们要以理论或实践的依据作为短期内进行衡量的替代。
除了利用教学过程中形成的实时、诊断性数据来提升学生学习效果，数据密集型的研究和分析还可以实质性地促进高等教育实践的演进。提升我们的能力，以迅速处理和理解目前不断增长的大型、异质、嘈杂和丰富的数据集，将是值得迈出的下一步。
大数据和MOOC
2011年，META Group的分析师Doug Laney，用了一组以“V”开头的词语来描述大数据，以指称不断增长的数据规模（Volume容量），持续加快的数据生成和分析速率（Velocity速度）和不断扩大的来源、格式和形式（Variety多样）。其他研究者增加了Veracity（真实性），以表示不同来源中参差不齐的数据质量，包括数据的范围、准确度和时效性上的显著差异。本文对高等教育中大数据分析的希望和困境的讨论，特别强调真实性因素。
此外，作为高等教育中数据密集型研究和分析的机遇，MOOC（大规模开放式在线课程）是本文的一个关注点。MOOC演示了从学习环境中采集到的多种类型的大数据。大量数据不仅有通过采集于多个学习者的广度数据，也有单个学习者经历中的深度数据。MOOC中的数据涵盖了历时数据（如单个学生横跨多年的若干门课程），丰富社交数据（如集体解决问题的视频会议录像），以及特定活动的细节数据（如在观看不同视频片段、教育游戏或问题解决过程中的个人行为等）。数据的深度不仅受某个学生数据的原始容量决定，还受到情境信息可用程度的决定。
这些类型的高等教育大数据有潜力为提高学生的学习效果创造以下机遇：
通过适应性学习或者基于能力的教育（CBE），以使学生掌握学习内容的过程更加个性化；
迅速深入地诊断学习需求或课程难点，将系统性思考、团队合作和解决问题等能力评价纳入深入和真实的学科领域知识评价中，以实现更好的学习效果；
采取目标导向的干预，来提升学生学习效果并降低学生和院校的总体成本；
利用基于游戏的学习和评价环境，使学生在复杂的信息和决策情形中学习。
复杂技能评价中大数据的价值
高等教育课堂中的传统评价方式的频度不高，形式也有限，无论是在设计方面（采用命题作文和多项选择题方式），还是在评价反馈方面（往往是延后的和主观的）。教育技术的进步提供了可行方法，用来评测学生在诸如工程设计问题和自由写作等真实任务中的表现。通过对这类任务进行评测，能够提高对学生学习效果评测的相关性和精确性，能够根据特定学生的需求调整教学，也能够就一系列学习问题提供个性化的反馈。
此外，社交互动也逐渐从面对面转成了在线方式。大数据可以对学生与学生之间的互动进行详细追踪。通过整合社交数据和其他数据，也许能对更加复杂的问题解决技能和团队合作的技能进行评测。要实现这个希望，就要探寻能分析异质来源的数据并提取出测量结果的方法，这与科学和工程领域中已经出现的类似进步是并行的。
过去二十年中，教育技术的这一项基础进步是和教育技术的大范围采用密切相关的。数字化的评价使得直接审视相关的真实表现成为可能。此前，广泛用于大量学生情形的数据主要来源于标准化考试或标准化研究工具，例如物理学中的“力学概念目录”（Force Concept Inventory）。这些评价的时间长度都很短。其结果就是，评价内容要么包含了大量的小问题，能保证评价结果准确，但是无法捕捉耗时较长的复杂技能；要么涵盖了少量的大问题，在单个学生情况上缺乏准确度。
与此相反，MOOC课程中的很多数据来源于正在完成大量复杂问题的学生，而且这些问题是他们日常课程学习的一部分。例如，编号为6.002X的《电路与电子》是edX/MITx的首门课程，其中考查内容几乎全都是由和表现相关的任务构成的。学生以公式、数字或电路的形式完成对设计和分析问题的回答。这类问题的解决方案几乎是无限的，答案不可能是靠猜的。必要时，学生可以多次提交答案并获得反馈，直到最终解决问题为止。这些考查很花时间：在大多数周，课程仅仅安排四次考查，但要完成这些考查需要10～20个小时的功课。类似的和表现相关的考查在诸如化学、生物、物理和计算机科学等课程中都已经得到采用。对于给定的学生，如果把在多门课程中的这种复杂的评价结果合并到一起，将会形成与问题解决技能和合作活动相关的丰富数据。
研究者可以采集到与单个学生的行为有关的细粒度的数据。通过分析正确和错误答案以及得到答案的行为，这些数据可以提供学习轨迹的特性的细节。延伸研究展示了新手和专家的问题解决策略的差异。专家能够积累信息，例如看到一个模拟电路就能够记起这个电路，但是新手就记不起来。这就可能会导致行为模式的差异，比如新手会向前滚动内容。丰富的考查数据可以提供专家技能培养方面的信息。同时还可以记录某个学生在某个问题组上翻页的次数，或者是在课本中查找公式的次数，然后就可以研究这些变量中的哪些包含了能够表示专家技能的数据。
随着数字化的团队工作越来越多地引入到课程中，服务器日志文件中出现了更多的社交追踪轨迹。这些日志文件有助于识别在团队工作中表现不佳或表现突出的学生，而且可以直接测量单个学生对团队的贡献。这些系统可以提供充足的数据作为起点，用于探寻形成良好的团队整体表现的行为模式。这些模式可以用来向学生反馈相关信息以提升团队表现。还有自然语言处理程序框架，例如开源的edX EASE and Discern，当然主要用于对短小答案打分，但也可以用于对社交活动进行分析，诸如电子邮件和论坛发帖等。这些程序框架有希望实现对书写过程和群体动态的洞察力。
最后，除了对单门课程的内部进行观察以外，MOOC数据系统还使得对学生教育轨迹的历时性分析成为可能。大多数案例中，独立的时间点上得不到值得关注的学习相关信息；对学生教育经历中的所有项目加以审视就能更加精确的估计学习的效果和水平。学习分析系统正在越来越向着汇聚多门课程的多个来源数据的方向发展。开源的分析框架，如edX Insights或Tin Can，都为学生的所有数字化学习活动提供了通用的数据仓库。
数据创造
分析上的很多困境都是因为少问了一个问题，即“数据从哪里来？”数据采集和数据挖掘两个短语都隐含着一个意思：数据就在那儿，等着研究者去挖掘和采集。在教育研究中，我们设想数据创造这个更加有用的观点，因为这可以把分析师的注意力集中到最初的数据形成过程上。按照这个观点，大数据的形成之所以重要，不仅是由于从现有情境中提取数据的新方法，而且是由于新出现的情境。创建一门MOOC课程、在线教育游戏、学习管理系统或在线考试，我们就能采集数据；不过更重要的是，在新情境中创造数据，而且是在一个恰好能够采集这些数据的情境中。
这是一个相当重要的观点。基于这一观点的前期工作没有将MOOC课程视为新型课程，而是视为新的情境，其中的入学、听课、课程和成果等传统术语都要重新定义。MOOC课程的特征是异质的参与者，异步的使用，和入学的低门槛——这样的描述关注到了MOOC课程不同于貌似相近的在校教育和在线教育的原因。在MOOC课程的情境中，有人也许会主张说退学是许多MOOC参与者想要的结果，因为他们的意图仅仅是浏览和寻找一个合适的课程。因此，在研究提升课程完成率时首先要解决一个问题，即作为一个不切实际的行为，完成MOOC课程是否是人们实际上想要的，以及是否要将研究范围缩小到那些确实想完成课程的人们身上。MOOC研究中的分析还面临着其他挑战，包括实验组间的流失率差异和严重扭曲的分布等。
不仅是MOOC，要理解基于数据密集型或大数据导向的工作，都要置身于数据形成过程的情境中。特殊的情境和过程经常在教育大数据研究中出现。当在特殊的情境和过程中进行研究时，研究结果到底是这种特殊情境的特性，亦或是有普遍意义的、对认知科学的学习领域的贡献，就难以区分了。大数据研究并不天然地隐含跨情境的可复现性。尽管如此，大数据可以实现与其他情境中的数据集的关联，相应地，对研究结论在其他情境中普遍适用的程度进行评估也就成为可能。
定义MOOC“学生”
上文已经主张不要将教育中的数据密集型情境视为熟悉的含有数据的情境，而是视为不熟悉的可以从中采集数据的情境。我们相信，这个观点可以有效地将研究重新聚焦于对这些情境的描述，并决定其中的研究发现能否以及如何普遍地适用于其他更加熟悉的情境之中。对哈佛大学和麻省理工学院的开放式在线课程的研究已经发现，参与学习者的年龄、教育背景和地理位置有令人关注的多样性，连同大量教师的课程参与和变化多样的初始投入。我们和其他研究者主张，这样的特点使MOOC课程难以评价；其中，不加鉴别地使用“完成率”作为一项产出指标的做法尤其有问题。如何定义MOOC的衡量指标并能取得一致，正是这一难点展示的一项挑战。
在线内容和在线课程有什么差别？答案可能是这样的：内容无论是被消费或者未被消费，几乎都不需要照料；而在课程中，开设者和学生对于特定的学习目标有共同的承诺。如果在一门课程中没有学习到知识，学生会失望，院校也应当会失望。这种失败的学习必须要加以纠正。答案还可能是这样的：课程是有学习活动和结构的；而内容是被动的、形式是自由的。通过利用数据不断地向教师和学生提供反馈，这种积极的做法是高等教育中数据密集型分析和研究的一部分潜力。
内容本身算是一项贡献，而且某些教师和院校提供的也只有内容而已。但是，如果仅仅提供内容的话，会导致完成MOOC课程的学生更可能是那些知道自己需要什么的学生，那些自我激励的学生，以及那些用必要的时间和技能保持学习进展与课程进度接近的学生。研究中普遍发现，受到过大学教育和来自于美国的富裕地区的MOOC注册学生不成比例地集中，这与上述假设是一致的。如果没有诸如学分、补习、问责等教学制度要素，在缺少有目标的干预措施的情况下，MOOC课程不太可能会缩小美国的成绩差距，而只有一些MOOC课程提供了这种干预措施。当然，缩小成绩差距对于发挥MOOC课程的积极作用而言既无必要又不足够，因为MOOC课程已经大规模地提高了课程的可用程度。然而，既然到了将缩小成绩差距作为目标的程度，那么相关的努力就需要可观的资源和全力专注的使命。
出于自我评估的需要，MOOC提供商们应当对坚定学习者（committed learner）下一个定义，并且使注册学生和公众了解这一定义。坚定学习者的一个可行定义是：一个注册学生，他或她声明承诺为完成课程而投入，且在线活跃时间至少有5小时。对于一个学生，如果要理解他或她正在参与的是一项怎样的课程，这个时间（正如四处闲逛的“购物时间”一样）看起来充足；而且，这个时间投入带来的完成率可以达到50%（根据哈佛大学和麻省理工学院数据）。按照当前许多MOOC提供者使用的另一个定义，一个坚定学习者是至少在一次作业中完成了一个问题的学生。根据相应的MOOC数据，符合这一定义的学生的完成率接近25%。教师和院校可以公开坚定学习者的数量以及完成率，为他们负责，并且努力在当前的基准上提升他们的数量和完成率。
重要的是，坚定学习者的这一定义并不排除其他的参与者。在此模型中，好奇的浏览者、很少看视频的听课者（听众）、寻找资料的教师都会用MOOC，只要他们愿意。这些学习者可以按照反映MOOC满足需求程度的适当尺度继续进行划分。只要课程的教师和管理者了解课程的参与者，教学的本质就是要使得教师和管理者在帮助MOOC参与者达到目标方面负起责任。在校高等教育中大数据带来的机遇也和这一本质是类似的。
数据：用于预测还是学习？
对于数字化学习数据的最常见疑问就是预测，包括对毕业、流失，以及诸如修习课程模式等对未来产出的预测。但是需要牢记的一点是，在所有教育改革过程中，衡量预测和实际产出之间差距的预测标准都是不准确的。相反地，衡量采用预测算法时学生的学习效果和没有预测算法时的差距，这个标准才有重大意义。我们发现，人们对技术复杂的预测模型和对错综曲折的学习途径的关注是不成比例的。而且，为了确定学生和教师是否能使用数字化工具来提高学习效果，要进行严格的实验设计，但是极少有人关注此事。
简而言之，如果预测模型说某个学生将会失败，我们要让这个预测只有在无法干预的情况下才能成真。如果这个学生真的失败了，应当看作是整个系统的失败。预测模型应该是预测-响应系统的一部分，这个系统要对没有响应的失败情况做出准确预测，而且启动响应使得预测变成错误（例如，准确预测在特定的干预下学生将会成功）。在良好的预测-响应系统中，所有预测都最终被负反馈调整。展现这一效果的最佳经验方式是在系统分派上引入随机变量，例如将预测-响应系统随机地分派给部分学生而不是全部学生。这个方法极少用于在校高等教育，而数字化数据的存在使之变得可行。
在MOOC中评价复杂技能
将评测方法作为教学设计的目标之一会带来实质性的挑战。课程作业和考核有多个目标：
作为持续监控学生所了解内容的方法。这可以使教师和学生将教学调整到难点区域。
作为学生习得新信息的主要方法。在很多学科中，大多数的习得都是通过作业实现的，学生在作业中应用、推导或构建知识，而不是在课堂讲授、视频或阅读中。
作为评分的关键组成部分。评分有多重目标，从验证学生的完成情况，到激励学生的期望行为。
作为学生、教师、院校和课程的总结性评价。总结性评价有很多高等级的目标，例如学生的毕业和学校的认证等。
不同的研究社群强调不同的目标，因而为如何构建良好的评价提出了不同原则。例如，量化方向的心理计量学家可能会强调可靠性和可比性，因此一般都要达到高水平标准化。相反，物理教育研究社群可能更强调概念，通过深入的练习，迅速的反馈，积极的学习和建设性学习等方式。
结论
尽管教育经历的许多目标难以被衡量，但是高等教育中数据密集型研究和分析可以帮助人们改进、控制和理解那些可以被衡量的目标。目前可用数据的广度和深度有潜力从根本上改善学习效果。我们相信，当前在数据密集型研究和分析上发生的一切，可以与显微镜和望远镜的发明相提并论。这些发明揭示出了此前一直存在但从未被获取的数据。
数字化评价长期以来都是解放教师时间的有效方法，特别是在混合学习环境中，同时也是进行即时的形成性反馈的有效方法。在此基础上的后续工作，一方面向着真实性评价的方向发展；另一方面，要为了迅速准确对学生的问题进行评价反馈，而寻求人类和机器共同协调工作的方法。其中数据从多样的来源中集成而来，通过历时性的采集而来。
随着这一改变，我们拥有的数据涵盖了学生技能的几乎所有方面，包括高等教育力图促进发展的复杂技能，在现代经济中，这是比单纯的事实知识更加重要的能力。这为我们带来了以更深入、更频繁、更迅速的方式来评价高等教育学生的潜力，扩展了学生和教师监控学习效果的视野，包括对高等级技能的评价并提供个性化的基于这类评价的反馈。然而，理解这些数据所需的工具（例如edXORA、Insights、EASE和Discern）都还处于萌芽阶段。高等教育中的数据密集型研究和分析所面临的巨大挑战，在于探寻从目前产生出来的、极度丰富的数据中提取知识的方法，也在于将这些理解整合到学生、校园、教师和课程设计的图景中去。