大数据技术面临的挑战

　　大数据虽然可以通过扩大数据样本规模和提升数据处理能力来管理日常经营性的风险，但是代表金融创新风险等未来事件是无法用历史数据进行预测和分析的。

　　首先，大数据处理技术面临数据生成者学习行为的挑战。大数据处理技术和评估标准影响数据生成者行为，同样数据生成者行为也会影响大数据处理技术和评估标准。以我国大数据重要来源之一的社交媒体为例，这种大数据来源的有效性是有前提条件的，即人们在社交媒体分享的信息都是真实的、自发的、不受大数据处理技术和各种评估标准的影响。但是，人们在互联网时代运用网络学习的能力是不断提高的。如果人们通过学习大数据处理技术和各种评估标准而相应改变社交媒体的信息，就会导致大数据生成机制发生质变。因此，在对大数据进行技术处理时，简单地认为数据生成者都是无意识地生产大数据，忽略了数据生产者行为背后趋利避害的动机，可能就会得出错误的判断和结论。

　　其次，大数据处理技术面临去冗降噪挑战。在现实中，大数据一般来自于不同的社会主体，以动态数据流的形式产生，人们在方便获取数据的同时，也会使得虚假数据、无效数据等噪声数据的生产成本降低。面对大数据中包含众多不同形态的噪声数据，如何通过数据处理技术的革新来挖掘有价值的信息是我们自始至终都要面临的一项技术挑战。这如同人类社会医学技术创新与病毒变异之间的“竞赛”一样是长期存在的。