利用机器学习解释极端价格变动

0/5 (0投票)

2020 年 8 月 19 日

5分钟阅读

4702

在本文中，我们将探讨 Refinitiv Labs 如何应对股票交易员在检测和应对意外资产价格变化方面面临的现实挑战。

如需将更多数据驱动的见解发送到您的收件箱，请订阅 Refinitiv Perspectives 每周时事通讯。

数据非常丰富，不仅体现在数量上，还体现在其来源数量、更新频率以及可能存在的格式多样性上。然而，花费在梳理这些数据上的时间，可能会让企业无法快速生成可操作的信息。

虽然金融机构已擅长于从同质化和结构化数据流中发现见解，但要充分发挥数据的潜力，需要梳理多个来源和格式的数据。以数据为中心的分析过程通常始于对可用数据集进行探索、清洗、过滤和格式化，然后才能开始分析和建模。

Refinitiv Labs 致力于解决这个问题，并将其应用于股票交易员在检测和应对意外资产价格变化方面面临的现实挑战。

极端价格波动是突然发生的，没有任何预警，交易员通常需要经历一个缓慢而艰苦的过程，从中搜集和分析零散的信息，以确定价格异常的原因。

解释极端价格波动需要有关资产的市场细分、行业、国家、地区等方面的信息。为了全面理解价格的突然飙升，Refinitiv Labs 需要处理包括价格历史、新闻和社交媒体帖子在内的多个非结构化数据源。

使用机器学习处理非结构化数据

Refinitiv Labs 开发了Mosaic 项目，这是一个原型，通过整合以下来源的数据，为交易员提供对资产价格变化原因的实时理解：

Mosaic 项目使用先进的机器学习模型处理连续的结构化和非结构化数据流，从而识别极端的价格波动并解释其发生的原因。

实时分析用于检测价格波动，而使用历史数据训练的机器学习模型则确认价格波动是否异常。

例如，当市场交易时段出现意外的并购传闻时，两家公司的股价出现大幅上涨是很常见的。Mosaic 可以向用户发出此价格飙升的警报，并提供相关新闻文章、社交媒体帖子和相关事件来解释价格飙升的原因。

Refinitiv Labs 的数据科学家、工程师和设计思维者团队是如何创建这个新的机器学习原型的？

机器学习模型受益于数据管道，因为它使模型能够产生可靠的结果。数据管道从不同来源读取持续的高流量数据流，然后处理并将其馈送到机器学习模型，该模型随后根据数据进行预测。

使用相似甚至相同的管道进行模型训练、推理运行以及系统性地重新训练模型，以减轻随着时间的推移出现的漂移等负面影响，也是有益的。

在 Mosaic 项目中，该管道必须处理来自各种来源和多种格式的大量数据，每天高达数 TB。

所有处理都需要实时进行。这限制了处理每条消息可用时间范围，从而需要更复杂的解决方案。

为满足这些需求，Mosaic 项目采用了现代技术栈，包括：Refinitiv 数据平台；Apache Beam；Apache Kafka；Elasticsearch；Google BigQuery；以及 Google Cloud DataFlow。

一个回测器定义并对历史数据运行模拟，一个警报存储器则累积 Mosaic 项目引擎为用户生成的警报。

为了确保最大程度的可扩展性、性能和可靠性，Mosaic 项目被构建为一个云解决方案，并且其关键组件，包括 Google BigQuery 和 Google Cloud DataFlow，都是云原生产品。

其他组件可以在本地运行，但使用云基础设施进行部署和管理，显著提高了开发和更新的速度。

将原型托管在云端，可以更轻松地扩展数据存储空间、数据处理能力，并根据需要执行复杂的数据分析。这也意味着 Mosaic 项目无需花费大量精力来维护服务器、网络、操作系统和软件包。

观看 — Mosaic 项目：使用机器学习解释极端价格波动

Mosaic 项目成功的关键因素是 Refinitiv Labs 的设计思维者、工程师、研究科学家和数据科学家之间的协作，以及最重要的，来自 Refinitiv 客户的持续指导。

在许多组织中，专业团队各自为政。我们发现这种脱节阻碍了公司为最终用户实现最佳结果。

Refinitiv Labs 确保我们的多学科团队在项目开始时就协同工作。对于 Mosaic 项目，持续的客户反馈确保了该原型为交易员提供了他们所需的见解。

Refinitiv Labs 目前正在向客户推广一项全球试点计划，并根据他们的反馈不断完善 Mosaic 项目。

该项目背后的原则和流程为数据科学和创新团队提供了一些有用的启示：