告别高昂存储，高效灵活管理数据

前言

在当今数字化时代，企业面临着海量数据的挑战，这些数据承载着技术创新和业务发展的重要使命。因此，高效、安全地收集、存储和管理数据成为了企业关注的焦点。对于需要长期储存且低频聚合分析的数据，组织需要更加低成本和便捷的方式储存利用这些数据。观测云利用数据转发提供新的解决方案，帮助用户将需要储存的数据转发至第三方外部存储，这样不仅有效降低用户的成本，也能够方便用户在观测云中直接查看和灵活管理第三方存储的数据。因此，本文将讨论这一解决方案的配置和实际场景示例，让用户用更低的成本实现更便捷灵活地管理数据。

数据转发

观测云提供多种的数据转发和存储方式，帮助用户灵活管理和转发数据。您可以自定义数据转发规则，将日志、链路和用户访问数据保存到观测云的对象存储，或转发到第三方外部存储，包括 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列等存档类型。

配置个性化转发规则

您可以在管理>数据转发>转发规则中新建转发规则。创建完成后，若上报数据匹配到了转发规则中的配置，则会将匹配的数据做转存处理。

前提条件：使用商业版观测云，详情参见：升级商业版 - 观测云文档

步骤一：输入规则名称

您可以自定义规则名称，并选择需要转发的数据是否包含扩展字段，若您若勾选了 “包含扩展字段”，符合条件的整条日志数据都会被转发，但应用性能和用户访问数据默认转发整条数据，不受此选项影响。

步骤二：定义过滤条件

接下来您可以自由选择数据源，包括日志、链路、用户访问，并可以自定义数据源的过滤条件，即满足所有条件或任意条件的数据就会被保存到数据转发。其中条件运算符 in / not in 够将数据进行精准匹配，您可以选择多个值；match / not match 支持输入正则表语法去进行模糊匹配，快速过滤需转发的数据。

当然，您也可以不填写过滤条件，即可保存全部日志/链路/用户访问数据。以日志为例，如下图所示：

步骤三：选择存档类型

观测云提供了更加全面的数据转发存储方式，您可以根据实际情况和需求自由选择存储类型。支持五种存储路径：观测云、 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列。

观测云

当您选择数据转发存储对象为观测云，观测云为您提供匹配到的数据将被保存到观测云侧的 OSS、S3、OBS 对象存储中。该规则下的数据最低存储默认为 180 天。当然，您也可以在管理 > 设置中按需修改数据存储策略，高效完成同一平台统一观测、管理、存储数据。

当然，若您已使用 AWS S3、华为云 OBS、阿里云 OSS 和 Kafka 消息队列来存储数据，观测云也可以通过多种授权方式助力您跨平台共享云资源。

AWS S3

当您存档类型选择 AWS S3 时，根据不同的访问类型，您将需要填写不同的存档信息，还能够直接测试连接，确定已填的信息是否规范，安全规范地将匹配到的数据保存到 S3 对象存储。

• 角色授权：您需使用观测云默认生成的外部 ID 配置 AWS 资源第三方访问权。在 AWS 中配置观测云 IAM 角色后（参见：https://docs.guance.com/management/role-auth/），填写?AWS 账号 ID、AWS 角色名称、地区及 Bucket 名称等存档信息。

• Access Keys：您需要下载 AWS 资源授权模板后，配置观测云 IAM 策略。填写账号信息，输入 AWS 账号 ID、AWS AK & SK、地区及 Bucket 名称即可。

• 账号授权：AWS 提供跨账号授权能力，您需使用观测云专属的账号 ID 并依据配置说明添加跨账号访问授权策略;完成后，选择地区并输入存储桶名称即可。

观测云专属账号相关详情，参见：数据转发 - 观测云文档

华为云 OBS

在配置华为云资源访问授权时，须使用观测云为您提供的专属华为云账号 ID ，前往华为云控制台添加跨账号访问授权策略。配置完成后，您只需选择地区，华为云存储桶的名称即可。同样的，您也可以进行测试连接以保证顺利访问。

阿里云 OSS

与 AWS S3 相似，观测云支持您通过角色授权、Access Keys、账号授权访问类型访问阿里云 OSS 中的数据资源，详细操作可以参考上述配置 AWS S3 过程。

?

Kafka 消息队列

不同的，当您填写地址和消息主题后，将数据转存到 Kafka 消息队列需要通过安全协议。在 Kafka 侧，SASL 可以使用 PLAINTEXT 或者 SSL 协议作为传输层，相对应的就是使用 SASL_PLAINTEXT 或者 SASL_SSL 安全协议。因此，详细配置如下：

• 选择 PLAINTEXT 时，无需任何安全校验，您可以直接测试连接；
• 选择 SASL_PLAINTEXT 时，认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512 。您需要输入在 Kafka 侧执行安全认证的 username / password，再测试连接。

• 选择 SASL_SSL 时，您需要上传 SSL 证书。认证方式可选 PLAIN、SCRAM-SHA-256 、 SCRAM-SHA-512。之后输入在 Kafka 侧执行安全认证的 username / password，再测试连接即可。

以上讲述了如何按照您自身对存储对象的需求，进行转发规则的配置，点击创建即可帮助您实现低成本长期存储、统一管理数据、灵活使用数据等目的。

灵活查看转发规则

除此之外，您还可以在转发规则列表页查看和搜索已创建的转发规则；同时，还支持您进行批量的操作，如启用、禁用、编辑、删除等。值得注意的是，当您的规则删除后已转发的数据不会被删除，只是不再产生新的转发数据了。

强大的转发规则查看器

当您回到数据转发页面，您可以下拉选定规则，并基于自定义时间，查询精确到小时范围内的转发数据。同时，您也可以输入关键字来搜索查询匹配数据，方便您快速了解转存的数据，从而利用数据做进一步的挖掘和分析。值得注意的是，数据转发规则创建完成后，每 5 分钟执行一次规则校验。

另外，在索引展示页中，您可以查看观测云历史备份日志和 SLS Query Logstore 数据，帮助您随时检索和使用相关数据。

场景示例

为您讲述完如何配置和管理转发规则，我们将以“日志数据转存到阿里云 OSS ”为例，让您更清晰的了解观测云数据转发的强大和魅力。
本示例中，我们利用 id in host 为条件过滤出相关的日志数据，并通过角色授权的方式创建转发规则，将数据转发到 阿里云 OSS 进行存储和后续调用。

结语

观测云提供的数据转发功能为组织和企业提供了强大的工具，用户可以轻松实现数据的长期备份和存储、节约成本、灵活管理数据等。随着数据量的不断增长和数据管理需求的提升，数据转发功能将继续发挥重要作用，帮助用户更好地管理和利用其数据资产。