tencent cloud

日志服务

文档日志服务操作指南数据处理数据加工加工实战案例日志结构化-单行文本

日志结构化-单行文本

下载
聚焦模式
字号
最后更新时间： 2026-05-12 19:45:16

场景描述

某用户将日志采集到日志服务（Cloud Log Service，CLS），是单行文本格式。现在用户想将日志结构化，从文本中提取日志时间、日志级别、requestid 等信息，便于后续的检索分析。

场景分析

梳理用户的加工需求，加工思路如下：
1. {...}中的内容是操作的详情，可以通过正则提取。
2. 使用正则提取日志时间、日志级别、URL。

原始日志

{
    "content": "[2021-11-24 11:11:08,232][328495eb-b562-478f-9d5d-3bf7e][INFO] curl -H 'Host: ' http://abc.com:8080/pc/api -d {\\"version\\": \\"1.0\\",\\"user\\": \\"CGW\\",\\"password\\": \\"123\\"}"
}

加工结果

{
"level":"INFO",
"password":"123",
"requestid":"328495eb-b562-478f-9d5d-3bf7e",
"time":"2021-11-24 11:11:08,232",
"user":"CGW",
"version":"1.0"
}

DSL 加工函数

ext_regex("content", regex="\\[(\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2},\\d{3})\\]\\[(\\w+-\\w+-\\w+-\\w+-\\w+)\\]\\[([A-Z]{4})\\].*(\\{[^\\}]+\\})", output="time,requestid,level,msg")
ext_json("msg")
fields_drop("content","msg")

DSL 加工函数详解

1. 使用正则键值提取函数 ext_regex，提取时间、请求、日志级别、消息等信息，并将相关的内容保存至 time、requestid、level 和 msg 字段中。 
ext_regex("content", regex="\\[(\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2},\\d{3})\\]\\[(\\w+-\\w+-\\w+-\\w+-\\w+)\\]\\[([A-Z]{4})\\].*(\\{[^\\}]+\\})", output="time,requestid,level,msg")
2. 使用 ext_json 对 msg 字段进行平铺，msg 的值是{\\"version\\": \\"1.0\\",\\"user\\": \\"CGW\\",\\"password\\": \\"123\\"}。
ext_json("msg")
3. 丢弃 content 和 msg 字段。 
fields_drop("content","msg")




上一篇: 案例总览下一篇: 日志结构化-JSON

帮助和支持

本页内容是否解决了您的问题？

填写满意度调查问卷，共创更好文档体验。

文档反馈