- 数据智能
日志易V4.2重磅发布，新版本在配置及检索效率、Beaver性能等方面实现了显著提升，同时新增字段标准集等个性化功能，在Agent配置界面等方面进行了深度优化，从技术实现、安全可信、可操作性、观感效果等各方面充分提升用户体验。
智能化功能持续丰富
新增字段标准集
随着抓取的数据日益繁杂，各类分析场景的实现对于数据质量的要求越来越高。良好的数据治理能够帮助企业深度挖掘数据价值，而提升数据质量往往是企业开展数据治理工作的第一步，也是数据治理的重要目标之一。日志易V4.2版本新增了字段标准集功能，以满足用户对字段标准集中管理的需求，为后续数据治理搭建了稳固的框架基础，帮助用户实现数据质量的提升。如下图所示，一个字段标准集下可设定多种字段标准，一个字段标准包含字段名称、字段类型、校验规则等内容设定。该功能同时支持用户对字段提取质量进行分析，质量分析的默认结果包括字段覆盖率、异常值比例等内容，分析结果可另存为趋势图、报表等，也可添加二次加工语句，从而形成新的分析结果。
标准集作为新资源类型，配置了灵活的权限控制设置，可授权指定用户使用，同时支持导入、导出等操作。
搜索框字段/值提示补全
新版本将日志易SPL（Search Processing Language）语句提示和关键字高亮调整为SPLServer提示，搜索匹配结果的精准度显著提高。用户可以通过日志易V4.2新增的Typeahead方式，获取字段名和字段值的提示，系统将提供索引最快获取的前10个值。同时，日志易会验证当前索引的查看权限，在保证检索速度的前提下，将敏感数据泄漏概率降至最低。
定时任务自选输出/测试运行
之前，定时任务的结果默认选择Schedule索引。新版本新增自选输出功能，可由用户自定义输出索引，测试运行结果也可在选定的输出上进行，实际输出数据可在定时任务运行的历史列表、选定的索引或第三方数据库处查看。同时，系统会伪造一个schedule_id来避免污染定时运行的schedule_id数据。
定时任务列表新增执行结果展示
新版本中，定时任务列表新增展示最近24次执行结果的成功或失败状态。历史详情页同样支持展示相关的成功或失败状态，用户可以精准查看失败状态关联的报错内容。
数据库输出展示关联任务
在日志易V4.2版本中，定时任务采用数据库输出方式，在数据库输出列表上会展示关联的定时任务，用户在进行修改或删除数据库输出时能够知晓关联内容，避免误操作。
监控配置支持趋势图预览
新版本中，用户在监控配置项填写查询语句、查询时间范围、统计函数、统计字段、执行间隔等必要配置信息后，可以点击生成预览趋势图。趋势图历史数据的充分分析与展示，有助于用户更精准地定义触发阈值，对于分组阈值，用户还可以在每个分组条件下，分别预览各自关联的趋势图。
数据库连接新增类型
在日志易V4.2版本中，新增了SQLServer、Informix等数据库连接类型，还支持对JDBC URL添加自定义扩展参数。
高基数字段风险提示
新版本新增高基数字段风险提示功能，能够根据当前查询范围命中的前1000条数据中的字段值，用感叹号Icon在字段列表上提示其可能是高基数，以免用户将其当作groupby字段处理，避免误操作导致的系统风险。
新增个性化SPL指令，检索能力深度强化
新增typeahead指令
日志易V4.2新增的typeahead指令，支持直接访问对应索引时间范围内的倒排索引数据，能够快速返回对应术语的倒排链长度，适用于快速返回类型的预估场景。
新增rest指令
通过新版本新增的rest指令，用户可直接调用API，获取返回数据，免去重复的手动创建操作，提高效率与精准度。
search指令下沉
新增search指令下沉后，日志易V4.2支持去除日志的raw_message倒排索引部分进行存储，日志膨胀率下降了0.28，有效降低存储成本。
新版本支持裁剪掉raw_message倒排数据后，依然走stored部分过滤，达到一定的查询效果。同时，search下沉在某些搜索场景中能够大幅提升检索效率。例如，使用 * | search apache.status:200检索时，系统依然会使用 apache.status 的列存数据，检索时间将比从原始日志中过滤快几倍到十几倍
Beaver调优再升级，性能数倍增长
Beaver
Docvalue kPrefix类型的额外压缩优化
额外压缩后，查询性能会在第一次查询后得到显著提升，多次统计耗时可下降数十倍。Pipeline中相应的字符串性能显著提升
索引默认模式优化
在日志易V4.2中，新建索引默认采用高压缩模式，帮助用户有效节约存储资源
智能可视化效果不断精进
网络流向图
相比旧版本中的力引导图，日志易V4.2中的网络流向图新增了节点Icon样式，用户可自由设定节点和连线的颜色方案，自由配置连线文字和布局方向。
富文本报表支持插入页码
新版本支持用户在通过富文本编辑器生成的Word文件上插入页眉页脚，还可以再选择插入页码，设置页码位置、对齐方式等。
表格提供颜色方案和斑马样式
新版本配置了类Word表格样式的编辑区，支持设置表头颜色和斑马线样式等，在趋势图、仪表盘、报表配置中也可以统一运用。
单行事件的原文颜色方案
在旧版本中，颜色方案只区分不同字段。新版本推出对关键信息raw_message的多彩展示效果，重点更加突出，有效提升用户浏览效率，降低重要事件处置耗时。
各资源列表的列宽优化
为更好适应分辨率较低的投影仪和小屏幕等展示场景，新版本针对平台页面进行了效果优化，页面自动探测当前屏幕宽度，当宽度小于大屏阈值时，隐藏部分列，比如常见的创建用户等；宽度继续减少到小屏阈值时，不再压缩列宽，改为横屏滚动查看。
Agent模块多重优化
Agent添加数据源列表样式优化
新版本将列表形式升级为卡片形式，交互更为简洁。
Agent常用场景配置界面化
新版本针对脚本采集的Crontab支持、S3采集的区域输入、Kafka采集的编码和认证等插件的高级配置项进行了界面化梳理，深度简化了配置流程，可操作性有效提升。
Agent插件配置界面化
新插件配置在列表上自动展示除密码以外的必填列。
Agent安装包服务器上传
新版本支持通过服务器上传Agent安装包，以应对部分客户电脑浏览器对上传文件大小的限制。
Agent提供重复采集排查工具
新版本提供重复采集排查工具，帮助技术人员排查是否有文件被不同配置重复采集。
公司介绍
北京优特捷信息技术有限公司（简称“日志易”）是国家级专精特新“小巨人”企业，专注于机器大数据平台、服务和解决方案的开发，致力于帮助各行业用户挖掘和利用机器数据价值，提升数字化运营能力，轻松应对IT及业务挑战。
公司推出日志易智能日志中心、SIEM安全大数据分析平台、日志易LAS日志审计一体机、可观测性监控平台观察易、智能运维平台、数据工厂、日志易大屏等系列产品，一站式解决机器数据采集、清洗、存储、搜索、分析、可视化等需求，帮助企业轻松实现查询统计、安全合规审计、业务关联分析、监控告警、安全信息与事件管理SIEM、用户与实体行为分析UEBA、安全编排自动化与响应SOAR、智能运维AIOps、IT可观测性等应用场景。
此外，日志易也提供服务于中小企业的SaaS标准版本。2016年起，日志易着手开展国际业务，同年11月即发布了英文版产品，已经面向海外客户提供服务。公司经过8年多的发展，业务已经由日志分析扩展到智能运维、安全分析、可观测性等领域。目前，公司在北京、深圳、天津及武汉四地设有研发中心，专业服务团队100多人，员工分布在全国20余个重点城市，覆盖全国300多个地级市，已经形成了完善的销售及专业服务体系，真正践行以客户需求为先，值得信任。
目前，日志易自研的低代码编程语言SPL（Search Processing Language）已实现了300个函数及指令，全面覆盖日常运维分析和安全分析工作需求，对接了后台多种机器学习算法，实现了智能运维AIOps。此外，日志易还研发出了国内首个高性能高可用性的日志搜索引擎Beaver，每天可处理PB级海量日志，相比国外通用开源搜索引擎来说，Beaver性能提升了10倍且硬件成本降低了50%。