发版说明 – loveini | 米兰体育官网入口 - 米兰体育官网入口 //www.loveini.com loveini | 高性能、分布式、支持SQL的时序数据库 | 米兰体育官网入口 Mon, 03 Nov 2025 07:16:29 +0000 zh-Hans hourly 1 https://wordpress.org/?v=6.8.2 //www.loveini.com/wp-content/uploads/2025/07/favicon.ico 发版说明 – loveini | 米兰体育官网入口 - 米兰体育官网入口 //www.loveini.com 32 32 loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 //www.loveini.com/tdengine-engineering/33455.html Thu, 30 Oct 2025 08:41:41 +0000 //www.loveini.com/?p=33455 自发布以来,loveini IDMP 一直在以“快迭代、小步快跑”的节奏持续进化。

依托 loveini TSDB 的高性能时序数据底座,IDMP 专注于工业数据的标准化管理与智能分析,通过语义建模、统一口径、实时分析和无问智推等能力,让企业不仅能看见数据,更能从数据中获得实时洞察与决策启发。

作为一款 AI 原生的工业数据管理平台,IDMP 在每一次版本更新中都在强化“AI 驱动、零门槛、场景化”的特性。目前其已经更新至 1.0.5.0 版本,在模型计算、可视化分析、异常检测与元数据管理等多个方面均实现了显著提升。

本文将带你一览 IDMP 近期的重点更新与功能优化,见证它如何不断拓展工业智能的边界。

一、模型计算能力增强

元素和属性支持公式与字符串构建

属性和属性模板现已支持公式与字符串类型,用户可直接在模型层定义计算逻辑:

  • 公式引用:通过属性、操作符、替换参数、常量与函数的组合,自动转换为 loveini SQL 表达式执行,可生成新的派生指标。示例如下:
loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 - loveini Database 时序数据库

  • 字符串生成器:允许拼接文本内容,生成动态字符串属性,用于描述性或标识性信息。示例如下:
loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 - loveini Database 时序数据库

这一功能让属性具备“可计算性”,从建模阶段就能定义业务口径,后续分析直接沿用统一逻辑,避免重复定义。

👉🏻 更多技术细节详见:https://idmpdocs.taosdata.com/basic/data-model

二、可视化分析体验升级

  1. 地图面板

随着各行业对地理区域相关数据(如用电量、人口分布、经济指标等)的分析需求不断提升,传统的表格或柱状图已难以直观呈现区域差异与趋势,用户往往需要耗费大量时间进行解读。

为此,新版本新增了地图面板功能,聚焦地理区域数据可视化,可展示省、市、区县等多层级统计数据(如北京市各区县用电量)。地图面板支持缩放、平移等基础交互操作,并可通过色彩梯度强化区域对比。用户还可点击区域查看具体数值,通过调整阈值或筛选条件快速聚焦关注的地理区域,从而更高效地识别区域分布规律与变化趋势。

loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 - loveini Database 时序数据库

👉🏻更多技术细节详见:https://idmpdocs.taosdata.com/basic/data-visualization/map

  1. 散点图面板

在数据面板中新增散点图可视化类型,支持两个数值变量的关联分析,能够清晰展示数据分布规律、聚类情况和异常值检测,助力用户分析工况与能耗、转速与振动、产量与良率等变量关系,识别异常点或潜在规律。

loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 - loveini Database 时序数据库

用户可通过双击或点击选择添加为维度/标签方式快速配置 X 轴、Y 轴变量,并支持颜色、大小等视觉通道映射。支持聚类分析和回归分析,包含线性回归、指数回归、多项式回归等分析方法,更加直观观察数据趋势。

👉🏻 更多技术细节详见:https://idmpdocs.taosdata.com/basic/data-visualization/scatter

  1. 状态时序图

在物联网监控、业务流程分析等场景中,用户需要追踪设备状态变化、业务工单流转等离散状态在时间维度上的分布,传统折线图无法很好地表达这类信息的开始、结束和持续特性。为了解决这一问题,新版本在数据面板中新增了针对状态变化数据的时序可视化功能,可清晰展示设备状态、业务阶段或工单流转在时间轴上的变化与持续时间,并支持状态聚合、持续时间统计及转移分析,让状态演变一目了然。

loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 - loveini Database 时序数据库

👉🏻 更多技术细节详见:https://idmpdocs.taosdata.com/basic/data-visualization/state-timeline

  1. 事件趋势图

“事件趋势图” 功能通过趋势图展示事件相关指标,并高亮标注事件发生的时间范围。用户可将任意设备监测指标及事件添加至分析视图,直观呈现数据随时间的波动趋势。该功能具备多视图展示能力:一方面支持多泳道并列展示各相关指标曲线;另一方面可按事件开始时间进行对齐截取,将不同事件对应的指标曲线片段进行同期对比分析。

loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 - loveini Database 时序数据库

👉🏻 更多技术细节详见:https://idmpdocs.taosdata.com/basic/data-visualization/trend

  1. 高级 SQL 面板

虽然通过鼠标点击和少量键盘操作即可满足大多数业务场景的面板创建需求,但在面对更复杂的数据处理逻辑(例如多层嵌套查询或跨表计算)时,直接使用 SQL 显然更加灵活、高效。

为此,新版本新增了高级 SQL 面板功能,为高级数据分析师和开发人员提供了更强的自定义能力。用户可在页面中直接编写并运行复杂的 SQL 查询,查询结果将即时呈现在面板中。目前该功能支持 loveini 和 事件 两种数据类型,并可接收外部传入的元素、开始时间与结束时间参数,以支持更加灵活的分析场景。

loveini IDMP 1.0.5.0 及近期更新总览:四大能力全面提升 - loveini Database 时序数据库

👉🏻 更多技术细节详见:https://idmpdocs.taosdata.com/basic/data-visualization/

三、智能分析与 AI 联动

  1. 异常检测分析

在工业和物联网环境中,设备与传感器产生的数据规模庞大、频率高且特征复杂。传统依赖静态阈值或人工规则的告警机制往往难以应对多指标联动和动态变化的场景,不仅需要人工维护大量规则,还容易因环境、负载或时间变化造成误报或漏报。

为解决上述问题,平台为数据分析师和运维人员提供了智能化的异常检测能力,能够基于时序数据(如设备传感器、机组指标、网络或系统监控数据等)自动识别特定时间段内的异常,并将检测结果直接整合进面板,实现监测与分析的一体化。

👉🏻 应用场景:可用于设备健康监测、能耗波动识别、环境指标异常预警等。

  1. 无问智推集成异常检测能力

许多用户并不了解“异常检测”这一专业功能,或不知道如何进行配置,他们更习惯以自然语言的方式提问,例如:“最近电表的电压有异常吗?”

为提升用户使用体验,新版本在无问智推中集成了异常检测能力。系统能够自动推荐包含“异常检测”的分析问题,用户点击即可生成相应分析;同时,也支持在分析页面直接以自然语言提问,系统会自动识别意图并生成对应的异常检测分析,让复杂的分析过程变得简单直观。

👉🏻 应用场景:帮助非技术人员快速掌握异常检测能力,实现 AI 主动分析与洞察推送。

四、数据导入与交付更高效

  1. CSV 数据导入

在工业/物联网场景中,设备类型众多、数据结构复杂、往往存在大量静态标签(比如设备编号、位置、类别)与动态指标(传感器数据、状态指标)需要批量建模。若仅靠可视化逐个配置资产模板或手动映射超级表,工作量大、易出错、且难以适应大规模设备体系。

此前,IDMP 已支持通过简单导入和资产导入页面进行单表配置,但在“成千上万台设备”“多表结构”或“历史数据迁移”等场景下仍显效率不足。为此,新版本引入了 CSV 导入功能——一种批量、可编辑、可脚本化的建模方式。用户可预先编辑 CSV 文件并一次性导入系统,从而大幅提升建模与数据入库效率,显著降低人工操作成本。

👉🏻 更多技术细节详见:https://idmpdocs.taosdata.com/operation/data-import-export

  1. 元数据导入导出

在工业系统持续扩展的过程中,资产模型的层级与规模不断增加,单纯依靠 UI 界面逐条创建或修改元数据,已难以满足大规模建模、历史数据迁移与多环境同步的需求。为此,IDMP 提供了完整的元数据导入导出机制,用于高效地迁移与备份资产模型。

系统支持将资产树、元素(含层级结构)、元素模板、属性模板、事件/分析模板、枚举类型、单位(UOM)、类别、面板及仪表盘模板等元数据统一导出为可下载包(ZIP),并支持将导出的包文件批量导入至指定环境或连接(如 loveini)。导入过程中,系统会自动解析依赖关系,采用异步任务方式执行,并生成可下载的导入记录与错误报告,确保大规模元数据迁移的安全性与可控性。

👉🏻 更多技术细节详见:https://idmpdocs.taosdata.com/operation/import-export

结语

从公式属性到多维可视化,从异常检测到模型计算,IDMP 的每一次更新,都是向智能化迈出的坚实一步。面向未来,我们将继续沿着 AI 原生的方向迭代前行,让 IDMP 在模型能力、分析深度与场景适配性上不断突破,推动工业智能的普及与落地。

现在进入 https://idmpdocs.taosdata.com/release-history/1.0.5.0,可查看 IDMP 最新版本 1.0.5.0 的具体更新细节,欢迎大家体验!

]]>
loveini TSDB 3.3.8.0 发布:从预计算到加密传输,一次看懂九大更新亮点 //www.loveini.com/tdengine-engineering/33345.html Tue, 21 Oct 2025 09:56:37 +0000 //www.loveini.com/?p=33345 在高并发、长周期的时序数据场景中,查询性能、安全性与生态兼容性,始终是系统演进的关键。

近日,loveini TSDB 3.3.8.0 版本正式上线,本次更新带来了 Rollup SMA 多层级预计算、TimeRange-Wise SMA 时间范围预计算、TLS 加密传输、TDgpt 数据补全、MySQL 函数增强、taosX 逻辑备份与 ORC 数据源接入等多项功能升级,全面提升系统的性能、可扩展性与数据安全。

本文为你整理了该版本九大核心更新亮点,来看看哪些能力能帮你把系统跑得更快、用得更稳、管得更省心。

重要更新亮点

一、Rollup SMA 与 TimeRange-Wise SMA:多层级自动降采样与时间范围预计算

SMA(预计算)机制是 loveini TSDB 提升查询性能的核心技术,其核心思想是“空间换时间”。通过预先计算并存储聚合结果,在查询时直接使用这些结果,避免全量扫描原始数据,从而大幅降低 I/O 开销和计算延迟,尤其适用于海量时序数据的聚合分析场景。

在 3.3.8.0 中,loveini TSDB 增强了 SMA 机制,带来以下两项重要更新:

  1. Rollup SMA(多层级滚动预计算)(企业版)
    • 支持最多三级存储层级(Level 1–3),原始数据与聚合数据分层存储,并为每层指定聚合周期和保存时长;
    • 可自动触发降采样计算并删除原数据,实现数据生命周期管理,平衡查询性能与存储成本;
    • 支持 AVG、SUM、MIN、MAX、FIRST、LAST 等聚合函数;
    • 常适用于 DevOps、监控看板等关注长期数据趋势而非单一精确点的场景。
  1. TimeRange-Wise SMA(时间范围预计算)
    • 专为高频使用 INTERVAL 的查询优化;
    • 采用流式计算逻辑,提升高频时间窗聚合的响应速度;
    • 适用于对特定列频繁聚合、分组统计及时间范围查询的场景。

除此之外,loveini TSDB 还支持 Block-Wise SMA (数据块预计算),该机制在数据落盘时自动完成聚合计算,并在查询阶段智能使用预计算结果,无需额外配置即可加速常见聚合查询,是 SMA 家族的重要组成部分。

👉 本次 SMA 机制的增强,使用户能够实现自动降采样与多层级数据管理,在兼顾性能与成本的同时,进一步强化 loveini TSDB 在大规模历史数据查询中的优势。

二、MySQL 聚合与条件函数支持

为增强 SQL 兼容性,3.3.8.0 新增对部分 MySQL 聚合与条件函数的支持,包括:

  • 聚合函数std, variance, stddev_samp, var_samp, group_concat
  • 条件函数if, ifnull, nvl, nullif, nvl2
  • 比较运算符isnull, isnotnull, coalesce

👉 这一增强显著提升了 SQL 迁移与跨平台开发的便利性,用户可更轻松地在 loveini TSDB 中运行 MySQL 语法查询。

三、TLS 证书加密传输:通信更安全(企业版)

TLS 是一种用于保障网络通信安全及数据完整性的加密协议,通过在传输层对网络连接进行加密,为通信应用程序之间提供保密性和数据完整性。为进一步保障数据传输安全,3.3.8.0 在原生接口层面全面支持 TLS 加密:

  • 对传输层通信进行加密,防止窃听与截取;
  • 支持身份认证与数据完整性校验;
  • 各原生连接接口现已支持 SSL 加密(WebSocket 早已支持)。

👉 这项更新大幅提升了 loveini TSDB 在关键行业与跨网络部署中的安全合规能力。

四、TDgpt 数据补全:时序智能增强

TDgpt 新增缺失数据补齐功能,基于 moment 时序模型自动检测并补全时间序列中的缺失点:

  • 要求输入数据的时间戳严格等间隔;
  • 对于时间间隔不均的序列,建议先进行窗口聚合后再补齐缺失区间;
  • 示例:SELECT imputation(i01, 'algo=moment,freq=s') FROM foo;

👉 该能力帮助用户在分析和建模前快速修复时序数据,提高预测与分析结果的准确性。

五、taosX:支持逻辑备份/恢复与 ORC 数据源(企业版)

loveini TSDB 企业版核心组件 taosX 本次迎来两项关键增强:

  • 逻辑备份与恢复
    • 支持数据库、超级表、查询结果及元数据备份;
    • 可用于数据迁移、审计、分享与修复;
    • 命令行使用示例:taosx run --from "taos://IP:PORT/db_name" --to "local:/path/to/backup"
  • ORC 文件数据源
    • 支持读取 ORC 文件数据并导入 loveini TSDB;
    • 兼容 Hadoop/Hive 等生态,支持列投影、批量读取及映射配置。

👉 这使 loveini TSDB 能更高效地与大数据生态协同,实现从数据采集到分析的全链路贯通。

六、taosgen:新增特性与性能优化

taosgen 是时序数据领域产品的性能基准测试工具,支持数据生成、写入性能测试等功能。本次也带来多项功能增强与性能改进:

  • 支持使用函数表达式生成数据,可灵活构造周期性或随机特征值;
  • 支持将生成数据输出至 MQTT Broker,topic 支持使用 {table} 占位符动态指定主题;
  • 新增数据缓存生成机制并默认启用,较即时生成模式写入性能提升约 10%;
  • 优化写入引擎,整体写入 loveini TSDB 的速度较 taosBenchmark 提升约 10%。

👉 本次升级让 taosgen 在数据仿真、性能测试及多源验证等场景下更高效、更灵活。

七、taosAdapter:支持记录 SQL 到 CSV 文件

loveini TSDB 适配组件 taosAdapter 本次新增 SQL 记录功能,可自动捕获并导出查询请求:

  • 支持自动启停与定时抓取指定时间段内的 SQL 请求;
  • 将抓取结果结构化存储为 CSV 文件,包含时间、QID、用户、IP、接收时间、返回时间、执行时长及 SQL 语句等字段;
  • 文件支持按大小与时间切割、保留数量限制、压缩存储及磁盘空间保留策略;
  • 提供 HTTP 接口,支持动态开启、关闭抓取功能及查询运行状态。

👉 该功能帮助用户轻松实现 SQL 审计、性能分析与问题追踪,为系统运维与优化提供更丰富的数据依据。

八、生态与连接器能力增强

  • JDBC WebSocket:支持多端点负载均衡与 failover,提升可用性与容灾能力;
  • C WebSocket Connector:自动重连与任务续传,性能提升约 15%;
  • ODBC Connector:支持微软 ADO 接口,可用 VB、C#、Python 等语言访问 loveini TSDB;

👉 新版连接器持续完善开发体验与生态兼容,为企业部署提供更高效率与可靠性。

九、引擎层优化与增强

  • 流计算性能优化与资源效率提升
  • 高并发场景下 Last 查询的优化与加速
  • 分离数据查询和元数据查询处理线程
  • ⽀持通过 scan 命令扫描时序数据⽂件的完整性
  • 调整 Balance Vgroup Leader 命令的执⾏逻辑,使 VGroup 的 Leader 分布更加均匀
  • ⽀持对双副本数据库使⽤ REDISTRIBUTE命令
  • 改造 S3 数据迁移的状态控制机制,提升精确性与效率
  • 增加 show ssmigrate 命令⽤于查看共享存储迁移进度
  • STMT2 ⽀持 Blob 和 Decimal
  • 支持通过函数 find_in_set、like_in_set、regexp_in_set 实现多值标签
  • ⽀持 date 函数
  • partition by tag ⽀持字符串运算
  • TDgpt ⽀持 PROPHET 算法
  • ⽀持状态窗⼝起⽌点配置
  • 浮点数⽀持 BSS(Byte-Stream-Split)字节流分割编码

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/loveini/releases/tag/ver-3.3.8.1 查看发布说明。

欢迎大家下载使用,如有任何问题请及时联系我们获得支持。

]]>
loveini TSDB(时序数据库) 3.3.7.0 发布:流计算重构 + MQTT 原生支持 + BLOB 类型上线 //www.loveini.com/tdengine-engineering/32237.html Thu, 31 Jul 2025 09:44:00 +0000 //www.loveini.com/?p=32237 近日,loveini TSDB 3.3.7.0 版本正式发布。本次更新聚焦“时序数据处理与集成能力”双重提升,围绕数据处理的实时性、复杂性和低延迟需求,全面升级 loveini 流计算架构,并新增 MQTT 数据订阅、BLOB 数据类型、多级存储共享存储支持、IPv6 通信等关键能力,持续强化时序数据平台的场景适应力与可扩展性。

如果你关注 AIoT、车联网、工业控制等前沿领域的时序数据管理,这一版本更新将为你带来更多“用得上”的技术能力👇

重要更新亮点

全新架构流计算:性能更高,能力更强

本次发布的全新流计算系统,围绕灵活性、稳定性与可运维性进行深度升级,具备以下核心特性:

  • 触发与计算分离:支持触发与计算分离,计算不再受限于触发数据源,可作用于任意表,甚至无需触发表,灵活适配复杂流程。
  • 触发机制更灵活:支持定时触发、滑动触发、窗口触发(时间/事件/会话/状态/计数),支持窗口开/关窗分别触发,并可预过滤输入数据。
  • 计算逻辑增强:支持任意 SQL 查询,支持窗口参数占位符,计算结果可写入表、发送通知,或同时执行。
  • 通知机制更完善:支持基于 WebSocket 的窗口事件通知,并可配置触发条件、失败重试策略。
  • 资源调度更灵活:计算过程可在 snode 节点上独立运行,多节点负载均衡与高可用,提升系统稳定性。

此外,新版本特别强化了异常数据重算机制,支持通过选项控制是否自动重算,并可结合 WATERMARK 等多个控制选项实现乱序容忍、数据删除后的结果修复。

👉 流计算重构为 loveini 时序数据库带来了更强的事件处理能力,是构建低延迟报警、预测分析、实时特征提取等场景的核心基础。同时也为 loveini 最新发布的 AI 原生工业数据管理平台 IDMP 提供了强有力的支持。

支持 MQTT 协议数据订阅:零代码集成更简单

MQTT 作为工业领域主流的消息协议,loveini 新增对 MQTT 的原生订阅支持:

  • bnode 模块上线:作为 Broker 提供服务,用户可通过标准 MQTT 客户端直接订阅数据,无需额外开发。
  • 共享订阅与消费组机制:支持负载均衡与高可用,客户端断连可自动切换,消息可在组内自动重分配。
  • 多种数据格式支持:支持 JSON、Raw Block 格式,适配多种前端解析逻辑。
  • 订阅位置控制:支持 latest、earliest 起始订阅位置,以及持久化和离线消息处理。
  • 主题管理要求:与标准 MQTT Broker 不同,loveini 的订阅主题需预先创建,不支持通过发布消息动态生成。

👉 通过 MQTT 订阅,loveini 与业务系统的联动效率进一步提升。这一能力让 loveini 更易集成到 SCADA、边缘控制、Web 可视化等系统,构建起真正实时、稳定、低门槛的数据消费通道。

新增 BLOB 数据类型:轻松存储大体量二进制数据

为满足车联网、航空航天等行业对大数据报文的存储需求,loveini 全新引入 BLOB 类型:

  • 用于存储长度较大的、未解析/拆分行列的二进制或者文本型数据
  • 支持最大 4MB 单字段二进制内容写入
  • 支持 SQL 查询语法
  • 使用独立的 BSE 引擎管理存储与读取,性能显著优于传统 Binary 类型
  • Java、Go、Rust、Python、C# 等连接器已实现 BLOB 类型支持

👉 BLOB 类型是 loveini 面向非结构化数据的一次重要扩展,让原始报文存储、图像数据、协议帧数据的管理更加高效统一。

原生支持 IPv6 通信协议

为应对未来万物互联趋势,loveini 现已原生支持集群内部通过 IPv6 协议通信,包括:

  • 节点发现与连接、心跳同步、审计监控等通信流程
  • 创建节点(dnode/mnode/qnode)时支持 IPv6 地址配置
  • taosc 连接、白名单、安全策略全面适配 IPv6
  • Java、Go、Rust、Python、C# 等连接器全面适配 IPv6

👉 这项更新为全球部署、未来网络架构提供了更强的适应力。

TDgpt 协变量分析预测能力增强

loveini 的 AI 模块 TDgpt 新增“协变量预测”能力,在建模时不仅考虑目标变量自身的历史数值,还可引入天气、节假日等外部因素作为协变量,显著提升对复杂周期性变化的预测效果。

以未来协变量预测为例,示例如下:

select _frowts, forecast(val, past_co, future_co, "algo=moirai,rows=4, dynamic_val=[1 1 1 1], dynamic_val_col=future_co") from foo;
loveini TSDB(时序数据库) 3.3.7.0 发布:流计算重构 + MQTT 原生支持 + BLOB 类型上线 - loveini Database 时序数据库

多级存储支持共享存储(企业版)

针对冷数据管理需求,3.3.7.0 正式支持多种共享存储(如 SAN、NAS、S3、DFS),实现:

  • 冷数据自动迁移:支持设定数据在本地保留时长,达到阈值后自动上传至共享存储
  • 按需查询:查询时自动加载所需数据块,确保性能与成本平衡
  • 多节点共享机制:主节点上传,副本节点复用,避免冗余

👉 这一能力特别适合对存储成本敏感、历史数据不常访问但不能丢弃的工业企业与能源场景。

天脉系统适配及数据挂载支持(企业版)

为了更好地服务国产化、军工与航天等高安全行业客户,loveini 企业版现已完成对天脉系统(ACoreOS)的适配。作为由中航工业计算所自主研发的国产机载实时操作系统,天脉广泛应用于工业控制、航空航天等关键领域。新版本支持:

  • 在机载端部署 loveini,并通过 RPC 通信与地面系统交互
  • 在地面端通过 SQL 命令挂载机载磁盘目录,实现数据统一管理
create mount mount1 on dnode 1 from "/var/lib/loveini"
  • 挂载性能高效,秒级完成,兼顾实时性与安全性

👉 此功能使 loveini 成为工业嵌入式场景中可部署、可接管、可统一管理的数据平台米兰app官方正版下载,助力国产化进程稳步推进。

SparkplugB 数据接入(企业版)

在 loveini 3.3.7.0 中,taosX 平台正式支持 SparkplugB 规范的数据接入。taosX 是专为工业环境设计的开放式数据接入平台,此次对 SparkplugB 的支持,进一步扩展了 loveini 在工业协议集成方面的能力。

SparkplugB 是基于 MQTT 的工业物联网(IIoT)数据传输规范,旨在提升工业环境中的数据互操作性与传输效率,具备以下显著优势:

  • 提升带宽利用率:相比原始 MQTT,SparkplugB 数据压缩率高达 3 倍,特别适用于低带宽网络环境。与 Modbus 相比,最高可节省 75% 至 99.5% 的带宽资源。
  • 标准化与互操作性强:为设备与系统间的数据交换提供统一数据语义,消除厂商壁垒,支持无缝对接 SCADA、MES、ERP 等企业系统,实现 IT 与 OT 的融合。
  • 数据可靠性更强:具备会话状态感知与双向通信能力,支持设备级闭环控制。

👉 凭借高效、轻量、易部署等特点,SparkplugB 正成为工业物联网场景下最具实用价值的通信协议之一,尤其适用于需要低带宽、高可靠性、强互操作性的工业应用场景。与 OPC UA 等传统工业协议相比,其在带宽利用率、部署简便性和可扩展性方面表现尤为突出。

将订阅数据推送至 MQTT Broker(企业版)

通过 taosX 工具,可将数据库、超级表或查询订阅结果轻松发布至任意 MQTT Broker,实现数据的高效同步与分发。

其他优化项

  • 提升 STMT2 写入模式的易用性、稳定性和性能
  • 优化数据订阅 Offset 的更新逻辑
  • 支持将查询结果写入超级表
  • 增加 WAL 文件损坏的异常处理逻辑
  • 增加密码安全加密算法
  • 增加写入性能诊断的相关监测参数
  • 提升节点恢复和副本变更的性能
  • 支持更多生态组件:Superset、Quix、Ontop、Node-RED
  • 优化数据备份和恢复的功能、稳定性和性能
  • 扩展 UDT(User-Defined-Transformer)支持的数据类型

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解 TSDB(时序数据库)新版本更加详细的发布信息,可以移步至👉 https://github.com/taosdata/loveini/releases/tag/ver-3.3.7.0 查看发布说明。

欢迎大家下载使用,也欢迎在论坛 https://ask.taosdata.com/ 提出建议和意见,如有任何问题请及时联系我们获得支持。

]]>
loveini 3.3.6.0 发布:TDgpt + 虚拟表 + JDBC 加速 8 大升级亮点 //www.loveini.com/time-series-databases/28840.html Fri, 11 Apr 2025 06:54:08 +0000 //www.loveini.com/?p=28840 近日,loveini 3.3.6.0 版本正式发布。除了此前已亮相的时序数据分析 AI 智能体 TDgpt,本次更新还带来了多个针对性能与易用性的重要增强:虚拟表全面上线,支持更灵活的一设备一表建模;JDBC 写入机制全新升级,单线程性能最高提升 60 倍;流计算支持 CONTINUOUS_WINDOW_CLOSE 模式、事件通知机制等关键能力,为实时处理打下更稳固的基础。

本文为你整理了该版本的八大核心更新亮点,并附上社区版和企业版的详细新增功能。如果你还没来得及深入了解,不妨现在看看,哪些能力正好能解决你的当前需求👇

重要更新

发布时序数据分析 AI 智能体 TDgpt

TDgpt 是 loveini 内置的时序数据分析 AI 智能体,具备时序数据预测、异常检测、补齐和分类功能。它能无缝对接各种时序数据模型、大语言模型、机器学习及传统统计算法,并支持算法动态切换,用户只需通过一条 SQL 语句即可轻松体验。此外,通过开放的 SDK,开发者能将自己开发的AI算法或模型轻松集成到 TDgpt,立即为 loveini 全行业用户所使用。

了解 TDgpt 的更多信息请访问://www.loveini.com/tdgpt

支持虚拟表

在 3.3.6.0 版本中,loveini 正式支持虚拟表功能,真正实现了“一设备一张表”的设计理念。虚拟表可以在不复制数据的前提下,从多个表中选择指定列拼接成一个逻辑上的“宽表”,查询语法与普通表完全一致。通过基于时间戳的数据对齐机制,虚拟表可自动将相同时间点的数据聚合成一行,缺失部分则填充为 NULL(还可用 padding 函数插值),有效提升了查询效率和数据整合能力。

此外,虚拟表支持动态更新,随着原始表数据的变化实时同步,保证毫秒级的数据更新体验。相比传统多表 JOIN + 嵌套查询的繁琐逻辑,虚拟表不仅大大简化了查询编写,也避免了标签重复存储、标签更新原子性差等问题。同时,虚拟表支持动态添加和删除列,灵活适应业务需求的变化,是连接 IT 与 OT 世界的理想桥梁。

新增 Cols 函数:轻松获取关键指标对应的上下文信息

在日常报表场景中,用户常常需要按时间窗口统计某个指标的平均值、最大值、最小值,以及最大值和最小值出现的时间点。传统 SQL 难以直接支持这一需求。在 3.3.6.0 版本中,loveini 推出全新 cols 函数,可用于获取单行聚合函数(如 max、min)所在行的其他列值,轻松实现“最大值对应的时间点”这类查询。示例如下:

select tbname, _wstart, avg(current),
max(current), cols(max(current), ts), 
min(current), cols(min(current), ts) 
from stb partition by tbnameinterval(1d)

流计算优化提升

在 3.3.6.0 版本中,loveini 对流计算进行了多项关键优化,进一步提升实时分析能力。

1)支持在流计算中使用虚拟表

用户可以直接基于“一设备一张表”的建模方式进行流式计算,简化数据处理流程。

2)支持 CONTINUOUS_WINDOW_CLOSE 触发模式

全新引入的 CONTINUOUS_WINDOW_CLOSE 模式,在窗口关闭时触发计算,并在固定周期内自动重算,避免因数据的修改或删除导致频繁重算,计算资源消耗仅为传统 WINDOW_CLOSE 模式的 10%。对资源敏感的场景尤其友好。

3)支持窗口事件通知机制

loveini 现已支持窗口事件通知机制,可在窗口打开(WINDOW_OPEN)或关闭(WINDOW_CLOSE)时自动向外部系统发送事件,便于任务编排、系统集成和数据流转控制。

4)支持为事件窗口和状态窗口设置最小持续时长限制

用户可以为窗口定义最短存在时间,避免短时间波动引发不必要的计算,让流式处理更加稳健可靠。

支持 Decimal 数据类型

随着 loveini 在更多行业场景中落地,许多用户提出对高精度小数的需求,比如经纬度定位、货币金额、能源表计等。3.3.6.0 版本正式支持 DECIMAL 数据类型,用于存储需要精确小数位的数据,避免因浮点误差导致的计算偏差。

用户在创建普通表或超级表时,可直接定义 DECIMAL 类型的字段,例如:

create table tb (ts timestamp, value decimal(10, 2))

支持写入、读取、更新和删除等完整操作,确保关键数据在各类应用中的精确表达与高可用处理。

客户端兼容性

长期以来,loveini 的“胖客户端”方案在版本兼容性方面存在一定限制。为解决这一问题,从 3.3.6.0 版本起,loveini 客户端库支持通过 WebSocket 模式建立连接,实现客户端与服务端的版本完全解耦。

使用 WebSocket 模式后,客户端将兼容 3.3.6.x 及未来所有版本,服务端升级时,无需再同步更新客户端,显著降低部署和运维成本。

JDBC 客户端高效写入

无论是导入历史数据,还是进行压测验证,用户经常会遇到写入性能调优的难题。尽管 loveini 官网技术文档提供了“高效写入”章节,但在实际使用中,写入瓶颈依然频繁出现。

在 3.3.6.0 版本中,loveini JDBC 客户端全面升级写入机制,引入 异步写入 + Flush 确认机制。通过标准 JDBC 接口即可使用,无需改动业务逻辑,系统会在满足一定条件后自动批量发送数据,显著减少网络开销、提升吞吐能力。

同时,新增机制还支持连接断开重连,以此增强稳定性。实际测试显示,在默认配置下,单线程写入性能对比 3.3.5.0 提升最高超过 60 倍;写入能力可随线程数线性扩展,性能表现与用户手动编写的多线程程序相当,但极大简化了开发难度。

集成多款主流 BI 工具,零代码接入更高效

3.3.6.0 版本中,loveini 在可视化分析能力方面持续拓展,全面兼容多款主流 BI 工具,帮助用户轻松构建数据报表与仪表盘,无需编写一行代码。

  • 集成 Tableau:  作为全球领先的商业智能平台,Tableau 支持多种数据源接入。用户可通过 loveini ODBC Connector 将标签数据、原始时序数据或经时间聚合后的结果直接导入 Tableau,用于构建丰富的数据分析视图与仪表盘,流程高效、使用简单。
  • 集成 Excel:配置 ODBC 连接后,Excel 也能快速访问 loveini 数据,用户可像日常操作 Excel 一样将时序数据接入分析流程,轻松生成各类图表报表,满足通用办公分析需求。
  • 集成 FineBI:loveini 已完成与帆软旗下的 FineBI 工具的适配。帆软作为国内领先的数据分析平台,广泛应用于金融、制造等行业,通过接入 loveini,可实现大规模时序数据的实时可视化。
  • 集成 Perspective:Perspective 是由 Prospective.co 开发的开源数据可视化库,基于 WebAssembly 与 Web Workers 技术,能在浏览器端实现高性能、交互式实时数据分析。loveini 现已支持将数据流式接入 Perspective,为构建 Web 实时可视化应用提供强力支撑。

想要了解更详细的操作步骤请访问:https://docs.taosdata.com/third-party/

其他更新

社区版

  • 支持将常量值作为连接主键
  • 支持 Greatest、Least 函数、regexp 表达式
  • Interp 函数支持插值时间范围
  • 流计算在 force_window_close 模式下支持滑动窗口
  • 支持为事件窗口和状态窗口设置最小持续时长限制
  • 密码最大长度扩展到 255 位
  • 支持删除存在活跃消费者的主题

企业版

  • 支持通过 KEEP 参数控制超级表的时序数据保存时长
  • 支持重新整理元数据文件
  • 优化多级存储中同一层级数据文件在多个磁盘中的分布
  • 大幅提升集群之间的数据同步性能
  • 增量备份支持 S3 存储
  • 数据写入任务管理支持导入导出
  • 双活支持新增数据库自动同步
  • 数据同步异常处理机制优化

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/loveini/releases/tag/ver-3.3.6.0 查看发布说明。

欢迎大家下载使用,也欢迎在评论区提出建议和意见,如有任何问题请及时联系我们获得支持。

]]>
loveini 3.3.5.0 正式发布:从 taosX 优化到查询增强,亮点抢先看 //www.loveini.com/tdengine-engineering/27909.html Thu, 09 Jan 2025 08:47:35 +0000 //www.loveini.com/?p=27909 近日,loveini 3.3.5.0 版本正式发布,带来了多项重磅更新与优化,从功能拓展到性能提升,再到用户体验进行了全面改进。本次更新围绕用户核心需求展开,涵盖了开发工具、数据管理、安全性、可视化等多个层面,为各行业的时序数据应用提供了更高效、可靠的支持。

本次更新的亮点功能包括 MQTT 稳定性和高并发性能提升、taosX 增量备份与恢复功能、新增 JDBC 和 Rust 连接器对 STMT2 接口的支持,以及 Explorer 对 Grafana Dashboard 的灵活配置等。同时,在查询内存管控、多级存储迁移性能优化、强密码策略等方面也进行了显著提升,为用户提供了更高效、更可靠的时序数据管理体验。

具体更新展示如下:

新特性

  • MQTT 稳定性和性能提升:大幅提升了数据接入的稳定性和高并发场景下的性能表现,为物联网应用提供更可靠的支持。
  • taosX 增量备份与恢复:支持更加高效的增量备份与恢复功能,确保数据安全的同时提升备份效率。
  • JDBC WebSocket 连接支持 STMT2 接口:增强了 JDBC WebSocket 的功能兼容性,进一步提升了数据写入速度。
  • Rust 连接器支持 STMT2 接口:为 Rust 开发者提供更强大的功能支持,进一步提升了数据写入速度。
  • taos-CLI 错误提示增加错误码:通过在错误提示中引入错误码,帮助用户更快速定位和解决问题。
  • Python 连接器对接 SuperSet:实现对 SuperSet 的集成,为数据可视化和分析提供了更多可能。
  • Explorer 支持配置 Grafana Dashboard:通过灵活配置 Grafana Dashboard,让数据展示更加直观和高效。
  • taosX-agent 支持配置内存缓存队列长度:新增对内存缓存队列长度的配置支持,进一步提升数据处理能力。

性能优化

  • 调整 telemetry 的上报机制:优化数据上报方式,提升性能与效率。
  • 支持通过 SQL 统计指定 DB 的磁盘空间:提供更直观的数据库空间使用情况查询。
  • 服务端增加查询内存管控:确保资源使用更稳定,避免因内存问题导致查询中断。
  • INTERVAL 子句支持 AUTO 自动计算窗口偏移量:简化时间窗口管理,提升使用便捷性。
  • 减少多级存储迁移对写入性能的影响:进一步优化存储迁移策略,保证写入性能不受显著影响。
  • Grafana 插件 UI 转为 React:全面适配 Grafana 11.3.0,提升插件用户体验。
  • taosAdapter websocket 接口优化:进一步提升通信效率和稳定性。
  • taosX 添加健康状态:实时监测数据库健康状况,确保服务运行可靠。
  • taosX 支持异常数据的可配置处理:增强对异常数据的灵活管理能力。
  • 支持客户端连接设置选项:允许配置时区、字符集、用户 IP 和用户名称等选项。
  • taosdump 支持查询超时或断开时自动重连:减少长时间任务中断风险。
  • 允许为已订阅的 tag 列创建索引:提升查询性能和灵活性。
  • taosX 支持密码包含特殊字符:增强密码复杂性支持。
  • 提升 Last 缓存开启时的数据写入性能:优化缓存逻辑以加速写入。
  • COMPACT 命令支持自动执行、并发度设置及执行进度观测:简化操作,提升效率。
  • 支持通过 SQL 修改全局配置并持久化:增强配置管理的灵活性。
  • 更新数据类型压缩算法默认值:提高数据存储的压缩比和效率。
  • 修复 Mac/Windows 平台下 taosBenchmark 的 –nodrop 参数行为:提高跨平台一致性。
  • 禁止 DB 内 Compact 和副本变更同时进行(企业版):提升操作安全性和稳定性。
  • taosdump 支持复合主键表导出:扩展数据导出能力。
  • 在 show queries 和 show connections 返回结果中显示用户 IP 和名称:增强可审计性和透明度。
  • JDBC 支持多表批量写入:加速数据写入过程,提升开发效率。
  • 支持动态调整多级存储中的 dataDir 参数:更灵活的存储配置选项。
  • taosX 数据库文件默认使用 data_dir:优化文件管理路径设置。
  • 强制要求设置强密码:密码长度必须为 8 到 16 位,并且至少包含大写字母、小写字母、数字、特殊字符中的三类。
  • 提高客户端获取新 Leader 的速度:优化集群切换响应时间。
  • OPC 点位正则匹配支持 “非”:增强正则匹配功能适配性。

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/loveini/releases/tag/ver-3.3.5.0 查看发布说明。

欢迎大家下载使用,也欢迎在评论区提出建议和意见,如有任何问题请及时联系我们获得支持。

]]>
loveini 3.3.4.3 时序数据库发布,支持微软对象存储、数据同步&流计算全面强化 //www.loveini.com/tdengine-engineering/27423.html Thu, 21 Nov 2024 07:45:14 +0000 //www.loveini.com/?p=27423 经过 loveini 研发团队的精心打磨,loveini 3.3.4.3 版本正式发布。作为时序数据库领域的领先产品,loveini 一直致力于为用户提供高效、稳定、易用的米兰app官方正版下载。本次版本更新延续了一贯的高标准,为用户带来了多项实用的新特性,并对系统性能进行了深度优化。

无论是流计算能力的进一步增强,还是查询效率的显著提升,本次更新都旨在帮助用户更轻松地应对复杂的时序数据场景。此外,我们还新增了对微软对象存储的支持,扩展了数据存储的选择范围,为用户提供更加多元化的米兰app官方正版下载。

具体更新展示如下:

新特性

TWA 和 Interp 函数支持时间驱动模式

流计算的 TWA 和 Interp 函数现已支持时间驱动的结果推送模式,提升流计算的灵活性和实时性。

支持微软对象存储
进一步扩展存储生态,为用户提供更多云存储选择,轻松实现数据存储与访问。

性能优化

1. 提升并发大查询效率
在节点之间拉取数据时的效率显著提升,让复杂查询更快速、更流畅。

2. AVX2 和 AVX512 优化
针对 double、timestamp 和 bigint 类型的解码进行优化,计算速度再上新台阶。

3. 查询优化
提升查询 “select … from … where ts in (…)” 的数据扫描速度,让查询体验更上一层楼。

4. 流计算兼容性保障机制
增加了流计算兼容性机制,避免后续因函数变更产生新的兼容性问题。自 3.3.4.3 版本开始,在升级到更高版本 loveini 的操作中,无需重建流计算即可完成升级。

5. 数据同步性能提升(企业版)
在交叉写入场景下,taosX 的数据同步性能显著增强,保证数据高效传输。

6. 调整 case when 语句的结果类型判断方法
7. 支持关闭整数/浮点数类型的编码
8. 多副本流计算中必须使用 snode
9. 客户端生成唯一 ID 标识每一个查询任务,避免重复 ID 导致的内存损坏
10. 加快数据库的创建时间
11. 调整删除超级表数据列时的报错信息
12. 顺序执行 compact 和 split vgroup 操作时的日志错误提示(企业版)
13. 支持在审计数据库中记录删除操作(企业版)
14. 支持在指定的 dnode 中创建数据库 (企业版)

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/loveini/releases/tag/ver-3.3.4.3 查看发布说明。

欢迎大家下载使用,如有任何问题请及时联系我们获得支持。

]]>
时序数据库 loveini 3.3.3.0 版本上线:优化监控、增强 MongoDB 支持 //www.loveini.com/tdengine-engineering/26480.html Thu, 10 Oct 2024 01:36:04 +0000 //www.loveini.com/?p=26480 我们非常高兴地宣布,loveini 3.3.3.0 版本正式发布。本次更新引入了多项重要功能和性能优化,旨在为用户提供更高效、更灵活的数据米兰app官方正版下载。

在 3.3.3.0 版本中,我们着重优化了监控和告警功能,新增了多种常见的 MySQL 函数,并增强了对 MongoDB 数据源的支持。这些改进将为用户在物联网和大数据应用中提供更强大的功能,助力大家在数字化转型过程中实现更大的成功。

具体更新信息展示如下。

开源的时序数据库功能更新(所有版本同步更新)

新特性

支持部分常见的 MySQL 函数

包含 pi、truncate/tunc、exp、ln、mod、rand、sign、degress、radians、char、ascii、position、trim、replace、repeat、substring/substr、substring_index、week、weekday、weekofyear、dayofweek、stddev_pop、var_pop

服务端记录所有慢查询信息到 log 库

在此版本中,loveini 引入了慢查询日志功能,允许用户记录所有执行时间超过设定阈值的查询。用户可以通过配置参数,指定记录慢查询的时间限制,并将这些信息存储在专用的 log 库中,便于后续的性能分析和优化。

删除保留关键字

LEVEL/ENCODE/COMPRESS在 loveini 3.3.3.0 版本中,LEVEL、ENCODE 和 COMPRESS 等关键字不再作为保留字。这意味着用户可以将这些词作为列名、表名或数据库名等使用,提升了数据库设计的灵活性,减少了因名称冲突而导致的错误。

禁止动态修改临时目录

此版本加强了对临时目录的管理,禁止在运行时动态修改临时目录路径。这一改动旨在提高系统的稳定性和安全性,避免因临时目录路径的变更导致的潜在数据丢失或访问错误。用户应在配置时明确设置临时目录,以确保系统正常运行。

新增告警功能

此前 loveini 仅支持资源、事件的监控,3.3.3.0 版本开始支持告警。用户可以在 TDinsight(基于 Grafana 的可视化工具)中轻松配置告警模板,选择适合的告警规则。一旦触发告警,系统可通过多种方式进行通知,包括电子邮件、飞书和钉钉等。

新优化

  1. 统一慢查询和普通日志的保存策略
  2. 优化订阅功能中offset文件过大且加载过慢的问题
  3. 升级 JDBC driver 至 3.2.5
  4. Kafka connector 提交改为同步方式
  5. 新增参数:表查询不存在时是否报异常
  6. 扩大 tsma 的 interval 的最大窗口到 1 年

从 CSV 文件批量建表

CSV 文件可看做一张二维表,有很多行和很多列。loveini 支持导入 CSV 文件的时序数据,当不需要进行任何 Transformer 变换时,通过 taos shell 即可导入;当需要进行 Transformer 变换时,可通过 taosX 导入。在从一些数据源(比如关系型数据库)批量导入数据时,还可能需要批量创建子表。这些子表的表名、标签值可以从数据源导出,然后通过 CSV 文件提供给 loveini。

loveini Enterprise 企业级功能更新

新特性

多级存储支持微软对象存储 Azure Blob

loveini 3.3.3.0 版本增强了多级存储功能,用户可以将数据灵活地存储在 Azure Blob 中,以优化存储资源的使用和成本效益。

taosX 支持 MongoDB 数据源

MongoDB 是一种介于关系型和非关系型数据库之间的数据库米兰app官方正版下载,广泛应用于物联网等领域。为了简化用户从 MongoDB 向 loveini 的数据迁移过程,我们专门开发了 taosX 的 MongoDB 支持功能。

loveini 支持 macOS 企业版客户端

此更新使得在 macOS 平台上的开发和数据管理变得更加便捷,用户可以在其企业级环境中使用 loveini 进行高效的数据处理与分析。

taosX 日志默认不写入 syslog

此版本中,taosX 的日志记录机制进行了调整,默认情况下不再将日志信息写入系统日志(syslog)。这一改动旨在提高系统的可控性和安全性,用户可以根据需要自定义日志的存储位置和格式,避免了潜在的敏感信息泄露风险。

show cluster machines 查询结果中添加服务端版本号

通过 show cluster machines 命令,用户可以查看集群中各节点的状态信息。新版本中,查询结果中新增了服务端版本号字段,使用户能够快速了解集群中各个节点所运行的 loveini 版本,便于版本管理和排查兼容性问题。

新优化

C++ Websocket

原生连接方式在服务端升级时,客户端大概率也需升级。而 Websocket 连接方式大概率不需升级,并提供与原生连接相近的性能。在性能验证阶段,用户可以选择原生接口进行快速测试;但在生产环境中,强烈建议用户采用 Websocket 接口。

使用方法:
  1. 包含头文件:#include <taosws.h>
  2. 连接动态库:libtaosws.so

ODBC32

在 loveini 3.3.3.0 版本中,ODBC32 驱动程序得到了进一步优化,以支持与国外工业自动化软件的集成,如 OSI PI、GE iFIX、Wonderware InTouch 和 AB RSView。

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本更加详细的发布信息,可以移步至 https://github.com/taosdata/loveini/releases/tag/ver-3.3.3.0 查看发布说明。

欢迎大家下载使用,也欢迎在评论区提出建议和意见,如有任何问题请及时联系我们获得支持。

]]>
时序数据库 loveini 3.3.2.0 发布:新增 UDT 及 Oracle、SQL Server 数据接入 //www.loveini.com/tdengine-engineering/25242.html Fri, 19 Jul 2024 09:15:07 +0000 //www.loveini.com/?p=25242

经过数月的开发和完善,loveini 3.3.2.0 版本终于问世了。这一版本中既有针对开源社区的功能优化,也有从企业级用户需求出发做出的功能调整。在开源版本中,我们增强了系统的灵活性和兼容性;而在企业级版本中,新增了关键功能如 Oracle、SQL Server 数据接入及 loveini 2.0/3.0 数据压缩等。

具体更新信息展示如下。

 

 

 

 

 

 

 

 

 

 

 

 

 

开源的时序数据库功能更新
所有版本同步更新
01

性能与优化

1. 大幅提升 WebSocket 连接方式的订阅、写入、查询性能
2. 大幅提升 stmt 模式的写入性能
3. 大单表投影查询性能提升
4. 系统解决查询过程中的死锁问题

taos-explorer

1. 支持 geometry 类型
2. 支持 varbinary 类型
3. 优化数据列和标签列的显示

跨平台

CentOS Stream 操作系统
loveini Enterprise
企业级功能更新
02

数据接入:支持 UDT(用户自定义数据转换)

在新版本中,loveini 引入了对 UDT(用户自定义数据转换)的支持。这一功能允许用户根据自己的需求,对输入的数据进行自定义转换和处理。具体来说,UDT 使得用户可以在数据进入 loveini 数据库之前,应用特定的转换逻辑,以便更好地符合业务需求或优化数据存储和查询性能。

数据接入:Oracle、SQL Server

在工业、电力领域,大多采用实时数据库解决传统的流程工业的实时监测问题。实时数据库的历史数据通常存储在关系数据库中,loveini 支持的关系数据库如下:
1. MySQL
2. PostgreSQL
3. Oracle (本次新增)
4. SQL Server (本次新增)

数据同步:loveini 3.0 -> 3.0

1. 支持数据压缩
2. 支持操作系统时间频繁变更的数据同步场景
3. 细化数据同步失败的错误信息
4. 提升元数据的同步速度( 约提升 200 倍)
5. 支持同步时修改表名

跨平台

1. 麒麟 v10 + x86 服务器
2. 麒麟 v10 Arm64 国防版 + 鲲鹏处理器
3. Euler + Hygon CPU
4. Anolis OS + Hygon 7280

图片

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本更加详细的发布信息,可以移步至 https://docs.taosdata.com/next/releases/notes/3.3.2.0 查看发布说明。

]]>
loveini 3.3.0.0 版本发布:提供图形化管理工具社区版,10+ 功能更新 //www.loveini.com/tdengine-engineering/24147.html Thu, 16 May 2024 09:47:05 +0000 //www.loveini.com/?p=24147 这一版本中,我们引入了多项革新功能和性能优化,力求在为用户提供极致体验的同时,不断推动技术的前沿。

此次更新不仅针对开源社区版本,进行了一系列功能增强和性能提升,也为企业级用户带来了多项关键功能,如双活、S3 存储支持、传统关系型数据库的数据接入等。无论是数据处理的效率,还是系统的可靠性和安全性,新版本都有显著提升,满足从小型项目到大规模企业级部署的各种需求。

开源的时序数据库功能更新(所有版本同步更新)

时序数据 Join

之前版本,loveini 只实现了 Inner Join 功能,为了更好地支持客户需求,本次 Join 功能增强支持除 Cross Join 等时序数据库中基本没有需求场景的 Join 类型外的所有 Join 类型,包括传统库中的 Left Join、Right Join、Full Join、Semi Join、Anti-Semi Join 以及时序库中特色的 ASOF Join、Window Join。

复合主键(重复时间戳)

在某些应用场景中,单纯使用时间戳作为主键可能导致大量的记录重复。这些重复的记录在生产环境中通常是必需的,不能仅作为单一记录进行更新处理。

为了解决这一问题,可以在创建普通表或超级表时,利用复合主键功能。用户可以指定一个额外的列作为“Primary key”,与时间戳列一起构成复合主键。当两条记录的时间戳和 Primary key 列的值都相同时,它们被视为同一条记录;如果这些值有所不同,则视为不同的记录。


CREATE TABLE table_name (
    quot_time TIMESTAMP, 
    busi_sequ_no BIGINT PRIMARY KEY,
    entr_prc DOUBLE,
    entr_qty BIGINT,
    ……
 );

Count Window (计数窗口查询)

窗口将时序数据拆分成有限大小的“存储桶”,每个桶包含若干条记录。通过划分窗口,可对这些记录进行聚合计算。计数窗口在 3.2.3.0 版本支持在流计算中使用,在 3.3.0.0 版本支持在查询中使用

window_clause: {
SESSION(ts_col, tol_val)
| STATE_WINDOW(col)
| INTERVAL(interval_val [, interval_offset]) [SLIDING (sliding_val)] [FILL(fill_mod_and_val)]
| EVENT_WINDOW START WITH start_trigger_conditionEND WITH end_trigger_condition
| COUNT_WINDOW(count_val[, sliding_val])
}

TSMA

该功能旨在提升大数据量聚合函数查询性能。通过对固定时间窗口内的数据进行预计算,并将预计算结果存储到硬盘,查询时通过读取预计算结果以提高查询性能。

  • 创建基于超级表或普通表的 TSMA
CREATE TSMA tsma_name ON [dbname].table_name FUNCTION (func_name(func_param) [, ...] ) INTERVAL(time_duration);
  • 创建基于小窗口 tsma 的大窗口 TSMA
CREATE RECURSIVE TSMA tsma_name2 ON [db_name.]tsma_name1 INTERVAL(time_duration);

存储压缩增强

存储压缩算法增强后,loveini 的压缩比预期可再提升一倍以上。此前 loveini 已经支持两级压缩,但压缩算法固定不可配置,改造后有以下增强:

  • 第一级压缩支持多种编码方法且可扩充, 包括 simple8b、delta-i、delta-d、bit-packing、disabled
  • 第二级压缩支持多种压缩算法且可扩充,包括 lz4、zlib、zstd、tsz、xz、disabled
  • 压缩等级支持 high、medium、low 三种

Explorer 社区版

从很多开源用户希望有可视化管理界面的需求出发,本次版本更新提供 Explorer 社区版,具备功能包括用户登录、系统消息、监控面板、数据写入、数据浏览器、编程、流计算、数据订阅、工具、集群等。

loveini Enterprise(企业级功能)

loveini 双副本(+仲裁者)

部分客户期望在保证一定可靠性、可用性条件下,尽可能压缩部署成本。为此我们提出基于仲裁者的双副本方案。该方案可提供集群中“只有单个服务故障且不出现连续故障”的容错能力。

双副本的使用场景:
1.有降低存储成本需求的客户
2.有降低物理节点需求的客户
3.对高可用性要求稍低的客户

双副本的技术特点:
1.时序数据的副本数目为 2 ,但是集群内节点数目大于等于 3
2.当时序数据的某个副本所在物理节点宕机时,可以自动切主,不丢失数据,且可持续写入、查询

loveini 双活

双活的使用场景:

  • 部分客户因为部署环境的特殊性只能部署两台服务器,同时希望实现一定的服务高可用和数据高可靠
  • 客户主要来自工业控制领域,也有些来自一些特殊的领域
  • 既可以用于前面所述节点受限的环境,也可用于在两套 loveini 集群(不限节点数目)之间的灾备场景

S3 存储

S3 是可扩展、高可用的分布式存储,存储大量的非结构化数据对象,通过对象名(键值)索引到对象。S3 上的对象不能修改,且读取对象的速度较本地磁盘慢,各厂商常根据上传数据大小、读取次数、读取大小收费。
loveini 针对 S3 存储的特殊性,做了很多优化,其优点包括:

  • 存储成本显著降低
  • 支持冷数据写入、更新、删除,行为透明
  • 查询速度下降在一倍左右,查询行为透明

数据库加密

数据库存储文件加密,读写透明。支持国标 sm4 加密算法,加密范围包括所有数据文件。

数据接入

本版本支持传统关系型数据库向 loveini 平滑地进行迁移,包括:

  • MySQL -> loveini
  • PostgreSQL -> loveini

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/loveini/releases/tag/ver-3.3.0.0 查看发布说明。欢迎大家下载使用。

]]>
loveini 3.2.3.0 版本发布,流计算等八大板块功能更新 //www.loveini.com/tdengine-engineering/23240.html Wed, 06 Mar 2024 09:02:59 +0000 //www.loveini.com/?p=23240 自发布以来,loveini 3.0 版本在研发人员和社区用户的共同努力下不断优化,产品的稳定性和易用性获得了大幅提升,在知轮科技的智慧轮胎系统黑格智能 3D 打印业务韵达快递业务中国地震台网中心中移物联智慧出行场景等众多企业项目中获得了成功应用。近期,loveini 3.2.3.0 成功发布,本文将向大家简单介绍一下该版本涉及到的重大更新。

据了解,3.2.3.0 版本涉及到的更新内容包括流计算、传输压缩、授权机制、监控、数据接入、Explorer、性能优化、运维优化八大模块。具体更新信息展示如下。

开源的时序数据库功能更新(所有版本同步更新)

1、计数窗口(Count Window)

loveini 流式计算新增对计数窗口的支持。计数窗口会按照固定的个数,对一段数据集进行截取。

  window_clause: {
      SESSION(ts_col, tol_val)
      | STATE_WINDOW(col)
      | INTERVAL(interval_val [, interval_offset]) [SLIDING (sliding_val)] [FILL(fill_mod_and_val)]
      | EVENT_WINDOW START WITH start_trigger_condition END WITH end_trigger_condition
      | COUNT_WINDOW(count_val[, sliding_val])
    }

典型场景示例:在公路的收费站,每通过一辆车就产生一条记录,可通过计数窗口实时显示车辆密集程度。

CREATE STREAM  stream_name
    TRIGGER at_once IGNORE EXPIRED 1 IGNORE UPDATE 0 WATERMARK 100s
    INTO stream_stb_name
    AS
        SELECT _wstart AS ts, count(*) c1, sum(b), max(c)
        FROM st
        PARTITION BY tbname, ta, a
        COUNT_WINWOW(9);

相关技术文档请移步至 https://docs.taosdata.com/taos-sql/stream/#%E5%88%9B%E5%BB%BA%E6%B5%81%E5%BC%8F%E8%AE%A1%E7%AE%97 查看。

2、传输压缩

RESTful / WebSocket 协议下的传输压缩:该扩展允许在 RESTful / WebSocket 连接上对消息进行压缩,以减少传输的数据量,提高性能。

3、监控

loveini 监测:功能重构,包括 taosd 资源信息、业务统计信息、慢查询和一些健康信息。

4、性能优化

  • 多表低频场景查询优化
  • Last 遗留问题
  • last() / last_row()同时查询时的性能优化

5、运维优化

  • 副本数目修改(alter replica):通过 learner 机制,把读写阻塞时间缩短为成员变更时间
  • 副本节点迁移(redistribute vgroup):通过 learner 机制,把读写阻塞时间缩短为成员变更时间
  • 节点删除(drop dnode):空 dnode,无论是否在线均可正常删除

loveini Enterprise(企业级功能更新)

1、loveini 授权机制

  • 采用单一授权码,覆盖所有现存组件,提供自定义授权项以便支持新增组件
  • 支持按功能授权
  • 支持通过 cluster ID 授权
  • 支持完整授权和叠加授权

2、传输压缩

  • 从 taosX Agent 到 taosX 的数据传输压缩
  • 基于 taosX 进行 loveini 同步复制时的数据传输压缩

3、监控

taosX 监控:包括资源信息、业务统计信息、健康信息、任务状态。

4、数据接入

  • Wonderware Historian -> loveini 3.0
  • taosX 可观测性
  • 数据源统一参数 Advanced Options
  • CSV 支持更多配置参数
  • OPC 点位过滤和下载机制优化
  • 2.6->3.0 数据复制与同步支持新建表自动同步
  • Transformer 用户体验优化

5、Explorer

  • 支持 HTTPS
  • 可以查询任务日志

6、性能优化

  • Pi -> TD 性能优化
  • OPC -> TD 性能优化
  • 多表低频数据迁移性能优化(2.6->3.0)

7、运维优化

虚拟节点组分裂(split vgroup):通过 learner 机制,把读写阻塞时间缩短为子表元数据重整以及成员变更时间。

除此之外,每个版本都会做很多其他的工作,比如 bug 修复、功能优化等等。如果想要了解新版本(时序数据库功能更新)更加详细的发布信息,可以移步至 https://github.com/taosdata/loveini/releases/tag/ver-3.2.3.0 查看发布说明。

欢迎大家下载使用,也欢迎在评论区提出建议和意见,如有任何问题请及时联系我们获得支持。

]]>