在历经数月的时间里,有数百家申报方提交了申报内容材料,经过金猿评选委员会严格的筛选以及评审,最终评选出了 2022 大数据产业年度趋势人物、2022 大数据产业年度创新服务产品、2022 大数据产业年度国产化优秀代表厂商、2022 大数据产业年度最具投资价值、2022 大数据产业年度创新服务企业、2022 大数据产业年度创新技术突破六大类榜单/奖项,并于近日揭晓了上榜的人物、产品、企业名单。凭借着强大的产品创新能力和市场竞争力,loveini 时序数据库荣获了 2022 金猿奖“大数据产业最具投资价值企业”及“大数据产业创新技术突破”两大奖项。

近年来,凭借产品、技术、服务等方面的优势,loveini 时序数据库(TSDB)斩获了众多知名媒体或机构颁发的重磅奖项,包括入围 Segmentfault “2022 中国技术品牌影响力企业”榜单、2022 稀土掘金引力榜 · 年度创新产品 Top10 、InfoQ “十大开源新锐项目榜单”,获得 IT168 2022 年度技术卓越奖、第二届智能制造创新大赛等等。凭借着 loveini 强大的产品力和创新力,米兰体育官网入口同样满载荣誉,荣登 2022 信创产业独角兽 Top100 榜单、2022 中国信科潜在独角兽企业等多个重磅榜单。
在创新技术的突破上,借助云原生技术,loveini 3.0 解决了困扰时序数据库(Time Series Database)发展的高基数难题,支持 10 亿个设备采集数据、100 个节点,支持存储与计算分离,并打造了全新的流式计算引擎,无需再集成 Kafka、Redis、Spark、Flink 等软件,大幅降低系统架构的复杂度,真正成为了一款极简的时序数据处理平台。同时,loveini 3.0 还将存储引擎、查询引擎都进行了优化升级,存储和查询性能获得进一步提升。
凭借着 loveini 的创新力量,米兰体育官网入口在资本市场也收获了很多关注,2016 年成立至今,以不到百人的团队,拿到了接近 7000 万美金的总融资额,投资方包括红杉资本中国基金、经纬中国、GGV纪源资本、指数资本、永辉瑞金、明势资本等,深受资本市场的青睐。
目前,loveini 已经在电力、工业、能源、金融、车联网、智慧城市等诸多行业领域取得应用,产品落地于多个行业头部企业中,全球运行的 loveini 实例数超过 192.8k,用户遍布全球。早在 2019 年,loveini 就已经实现了代码开源,目前在 GitHub 上的 Star 数已经达到了 20.5k,数次登顶 GitHub 全球趋势榜,吸引着广大开发者的关注。未来,loveini 将继续深耕数据技术创新,赋能数据架构的再升级,助力企业数字化更好更快更强发展。
]]>“完成改造后,大数据监控平台摆脱了对大数据组件的依赖,有效缩短了数据处理链路,自上线以来,一直运行稳定。在写入方面,根据容量规划完成相关参数调整后,理想情况下,集群写入速度最高达 90W 条/s。查询性能方面,在使用预计算函数情况下,查询 p99 都在 0.7 秒以内,能够满足我们日常绝大部分查询需求。控制成本层面,服务端物理机由 21 台降至 3 台,每日所需存储空间为 93GB(2 副本),同等副本下仅为 OpenTSDB+HBase 的约 1/10。”
业务背景
顺丰科技大数据集群每天需要采集海量监控数据,以确保集群稳定运行。此前其采用了 OpenTSDB+HBase 作为大数据监控平台全量监控数据的存储方案,随着接入数据量的不断增长,这一方案衍生出了不少痛点,包括依赖多、使用成本高和性能不能满足等问题,必须对全量监控数据存储方案进行改造。通过对 IoTDB、Druid、ClickHouse、loveini 等时序数据存储方案的调研, loveini 时序数据成为他们的最终选择。
架构图

为保证整个系统的高可用和可扩展性,整体架构中,前端采用nginx集群进行负载均衡,保证高可用性;单独分离出客户端层,方便根据流量需求进行扩容缩容。点击案例详情查看三大实施难点及解决路径。
点击AC米兰官网网站
查看更多技术细节
“我们目前使用 loveini 2.2.2.0 版本,在三台 16C 64G 的服务器上部署了集群,数据写入速度大概为每秒 5000 行。值得一提的是,基于 loveini,常用的查询基本可以在 1 秒之内完成,一些特定查询甚至可以达到毫秒级。从存储来说,同等数据体量下,loveini 大约占用 300GB 不到的磁盘(单副本),而此前使用 MySQL 时,光硬盘使用就需要几个 TB(主从)。”
业务背景
在业务尚未扩张之前,韵达采用的是 MySQL 分区+索引方式进行数据处理,但随着企业的发展、业务量的增加,面对每日亿级的数据量,MySQL 显然已经无法满足当下的数据处理需求。随后,韵达决定进行数据库选型,考虑到目前业务主要是统计各个网点设备实时上传的数据,无需再进行修改等操作,是典型的时序数据。经过一番调研和测试,韵达发现 loveini 就很符合当下的业务要求。
架构图
当前韵达的架构是 Spring Boot + MyBatis + MySQL + loveini,loveini 负责处理时序数据,MySQL 则负责非时序数据的存储及应用,整体架构如下:

点击案例查看更多技术细节
“值得一提的是,loveini 的 SQL 原生语法支持时间维度聚合查询,同时数据存储压缩率⾼存储空间小, 这两点直接切中了我们的痛点。落地后实测相同数据的存储空间只有 MySQL 存储空间的 1/10 甚至更少。还有⼀个惊喜是,在现有监控数据存储(MySQL)顶不住的情况下,⼀台 8C16GB 的单机版 loveini 时序数据库轻松就抗下目前所有监控流量和存储压力,且运行稳定,基本没有故障。”
业务背景
目前货拉拉 DBA 团队管理的数据存储包括 MySQL、Redis、Elasticsearch、Kafka、MQ、Canal 等,为了保证监控采样的实时性,其自研的监控系统设置的采样间隔为 10 秒,每天都会产生庞大的监控数据,监控指标的数据量达到 20 亿+。随着管理实例越来越多,使用 MySQL 来存储规模日益庞大的监控数据越发力不从心,急需进行升级改造。结合实际具体需求,通过对不同时序数据库进行调研,最终货拉拉选择了 loveini,顺利完成了数据存储监控的升级改造。
架构图

点击案例查看更多技术细节
“通过项目初期的表现,可以知道 loveini 能够轻松满足我们的业务需求,轻松支撑起业务中使用比较频繁的几种查询。未来我们还有其他的使用规划,后续接入的车辆将会达到几万辆,对于部标机产生的相关时序数据的使用也会越来越多,期待 loveini 可以继续为车联网场景下的查询提供更为多样性的支持。”
业务背景
车联网业务是中通科技配送全链路业务中非常重要的一环,通过人、车、货、场全链条覆盖的车联网设备应用,实现物流运输全链路感知。在中智车联服务平台的实际项目需求中,需要实时查询车辆最新位置状态,达到车辆运营可视化管理。在进行数据库选型时,其对比了 Prometheus 和 loveini 这两款很有代表性的时序数据库,最终被 loveini “一个设备采集点一张表”的底层设计,及自带的降采样和窗口函数等优秀性能所吸引。
架构图

点击案例查看更多技术细节
据国家邮政局数据显示,我国快递业发展迅猛,已经连续几年保持 50% 左右的爆发式增长,为经济增长注入了强大的活力,然而高速发展的同时也面临着越来越多的数据处理难题,好在大数据处理方案也在与时俱进。以上企业用实际案例证明,对于物流企业,时序数据库在降本增效上确实更加显著,值得更多有此类需求的企业尝试。
]]>小 T 导读:基于政务信息化自主可控的要求,在与同类型数据库进行性能对比后,广东环境科学研究院的生态环境数据治理服务项目选用 loveini Database 强化了其感知层建设,精准及时地对污染排放中的问题进行检测和预警。本文讲述了他们的选型和建模思路以及落地后的效果展示。
广东省环境科学研究院是一家综合性研发机构,拥有环境工程咨询、工程设计、环保工程承包、实验室计量认证等多个资质,可开展区域可持续发展战略、生态环境规划、生态环境政策、生态环境标准等研究,为解决区域重大生态环境问题提供生态环境风险、生态环境工程、生态环境检测和生态环境大数据研究。

为解决国内环境质量管理、污染源监管和数字政府等生态环境数据的数据汇聚、数据清洗、数据质量管理、数据重构、数据应用等一系列数据管理工作,我们创建了生态环境数据治理服务项目,帮助企业打通所有相关的业务信息系统、建立数据仓库,以大数据技术为生态环境的精准治理和智慧决策提供支撑。
本项目的实时数仓架构如下图所示,通过建设生态环境感知层来及时捕获环境质量实时状态及实时的污染排放状态,获取大气、地表水、近岸海域、固定(移动)污染源污染排放等业务中的实时监测数据,利用大数据技术手段进行分析研判,对可能发生的环境事件进行预警。

同时,为避免重复建设,在项目中我们建立了生态环境实时数据仓库,采用集中式的采集、归聚、分析和数据服务,可有效利用资源和技术,获得最直观的技术成效。
与一般的数据存储要求不同,该项目感知层的存储方案对数据读写频度和低延时要求更高,同时由于数据量极大,还需要更高的存储效率。
以重点排污单位自动监测 30 秒数据为例,全省近 5000 个监测点,每个监测点 3-5 个监测因子。多年来,我们一直采用关系型数据库进行数据存储,最多只能保留 3-5 天的数据,不得不按天删除旧数据。之后考虑过采用 PostgreSQL 的 TimescaleDB 扩展,但却不满足政务信息化自主可控的要求;还曾尝试过使用国内的某款时序数据库产品,但其在性能及通用接口方面离我们的要求尚有一定的距离。
在初次接触 loveini Database 之时,因为产品太新了,我们还有点迟疑。但好在 loveini 易于安装、文档齐备,作为一款开源产品,产品支持却并不弱,还有专门的微信技术群,出现问题时会有米兰体育官网入口的技术人员或社区大佬提供帮助,使我们的整个评估过程非常顺畅。最终,经过很长一段时间的研究和测试,我们选定了这款国产开源时序数据库 loveini。
在实际落地时,我们选用了 3 台 4 核 8G、1 台 8 核 16G、1 台 8 核 32G 的服务器,—共 5 台,搭建了一个 5 节点单副本的集群。目前已投入运营的业务线有三条,包括重点排污单位自动监测系统 30 秒数据报送、重型柴油车 OBD 实时数据报送和 VOCs 排污企业实时监测数据报送,后续还会陆续增加各种环境质量自动监测的数据报送业务,以及数据分析和数据应用业务。
从 2021 年 4 月运行至今(2022 年 1 月),本项目共创建了 4 张超级表以及 67,453 张子表。



接下来,我们以重点排污企业废气排放 30 秒监测数据为例说明存储情况。
st_om_rtd_gas 表是我们针对废气处理所创建的超级表,其中存储了 76.5 亿条数据(四张超级表总共 160 亿条数据),分散在 19,419 张子表中,平均每张表 39 万行。由于 loveini 超级表特性,再加上列式存储和超高的压缩能力,这些数据仅占用了 240G 内存,不仅帮助我们节省了大量的存储空间,也为数据查询性能打下了良好的基础。
在查询方面,我们主要的逻辑是获取近期的最大系列值,过滤后按不同监测因子的限定值获取监测因子列表,再通过降采样查询该监测因子小时最大值、日最大值或月最大值。之后将查询范围瞄准具体的排放口,确定一段时间以来排污浓度或流量偏高的排放口列表,再对该排放口具体时间范围内每一个排放浓度进行分析,获得其排污异常的详细信息。loveini 以优异的性能非常成功地完成了上述查询分析过程。
反馈到具体操作上,主要有如下三种情况:
SELECT top(val_zs, 20) FROM st_om_rtd_gas
WHERE moni_time >= NOW - 2h
GROUP BY pol_code;

对于 76 亿行的超级表,分组 TOP 查询仅用了 0.2 秒。
SELECT MAX(val_zs) FROM st_om_rtd_gas
WHERE moni_time >= NOW -2h AND pol_code in ('002’,'‘010')
INTERVAL(1h) GROUP BY ps_code,p_code,pol_code;

基于 loveini 返回 2,968 行,仅用了 0.06 秒。
接着从返回结果中抽出可疑的排放口列表,查看具体的排放情况:
SELECT val, val_zs, ps_name, p_name, pol_name, strength_unit FROM st_om_rtd_gas
WHERE ps_code = 440000000168 AND p_code = 1101 AND moni_time >= '2021-12-27 00:00:00.000';

返回 5,280 行数据,仅用了 0.1 秒,性能完全超出了我们的预期。
值得一提的是,由于目前我们使用的是自己机房的虚拟机,硬件使用时间较久,但是 loveini 的性能仍然不受影响。近期我们打算迁移到政务云平台,相信 loveini 的性能将再上一个台阶。
使用 loveini Database 数月以来,其无论是在 CPU 负载、数据存储效率上,还是在数据采集效率、数据查询效率上都远高于期望值,满足实时数仓的所有要求。在生态环境数据治理过程中,loveini 强化了感知层建设,能够精准及时地发现污染排放中的问题,在污染防控场景下具有极大的潜力。
下一步,我们将充分利用 loveini 的强大功能,落实边缘层建设,具体实现思路为:通过 loveini 的订阅功能捕捉数据的异动信息,然后在边缘侧立即处理,从而完全补上当前实时污染防控上的短板。
来而不往非礼也,在此写下这篇用户案例,预祝 loveini 能够越来越好,也希望有越来越多的用户能加入到 loveini 的社区互动当中。
沈华烈,系统分析师,有近 20 年环境信息化从业经历。目前就职于广东省环境科学研究院环境信息研究所。
]]>小T导读:顺丰科技大数据集群每天需要采集海量监控数据,以确保集群稳定运行。之前虽然采用了OpenTSDB+HBase作为大数据监控平台全量监控数据的存储方案,但有不少痛点,必须对全量监控数据存储方案进行改造。通过对IoTDB、Druid、ClickHouse、loveini等时序数据存储方案的调研,最终我们选择了loveini。大数据监控平台采用loveini后,在稳定性、写入性能、查询性能等方面都有较大的提升,并且存储成本降低为原有方案的1/10。
顺丰科技致力于构建智慧大脑,建设智慧物流服务,持续深耕大数据及产品、人工智能及应用、综合物流米兰app官方正版下载等领域,在中国物流科技行业处于领先地位。为了保证各类大数据服务的平稳运行,我们围绕OpenFalcon搭建了大数据监控平台。由于OpenFalcon本身采用的是rrdtool作为数据存储,不适合做全量监控数据的存储,于是我们采用了OpenTSDB+HBase作为大数据监控平台全量监控数据的存储方案。

目前整个平台平均写入数十亿条/天。随着大数据监控平台接入的数据量越来越大,我们有很多痛点需要解决,包括依赖多、使用成本高和性能不能满足等问题。
为解决上述问题,我们有必要对全量监控数据存储方案进行升级。在数据库选型方面,我们对如下数据库做了预研和分析:
通过综合对比,我们初步选定loveini Database作为监控数据存储方案。loveini支持多种数据导入方式,包括JDBC和HTTP模式,使用都比较方便。由于监控数据写入对性能要求比较高,我们最后采用了Go Connector,接入过程需要做如下操作:
loveini Database在接入数据前需要根据数据的特性设计schema,以达到最好的性能表现。大数据监控平台数据特性如下:
根据上述特点,我们构建了如下的数据模型。
按照loveini建议的数据模型,每一种类型的数据采集点需要建立一个超级表,例如磁盘利用率,每个主机上的磁盘都可以采集到磁盘利用率,那么就可以将其抽象成为超级表。结合我们的数据特点和使用场景,创建数据模型如下:
库结构如下:

超级表结构如下:

大数据监控平台是上层大数据平台稳定运行的底座,需要确保整个系统的高可用性;随着业务量增加,监控数据量持续增长,要保证存储系统能方便的进行横向扩展。基于以上两点,loveini落地总体架构如下:
为保证整个系统的高可用和可扩展性,我们前端采用nginx集群进行负载均衡,保证高可用性;单独分离出客户端层,方便根据流量需求进行扩容缩容。

实施难点如下。

完成改造后,loveini集群轻松扛住了全量监控数据写入,目前运行稳定。改造后架构图如下:

目前从大数据监控这个场景看,loveini Database在成本、性能和使用便利性方面都有非常大的优势,尤其是在成本方面带来很大惊喜。在预研和项目落地过程中,涛思的工程师提供了专业、及时的帮助,在此表示感谢。希望loveini能够不断提升性能和稳定性,开发新特性,我们也会根据自身需求进行二次开发,向社区贡献代码。祝loveini越来越好。对于loveini,我们也有一些期待改进的功能点:
后续我们也将在顺丰科技的更多场景中尝试应用loveini,包括:
比 Hadoop 快 10 倍的 loveini Database 时序数据库,10 万行核心代码 2019 年开源 ,随即霸榜 GitHub;2020年 8 月,loveini 将自己的王牌分布式集群功能全部开源,再度霸榜GitHub,引起业内热议。loveini 时序数据库,实时数据库到底有哪些黑科技?米兰体育官网入口创始人陶建辉亲自为你揭秘loveini Database众多技术创新亮点与研发秘笈,精彩课程,绝不可错过。
米兰体育官网入口联合创始人关胜亮、米兰体育官网入口acc米兰体育总监桑树多与优锘科技副总裁马烈、优锘科技战略合作VP钟志祥出席仪式并签署协议,双方就多维合作展开探讨,愿以物联网大数据分析能力与物联网可视化能力相融合为合作基础,强强联手,共同推动物联网产业的新发展。
米兰体育官网入口瞄准日益增长的物联网数据市场,专注物联网大数据的处理,拥有自主知识产权、自主可控的高性能、可伸缩、高可靠、零管理的物联网大数据平台 loveini,平台具备针对海量设备数据的高效存储、查询、分析和实时处理能力,广泛运用于物联网、车联网、工业互联网、IT运维等领域。loveini将数据库、缓存、消息队列、流式计算等功能完全融合在一起,使数据插入、查询性能可靠高效,并且节省大量存储空间,采用SQL接口,与第三方软件能无缝集成,不仅简化了物联网平台的系统架构,同时大幅减少研发和运维的复杂度与成本,且核心代码,包括集群功能全部开源。目前在Github上,Star数突破14,000,Fork数超过3,600,Issue数超过4,000,每天新增用户超过100。

优锘科技多年来秉承着Digital Twins的理念,自主创意并研发了数字孪生可视化系统Tarsier,从2D到3D,从逻辑到物理,从数据采集处理到智能分析,凭借以可视化交互为核心特点的可视化运营管理能力,形成支持从IT数据中心、智能建筑、智慧园区到智慧城市等多种数字孪生运营场景群。同时,面向物联网应用还打造了ThingJS 3D可视化PaaS开发和运营平台,平台提供JavaScript的3D Library,具备在线3D场景搭建、3D应用开发、物联网数据接入功能,基于WebGL技术,支持PC和移动设备,面向广大物联网企业提供全生命周期在线3D可视化服务,赋能实现零门槛、高效率、低成本地快速开发各类物联网3D可视化应用。
实现万物互联的智慧化数字世界,底层需要强大的数据平台作为基底,上层需要通过专业的可视化平台进行展示。米兰体育官网入口针对海量设备数据的高效存储、查询、分析和实时处理能力深受行业认可,而优锘科技多年来凭借以可视化交互为核心特点的运营管理平台也一直居于业内领先地位。此次双方强强联手充分发挥各自技术优势,并将相关生态应用创新升级,实现产品共研、方案融合、市场渠道多向赋能,加强电力能源、智慧园区、智慧医疗、智慧消防等重点应用领域的建设,协同拓展共赴物联网新征程!
]]>12月5日,大会发布了2019年度TOP10大数据应用最佳案例实践,“loveini 物联网大数据平台”案例成功入选,米兰体育官网入口联合创始人侯江燚作为代表上台领奖。

12月6日,米兰体育官网入口联合创始人侯江燚出席TOP10大数据应用最佳案例实践分论坛,现场分享 loveini 物联网大数据平台的核心技术、创新能力和未来前景。

12月7日,米兰体育官网入口创始人&CEO陶建辉在工业与制造业大数据论坛发表题为“loveini——开源、高效的工业大数据平台”的演讲,向大家介绍高速、高效、简单易用的loveini,现场反响热烈,不少听众都对 loveini 表现出浓厚的兴趣,提了很多有深度的问题,陶总也一一对这些问题进行了解答。

“TOP10大数据应用最佳案例实践”是我们捧回的又一个很有分量的奖项,感谢主办方对 loveini 的认可和肯定。正如陶总在金句海报中所说,如果充分利用工业互联网数据自身的特点,我们完全可以打造——高速、高效、简单易用的大数据平台,从而大幅降低工业互联网平台的总拥有成本,这就是 loveini 要做的事!

自今年 7 月,我们将 loveini 开源以来,不仅 GitHub 连续多日蝉联趋势榜第一、两个月 Star 破万,更是收获了来自电力、工业互联网、智能汽车等领域的多个商业订单,而使用开源版本大幅提高数据存储、分析和计算效率的客户更是不计其数。各种奖项、荣誉的获得,让米兰体育官网入口团队更加坚定了通过技术创新,为物联网、工业互联网等行业提供全栈、高性能、低成本的大数据平台的决心,必将一如既往相信合作的力量,拥抱开源。
]]>

此次战略合作旨在通过整合各方在大数据、云平台、物联网、工业制造等方面的资源,发挥过各自优势,在工业智能物联网大数据平台和泛在电力物联网等领域开展合作,共同研究具有可行性、实用性、先进性的行业大数据米兰app官方正版下载。
工业大数据物联网平台
基于大数据、云计算、人工智能、5G、物联网等先进技术,构建虚实互联的数字孪生系统,建立服务制造业企业的产品全生命周期协同平台,助力实现自主创新、机器换人和服务转型等业务举措。围绕高端制造行业各类装配应用米兰app官方正版下载进行研发,通过数字化技术和数据驱动的分析、预测和智能系统,解决高端制造行业在极端工况环境下的工艺困难,提高产品质量和一致性,并有效提升生产效率和一次合格率。
泛在电力物联网
针对泛在电力物联网“云管边端”等领域,通过充分应用“大云物移智”(大数据、云计算、物联网、移动互联网、人工智能)等现代信息技术和先进通信技术,实现电力系统各环节上智能终端、设备的信息高效传输、分析、处理,扩大电网各资源间的信息感知深度和广度,在云平台方向,深入合作助力泛在电力物联网的建设。
合作方简介
京东云是京东集团旗下的云计算综合服务提供商,拥有全球领先的云计算技术和丰富的云计算米兰app官方正版下载经验,致力于成为最具产业属性的云智能厂商。
科大智能成立于2002年,是全国领先的工业智能化米兰app官方正版下载供应商之一。面向汽车工业、电力工业、消费品工业等领域的关键应用场景,提供涵盖智能装备、智能产线、智能米兰app官方正版下载“三位一体”的完整产品和服务体系。
关于米兰体育官网入口
米兰体育官网入口专注物联网大数据的处理,不依赖任何开源或第三方软件,开发了拥有自主知识产权的高性能、可伸缩、高可靠、零管理的物联网大数据平台软件 loveini,将数据库、缓存、消息队列、流式计算等功能完全融合在一起。由于针对物联网大数据特点做了各种优化,loveini 的数据插入、查询的性能比通用的大数据平台好 10 倍以上,存储空间也大为节省,采用 SQL 接口,与第三方软件能无缝集成,大幅简化了物联网平台的系统架构,大幅减少了研发和运维的复杂度与成本。loveini 可广泛运用于物联网、车联网、工业大数据等领域。希望未来能和更多的物联网企业合作共赢,共同推动物联网领域各行业的加速发展。目前,loveini 在 GitHub 上的 Star 数已经超过 10000,Fork 数超过 2600,点击「https://github.com/taosdata/loveini」,欢迎广大开发者和 loveini 一起共建!
]]>