background

2013年前后，用户数据实时采集已不再是领先公司的独门秘籍，而成了每家公司运维、运营庞大用户、设备等的基础设施。从数据量上看就是最好的例子：

Facebook上一天上传的多媒体数据（照片、视频等）在PB级别，这个数据量非常大。但截止2017年，每天上传的多媒体数据量已经被用户、设备活动行为产生的日志量超过。对于国内的视频类公司（例如爱奇艺等），用户日志增强已大于拥有视频数据。

2015年9月后，各云计算公司看到了这个商机，开始逐步推出了类Kafka服务化服务，比较有代表性的有：

AWS Kinesis
Azure EventHub
IBM Bluemix Event
阿里集团内部有RocketMQ、MQ（ONS）等明星消息中间件产品，也有专门做数据采集的TimeTunnel/DataHub、SLS等产品。这些产品作为存储、计算之间的血管，承担了实时数据的重要通路。

why 需要日志服务

日志审计
网址
为什么需要日志审计系统
“综合日志分析管理平台”
审计的本质特性是独立性。系统日志由系统生成，与系统本身为一体，主要用来帮助维护人员进行故障排查与定位。如果要篡改日志，轻而易举。因此系统日志自身无法达到审计的最基本条件，其公正性、权威性更无从谈起

来源：
日志服务器的产生源自于信息技术发展的一定程度后，所面对的信息系统已经不再以个位计算，而是十位、百位，甚至千位。基于传统的单系统日志排查方式来检查系统运行的状态已捉襟见肘。如若能对所有系统的日志进行统一集中管理，并对其进行归类、分析、抽取，按照不同的风险级别通过可视化的图形方式展现，并实现实时的智能告警，将极大提高系统运维的效率。为解决此类问题，syslog日志协议被广泛应用，并由此产生了基于syslog协议的日志服务器用于日志的集中管理与分析

日志的重要性：
在一个完整的信息系统里面，日志系统是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志可以反应出很多的安全攻击行为，比如登录错误，异常访问等。日志还能告诉你很多关于网络中所发生事件的信息，包括性能信息、故障检测和入侵检测。日志会成为在事故发生后查明“发生了什么”的一个很好的“取证”信息来源。日志可以为审计进行审计跟踪

Syslog存在的主要问题：
长期以来，syslog没有一个标准来对其格式进行规范，导致syslog的格式比较随意，极端情况下可能没有任何格式，程序不能对syslog消息进行解析。在2001年定义的rfc3164中，对syslog协议进行了描述，不过这个规范很多内容并非强制性，常常以“建议”或者“约定”出现，再一个该协议使用UDP协议(无连接协议)在网络中传输，内容的完整性与可靠性得不到有效保障。对于系统的运维来讲，syslog已足够满足需求，却不能满足审计需要。
当我们分析过日志服务器(syslog)后，再要去理解日志审计就不是什么难事，无非就是在日志服务的基础上再增加SNMP(简单网管协议)使其能对路由器、交换机等网络设备的运行状况也能进行管理，再增加一些个性化报表功能，使展现出的效果更佳美观，便成了日志审计系统，但其本质还是脱离不了日志服务器。

被低估的日志：
在很多企业环境中，日志没有得到重视。日志往往在日常工作中被完全忽视，仅仅在磁盘空间不足的时候才会引起人们的注意。而在这个时候它们往往未经查看就被删除了。某些情况下，日志中的一些消息可能指出磁盘满的原因。很多人都有过查看已被入侵的机器的经历，在询问日志保存的位置之后，我们会听到：“噢，它们只会占据空间，所以我们把它们删掉了。”在大多数这种情况下，我们没有什么可做的。
为什么日志不受重视呢？这是有很多原因的。首先是领导的重视程度，在中国大多数领导重视的是业务，而不是运维或者安全等。其次是日志以各种形状和大小出现，有时候很难从中提取信息，日志的内容不好理解。syslog数据可能相当糟糕，因为大多数数据都是自由格式的文本。从syslog中获取有用的数据需要花费一些精力，而且需要处理的数据量可能很大。例如，有些网站每周会收集几个GB的日志数据，有的可能一天内就能达到这样的量级。这样的数量似乎令人不知所措，大多数管理员最终往往根据特定的时间内看到的东西，根据经验写出一些脚本来寻找一些随机的东西。

阿里云 日志服务简介

1 选择日志空间—2创建机器组—3机器组配置—4Logtail配置—5查询分析置—6结束

https://help.aliyun.com/document_detail/48869.html?spm=5176.215333.1147926.1.7c744ae7A5rsAC

竞争对手： splunk, 日志易， 七牛， SLS

成就与挑战

全新场景 解决方案输出（应用）

开发友好

易于被集成
API、文档规范化
SDK、工具易用

控制台落地，

运维

自动化部署
全链路监控
自愈能力

声明式运维框架（反哺公有云）
自愈能力（反哺公有云）
运维模式终极统一
升级与监控指标联动

多分支、多版本的管理

企业版、敏捷版、国产化 多region,
老版本维护
升级策略
终止服务

多版本 不同的模块 都统一， 基线，管控代码， 源码

用户支持

知识库沉淀
答疑机器人

工程效率

一键部署、一键升级、每天基于主分支做 CICD
SLS专有云快速入门系列文章
开发、调试文档沉淀（反哺公有云）

编译构建、版本生成、版本打标、包拷贝、部署升级
调试

管控占比、硬件兼容