数据采集系列

• 

  15分钟搞定NGINX访问日志分析

  日志服务11月份发布数据接入向导功能，如果平均一首歌的时间按3分钟计算，那么给我们5首歌的时间，我们一起来通过日志服务的数据接入向导快速玩转NGINX访问日志分析

  了解详情
• 

  Docker/Kubernetes(K8S) 日志解决方案

  日志服务再次升级Kubernetes（k8s）的日志解决方案。1分钟内即可完成整个集群部署，支持动态扩容，提供采集宿主机日志、容器日志、容器stdout等所有数据源的一站式采集。

  了解详情
• 

  IoT日志利器：嵌入式日志客户端（C Producer）

  2017云栖大会·北京峰会中，飞天智能是贯穿云栖大会不变的主题，云计算、大数据、人工智能、物联网等热门话题备受各方关注。其中阿里云日志服务发布的嵌入式日志采集客户端（C Producer Library) 就是其中解决物联网日志采集、分析难的利器。

  了解详情
• 

  巧用 Img / JavaScript 采集页面数据

  当一个面向内容投放的运营需求来了后，如何能以很快捷的手段满足这类用户行为采集、分析需求是一个很大的挑战。日志服务 提供Web Tracking/JS/Tracking Pixel SDK 就是为解决以上轻量级埋点采集场景而生，我们可以在1分钟时间内完成埋点和数据上报工作。

  了解详情
• 

  10分钟搭建MySQL Binlog分析+可视化方案

  以用户登录数据库作为案例，演示如何在10分钟内手把手完成从binlog采集到查询、告警、搭建报表等全过程，满足各个老板们的需求。

  了解详情
• 

  Java日志上云三剑客：Log4J/LogBack/Producer Lib

  日志服务提供30多种数据采集方式，针对服务器、移动端、嵌入式设备及各种开发语言都提供完整的接入方案。对 Java 开发者而言，没有什么比熟悉的日志框架 Log4j、Log4j2、Logback Appender 更好使的了。

  了解详情

场景实践

• 

  OSS 访问日志实时分析功能

  阿里云对象OSS访问日志已和日志服务打通内测（延时10秒内），可以个性化定制您的OSS日志查询和收集需求。

  了解详情
• 

  SLB访问日志功能

  负载均衡作为公网访问入口，承载着海量的访问请求，这些请求可能来自全球各个地域，分布于不同的客户端，每个请求访问的web服务中的资源也不尽相同，所有这些请求的详细信息即负载均衡的访问日志，通常包括收到请求的时间、客户端的 IP 地址、延迟、请求路径和服务器响应等。

  了解详情
• 

  1分钟构建API网关日志解决方案

  访问日志（Acccess Log）是由web服务生成的日志，每一次api请求都对应一条访问记录，内容包括调用者IP、请求的URL、响应延迟、返回状态码、请求和响应字节数等重要信息。 阿里云API网关提供API托管服务，在微服务聚合、前后端分离、系统集成上为用户便利的产品。

  了解详情
• 

  打通钉钉+WebHook: 日志服务(SLS)告警实践

  用一个最最常用的案例（Nginx日志分析）来说明当前使用场景，告警要解决的3个问题：是否有错误；是否有性能问题；是否有流量急跌或暴涨

  了解详情
• 

  从日志到双十一大屏只要一步：LOG/SLS+DataV 打通

  日志服务从5月份开始提供了SQL查询功能，可以在1秒内快速分析1亿条日志。强大的统计分析能力，加上一些可视化手段，可以帮助开发者快速分析自己的日志。 在双十一这一个关键的节点，我们需要实时的关注自己的业务量，这时候配置一个可视化大屏就很关键，在一个大屏里展示所有的指标。

  了解详情
• 

  5分钟搭建网站实时分析：Grafana+日志服务实战

  2017年9月日志服务加强日志实时分析功能（LogSearch/Analytics），可以使用查询+SQL92语法对日志进行实时分析。 在结果分析可视化上，除了使用自带Dashboard外，还支持DataV、Grafana、Tableua、QuickBI等对接方式。本文主要通过一个例子，演示如何通过日志服务对Nginx日志进行分析与可视化。

  了解详情
• 

  安骑士主机日志实时分析功能（Beta）

  日志服务与阿里云安全服务安骑士主机日志已经打通，提供实时分析查询、开箱即用的多个领域报表

  了解详情
• 

  计量日志处理方案

  使用云服务最大好处是按量付费，无需预留资源，因此各云产品都有计量计费需求。这里我们介绍一种基于[日志服务](http://www.aliyun.com/product/sls/)计量计费方案，该方案每天处理千亿级计量日志，被众多云产品使用

  了解详情
• 

  账单日志的统计分析

  成交账单是电商公司的核心数据，是一系列营销和推广活动最终的转化成果。这些数据包含了很多有价值的信息：从这些数据出发，可以描绘出用户画像，为下一步的营销提供方向。账单数据还能提供货物的受欢迎程度，为下一步备货提供准备。

  了解详情

查询与分析技巧

• 

  自建ELK vs 日志服务(SLS)全方位对比

  提到日志实时分析，很多人都会想到很火的ELK Stack（Elastic/Logstash/Kibana）来搭建。ELK方案开源，在社区中有大量的内容和使用案例。阿里云日志服务产品在新版中增强查询分析功能（LogSearch/Analytics），支持对日志数据实时索引与查询分析，并且对查询性能和计算数据量做了大量优化。

  了解详情
• 

  搜索引擎背后的原理和中文日志检索

  日志服务支持的两种搜索方式 通过设置分词字符(通常是标点符号)，把一段文本划分成不同的单词。分词字符只能是单字节ascii字符这种方式适合于切分英文单词。这种方式对于中文日志，必须要搜索中文语句整体。

  了解详情
• 

  日志服务支持Json类型数据

  JSON数据作为一种通用类型的数据类型，其自解析、灵活的特性，使其能够很好满足复杂场景下数据的记录需求，在很多日志内容中格式不固定的部分往往都是以json的形式进行记录，如将一次http请求的request参数和response内容以json的形式记录在一条日志中。

  了解详情
• 

  分析用户的地理位置信息

  地理位置的需求 通常我们分析用户的需求，了解到用户当前位置在哪里非常重要，例如，可以根据用户的地理位置，针对性的推广本地广告。 通常，我们可以在客户端获取定位权限来获取GPS信息。但是如果用户关闭了定位呢？如何获取呢？我们还有另外一种方法，就是通过用户当前的IP来定位。

  了解详情
• 

  通过决策树给日志做聚类分析

  日志自动化、智能化分析对于AI需求 通常，我们分析日志，是为了两个目标： 对数据有个整体的概览，例如，生成一天内的报表。 对异常数据进行挖掘，例如，对特殊的日志进行告警。 日志分析，通常对分析者有这些要求： 对业务数据的熟悉程度要求比较高。

  了解详情
• 

  今天比昨天增长多少？快使用环比函数

  增长黑客系列：今天比昨天增长多少？快使用环比函数来分析日志 在我们平时分析业务时，一个最重要的指标就是，今天比昨天增长多少，本周比上周增长多少；或者同上一个周期相比增长最大的分类是哪个？这些问题，可以使用一个SQL来分析。

  了解详情

日志处理

• 

  使用日志服务LogHub替换Kafka

  前几天有客户问到，云上有什么服务可以替换Kafka？ 怀着程序员的一丝小小的骄傲回复：日志服务（原SLS）下LogHub功能可以完全替代Kafka等产品，并且在性能、易用性和稳定性上更佳。 但客户将信将疑，于是花了一天时间整理一篇文章，简单从各个角度解释下为何建议用户从自搭Kafka换成

  了解详情
• 

  Flink Connector《支持Exactly Once》

  Flink log connector是阿里云日志服务推出的，用于对接Flink的工具，包含两块，分别是消费者和生产者，消费者用于从日志服务中读数据，支持exactly once语义，生产者用于将数据写到日志服务中，该Connector隐藏了日志服务的一些概念，比如Shard的分裂合并等，用户在使用时只需要专注在自己的业务逻辑即可。

  了解详情
• 

  日志服务+函数服务实战（1）: 访问日志地域、运营商实时分析

  日志服务的LogHub是流式的数据中心，日志写入后可实时消费。日志服务ETL面向的正是这些流式写入的数据，提供准实时（1分钟级别）的ETL作业。

  了解详情
• 

  存储与计算分离：OSS构建表 + 计算引擎对接

  了降低OSS上建表的门槛，日志服务（原SLS）LogHub可以支持OSS上表的实时写入（表类型包括TextFile，列存储Parquet），支持压缩及数据Partition配置。在计算引擎端，我们已经和阿里云（MaxCompute、E-MapReduce）和主流开源计算引擎（Presto等）打通，无缝使用多种计算引擎热插拔对接。

  了解详情
• 

  自定义LOG投递OSS数据Partition，优化你的计算

  数据划分Partition OSS数据存储具有高可靠、低成本等优点，是海量数据存储的最佳选择之一，尤其适用于半结构化的日志存储，并可以结合E-MapReduce（使用Hive、Impala等计算引擎）通过schema-on-read方式加载数据做查询分析。

  了解详情
• 

  通过LogShipper对接数据仓库

  日志服务[LogShipper](~~43724~~)功能可以便捷地将日志数据投递到OSS、TableStore、MaxCompute等存储类服务，配合E-MapReduce（Spark、Hive）、MaxCompute进行离线计算

  了解详情
• 

  使用LogHub进行日志实时采集

  日志服务[LogHub功能](~~43721~~)提供日志数据实时采集与消费，其中实时采集功能支持30+种手段，这里简单介绍下各场景的采集方式。

  了解详情
• 

  使用LogHub进行数据清洗/ETL

  日志处理过程中一个假设是：数据并不是完美的。在原始数据与最终结果之间有Gap，需要通过ETL（Extract Transformation Load）等手段进行清洗、转换与整理。

  了解详情

技术分享

线下技术分享内容整理

• 

  双十一技术分享

  logtail是阿里云一款进行日志实时采集的Agent，当前几十万台部署logtail的设备运行在各种不同环境上（集团、蚂蚁、阿里云，还有用户部署在公网、IOT设备），每天采集数PB的数据，支撑上千种应用的日志采集。

  了解详情
• 

  《银行的一天》演示日志处理保序、不丢、不重

  讨论如何在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障），业务流量剧烈波动情况下，如何保持这三点。

  了解详情
• 

  量流式视频日志收集

  介绍了不同平台、不同格式的日志采集、处理面临的挑战，详细介绍了阿里云日志服务的Loghub功能以及其丰富的上下游生态。

  了解详情
• 

  云栖大会Serverless场分享：日志处理挑战与展望

  Serverless由于本身的优势，其使用越来越广，在Serverless场景下的日志分析和处理也有其自身的特点。本文通过介绍Serverless场景下日志处理的挑战，结合阿里云日志服务，举例说明日志在Devops、运营等多个场景下的使用，来展示如何从容应对Serverless下日志处理的挑战。

  了解详情
• 

  如何通过日志服务实现用户的日志收集与分析

  共享电动车企业使用函数服务搭建服务端。在函数服务中开启日志，把程序日志写到日志服务，同时在函数代码中使用SDK把运营日志写入到日志服务，使用日志服务进行日志分析。 在日志服务中，用户可以： 开发查看日志调试程序，确保程序的逻辑符合逻辑。

  了解详情
• 

  游戏日志采集与分析

  小吴负责公司的DevOps 以及 数据团队：在服务器和用户数上升后，开发花了非常多的时间在服务器查日志问题上。在支持移动入口、网页、推广渠道后，日志的来源也变得越来越多，加剧了他的困扰。除此之外，运营团队、BI团队、运维团队等对日志提出各自需求。

  了解详情