IT时代，最重要的特征就是：“数据越来越多”。每天产生的数据源源不断，成为了现代社会的“石油”。大数据的存储、分析都成了非常重要的技术。
尚学堂从2014年国内第一批开设大数据专业，由国内知名专家夏中云、肖斌、周智雷创建。我们培训的大数据学员绝大多数成为了目前各大数据企业的骨干，深刻的影响了国内大数据行业。
为了让更多人受益，我们会陆续公布大部分的大数据课程视频，这些视频来自于我们线下培训精品课程，大多数直接录制于课堂，欢迎大家免费下载或者在线观看。
2025年04月30日
IT时代，最重要的特征就是：“数据越来越多”。每天产生的数据源源不断，成为了现代社会的“石油”。大数据的存储、分析都成了非常重要的技术。
尚学堂从2014年国内第一批开设大数据专业，由国内知名专家夏中云、肖斌、周智雷创建。我们培训的大数据学员绝大多数成为了目前各大数据企业的骨干，深刻的影响了国内大数据行业。
为了让更多人受益，我们会陆续公布大部分的大数据课程视频，这些视频来自于我们线下培训精品课程，大多数直接录制于课堂，欢迎大家免费下载或者在线观看。
2025年04月30日
来源公众号：数据与智能
作者 | 吴邪 大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研、离线计算&实时计算研究
编辑 | gongyouliu
2025年04月30日
分布式计算是未来的技术发展重点，所以掌握好分布式计算就很重要了，下面我就全面来详解分布式计算@mikechen
本篇已收于mikechen原创超30万字《阿里架构师进阶专题合集》里面。
分布式计算是一种计算模型，它利用多台计算机（节点），协同工作来完成一个计算任务。
2025年04月30日
2025年04月30日
伴随着云计算和微服务架构的普及，Kubernetes（K8s）已逐渐成为现代企业容器化部署和管理的核心平台，然而，随着应用场景的不断复杂，尤其是大规模部署和多租户环境，管理和监控K8s集群也逐渐成为了一大难题。一款可视化的Kubernetes面板能够有效提升运维效率、监控资源使用与资源管理，简化故障排查和增强安全性和合规性。
2025年04月30日
黑客在渗透工作中，经常会碰到的一个难题，就是目标网站是用Next.js搭建的，扫描器无法扫描出该网站目录。
如下图所示，wappalyzer插件探测到对方网站使用的是Next.js的框架。
如何解决呢这个难题呢？我经常用的工具有以下3个：
1、
https://github.com/rtcatc/Packer-Fuzzer。
2025年04月30日
准备工作
1. 下载zookeeper-3.4.7
2. 下载Storm apache-storm-0.9.3
3. 安装JDK 1.7
注：
Storm0.9之前的版本，底层通讯用的是ZeroMQ，所以在安装0.9之前的版本需要安装0MQ，但是在0.9之后 我们直接安装就可以了。
2025年04月30日
分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发。
Hadoop MapReduce 是三者中出现最早，知名度最大的分布式计算框架，最早由 Google Lab 开发，使用者遍布全球（Hadoop PoweredBy）；主要适用于大批量的集群任务，由于是批量执行，故时效性偏低，原生支持 Java 语言开发 MapReduce ，其它语言需要使用到 Hadoop Streaming 来开发。Spark Streaming 保留了 Hadoop MapReduce 的优点，而且在时效性上有了很大提高，中间结果可以保存在内存中，从而对需要迭代计算和有较高时效性要求的系统提供了很好的支持，多用于能容忍小延时的推荐与计算系统。Storm 一开始就是为实时处理设计，因此在实时分析/性能监测等需要高时效性的领域广泛采用，而且它理论上支持所有语言，只需要少量代码即可完成适配器。
2025年04月30日
形象点比喻，SPark就好比商城的直梯，Storm就好比商场的扶梯
Spark体系中的 Spark Streaming严格意义上属于批处理计算框架，准实时，基于内存的计算框架，性能可以达到秒级，大数据除了实时计算之外，还包括了离线批处理、交互式查询等业务功能，而且实时计算中，可能还会牵扯到高延迟批处理、交互式查询等功能，就应该首选Spark生态，用Spark Core开发离线批处理，用Spark SQL开发交互式查询，用Spark Streaming开发实时计算，三者可以无缝整合，给系统提供非常高的可扩展性
2025年04月30日
使用storm可以方便的构建一种集群式的数据框架，并通过定义topo来实现业务逻辑。
但使用topo存在一个缺点， topo的处理能力来自于其启动时设置的worker数目，在很多情况下，我们需要能够根据业务压力来调整集群的处理能力，这时候单一的topo就无法解决这个问题了。
为了能够更加灵活的定义处理能力，可以考虑将原有的topo根据业务域进行拆分，做到互不干扰，灵活控制，而且为了能够更加经济的利用处理资源，可以考虑引入worker资源池的概念，达到对资源的充分利用。