2025年04月28日
上一篇文章讲的是美团的大数据平台架构，相信大家也看到了这种平台的优势，也就是因为这种大数据平台架构的存在，阿里才会提出数据中台这么个非常好用的东西，后面有空会和大家再讲讲数据中台。
好了，言归正传，如果我们能够化整为零，在企业内部从宏观、整体的角度设计和实现一个统一的大数据平台，引入单一集群、单一存储，统一服务和统一安全的架构思想，就能很好的帮助企业解决很多问题。
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。
2025年04月28日
互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文 GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Hadoop技术生态。经过十几年的发展，如今的大数据技术生态已相对成熟，围绕大数据应用搭建的平台架构和技术选型也逐渐趋向统一。
2025年04月28日
如何将大数据分为不同的类别
大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。
概述
大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。
2025年04月28日
大数据要实现处理，需要专业的技术手段去实现，以Hadoop、Spark为首的一些计算框架，也已经在大数据处理当中，稳稳地占据一席之地。当然，在大数据当中，可用的计算处理框架不止于此。今天加米谷学院就来为大家介绍一些大数据常用处理框架。
发展到今天，大数据处理主要分为两类大的需求，一是批处理，一是流处理。在企业的实际业务场景当中，可能会只需要批处理或者流处理，也可能同时需要批处理和流处理，这就使得搭建大数据系统平台的时候，需要根据具体场景来进行技术选型。
大数据处理框架，通常可以分为三类——
2025年04月28日
多模态RAG将是2024年AI应用架构发展的一个重要趋势，在前面的一篇文章里提到llama-index在这方面的尝试《利用GPT4-V及llama-index构建多模态RAG应用》，本文[1]中将以另一主流框架langchain为例介绍多模态RAG的实现。
2025年04月28日
论文为2019年发布在Robotics上的
"A Survey of Autonomous Driving: Common Practices and Emerging Technologies"
作者首先比较了目前的无人驾驶综述论文，存在的问题是目前无人驾驶综述论文的侧重点都不一样，所以作者准备做一个详尽的调查，下图是不同论文的侧重点：
2025年04月28日
目前前端主流的开发框架有Vue、React以及Angular等，但是依然有一部分开发人员并不会去使用这些框架，特别是一些偏向后端的开发者，可能依然在使用类似于jquery+Bootstrap的方式在开发一些项目，而且有些项目可能传统的方式更加合适，因此JavaScript前端模板引擎就能够发会很大作用了，那么今天就介绍10大开源模板引擎，依据不同的场景或者功能特性，可以选择不同的模板引擎应用到项目中去：