2025年04月28日
互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文 GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富Hadoop技术生态。经过十几年的发展，如今的大数据技术生态已相对成熟，围绕大数据应用搭建的平台架构和技术选型也逐渐趋向统一。
2025年04月28日
如何将大数据分为不同的类别
大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。
概述
大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。
2025年04月28日
大数据要实现处理，需要专业的技术手段去实现，以Hadoop、Spark为首的一些计算框架，也已经在大数据处理当中，稳稳地占据一席之地。当然，在大数据当中，可用的计算处理框架不止于此。今天加米谷学院就来为大家介绍一些大数据常用处理框架。
发展到今天，大数据处理主要分为两类大的需求，一是批处理，一是流处理。在企业的实际业务场景当中，可能会只需要批处理或者流处理，也可能同时需要批处理和流处理，这就使得搭建大数据系统平台的时候，需要根据具体场景来进行技术选型。
大数据处理框架，通常可以分为三类——
2025年04月28日
多模态RAG将是2024年AI应用架构发展的一个重要趋势，在前面的一篇文章里提到llama-index在这方面的尝试《利用GPT4-V及llama-index构建多模态RAG应用》，本文[1]中将以另一主流框架langchain为例介绍多模态RAG的实现。
2025年04月28日
论文为2019年发布在Robotics上的
"A Survey of Autonomous Driving: Common Practices and Emerging Technologies"
作者首先比较了目前的无人驾驶综述论文，存在的问题是目前无人驾驶综述论文的侧重点都不一样，所以作者准备做一个详尽的调查，下图是不同论文的侧重点：
2025年04月28日
目前前端主流的开发框架有Vue、React以及Angular等，但是依然有一部分开发人员并不会去使用这些框架，特别是一些偏向后端的开发者，可能依然在使用类似于jquery+Bootstrap的方式在开发一些项目，而且有些项目可能传统的方式更加合适，因此JavaScript前端模板引擎就能够发会很大作用了，那么今天就介绍10大开源模板引擎，依据不同的场景或者功能特性，可以选择不同的模板引擎应用到项目中去：
2025年04月28日
网卡是一块被设计用来允许计算机在计算机网络上进行通讯的计算机硬件。由于其拥有MAC地址，因此属于OSI模型的第2层。它使得用户可以通过电缆或无线相互连接。