大数据基础问答
admin
2023-01-31 11:27:38
0次
什么是大数据？
用于①数据的存储：分布式文件系统（分布式存储）②数据的计算：分布式计算。简单一点就是存储和计算的问题，解决日常海量数据的分析。
学习大数据需要什么基础呢？
Java基础（Javase）:类、类、继承、I/O、反射、泛型等；
Linux基础（Linux的操作）:创建文件、目录、vi编辑器的使用；
Java和大数据都有哪些关系呢？
基于Java语言开发→→→ Hadoop体系结构、原理、编程
第一阶段：HDFS、MapReduce、HBase（NoSQL数据库）
第二阶段：数据分析引擎 ---> Hive、Pig
数据采集引擎 ---> Sqoop、Flume
第三阶段：HUE：Web管理工具
ZooKeeper：实现Hadoop的HA
Oozie： 工作流引擎*
基于Java语言开发→→→Scala语言→→→Spark
Spark的学习
第一个阶段：Scala编程语言
第二个阶段：Spark Core-----> 基于内存，数据的计算
第三个阶段：Spark SQL -----> 类似Oracle中的SQL语句
第四个阶段：Spark Streaming ---> 进行实时计算（流式计算）：比如：自来水厂
Apache Storm：类似Spark Streaming ---> 进行实时计算（流式计算）：比如：自来水厂
NoSQL：Redis基于内存的数据库
相关内容
热门资讯
德国总理：美国正在被伊朗羞辱
德国之声4月27日报道，德国总理默茨在访问一所学校时表示，在当前的持续冲突中，伊朗领导层正试图羞辱美...
理响中国｜“长”歌以行，风云激...
光阴如梭，东方潮阔。这里是中国的长三角，世界的长三角。无论过去、现在还是未来，这片土地都因时代而生，...
白宫：特朗普及其国安团队开会讨...
新华社华盛顿4月27日电 美国白宫新闻秘书莱维特27日在记者会上证实，总统特朗普及其国家安全团队当天...
人民日报刊文：日本放开杀伤性武...
日本放开杀伤性武器出口推高地缘冲突风险（国际论坛）常思纯《人民日报》（2026年04月28日 第 0...
医疗保障法草案二审：明确生育保...
满足多样化健康保障需求本报记者 彭 波4月27日，医疗保障法草案二审稿提请十四届全国人大常委会第二十...
天津一景区发生自转旋翼机事故1...
澎湃新闻记者 吕新文中国民用航空华北地区管理局4月22日公布《豪客通航“10•1”天津长芦汉盐旅游区...
卡塔尔埃米尔与美国总统特朗普通...
当地时间24日，卡塔尔埃米尔塔米姆与美国总统特朗普通电话，重点就中东地区局势以及伊朗与美国谈判问题交...
男子30年前被扣押2859克黄...
澎湃新闻记者 王鑫家住辽宁省大连市的潘永嘉近日向澎湃新闻反映称，三十年前，他在大连周水子机场被盖州市...
商务部：取消反制欧盟两家金融机...
中华人民共和国商务部令二〇二六年 第1号鉴于欧盟已取消对中国两家金融机构的制裁措施，现公布《关于取消...
过去24小时共有5艘船只通过霍...
总台记者当地时间24日获悉，过去24小时内，共有5艘船只通过霍尔木兹海峡，其中包括一艘伊朗油轮。（总...