自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (12)
  • 论坛 (3)
  • 收藏
  • 关注

原创 Hive的相关介绍

前言:为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大使用Hive的优点: 操作接口采用类SQL语法,提供快速开发的能力。 避免了去写MapReduce,减少开发人员的学习成本。 扩展功能很方便。1、Hive简介1.1、什么是Hive Hive是基于Hadoop的一个数据仓库工...

2017-12-29 17:32:02 475

原创 Secondary Namenode的Check point机制以及Namenode、Datanode工作机制说明

前言:在说明checkpoint机制之前,先要了解下namenode、datanode的一些功能和职责。1、NameNode的工作机制问题场景: 1、集群启动后,可以查看文件,但是上传文件时报错,打开web页面可看到namenode正处于safemode状态,怎么处理?(safemode是由于当前的namenode和大部分的datanode未建立完全的链接<即namenod...

2017-12-28 23:00:07 677

原创 MapReduce原理全剖析

MapReduce剖析图如上图所示是MR的运行详细过程首先mapTask读文件是通过InputFormat(内部是调RecordReader()–>read())来一次读一行,返回K,V值。(默认是TextInputFormat,还可以输入其他的类型如:音视频,图片等。)。mapper(map(k,v))–>context.write()即mapTask阶段。输出数据到Output...

2017-12-28 17:00:37 4778 2

转载 大数据开发初学者学习路线

最近看到一篇很不错的文章,献给正在学习大数据的你我他。如果能答出文章中大部分问题,那么恭喜你已经从“小白”进化到“小菜鸟”的阶段。 转自:http://www.ppvke.com/Blog/archives/50967前言其实这就是想告诉你的大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易,哪个前景好,哪个钱多。导读:...

2017-12-27 14:24:33 7790 10

原创 HDFS读写数据的原理

最近由于要准备面试,就把之前学过的东西好好整理下,权当是复习。 下面说下HDFS读写数据的原理。1 概述HDFS集群分为两大角色:NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本,并存放在不同的

2017-12-26 22:04:08 3691

原创 SparkRDD常用算子实践(附运行效果图)

SparkRDD算子分为两类:Transformation与Action. Transformation:即延迟加载数据,Transformation会记录元数据信息,当计算任务触发Action时,才会真正开始计算。 Action:即立即加载数据,开始计算。 创建RDD的方式有两种: 1、通过sc.textFile(“/root/words.txt”)从文件系统中创建 RDD。 2、#通...

2017-12-14 20:27:15 6873

原创 安装MySql卡在Start Service的问题

我的情况:之前在windows下安装过5.6版本,卸载后,现在安装5.7版本,然后卡在Start Service这里,log日志没报任何错误,后来经过不断的尝试各种网上的办法终于把问题解决了。 问题的原因就是当初卸载5.6版本时,虽然表面上把软件卸载了,但是一些注册表和遗留的设置文件是无法自动卸载的,必须手动清除。具体的解决方法如下: 1、先到C盘下将安装目录下(我的C:\Program Fil

2017-12-04 14:44:46 5273

微信图标大全包含APP中各种图标

APP中的各种图标,便于前端小伙伴直接获取图标。

2016-09-11

钱能C++程序设计教程第二版课后答案

找了很久才找到的课后答案,属于稀缺资源

2017-02-21

mysql-connector-java-5.1.32.jar

hive安装。本地独立模式:在本地安装Mysql,元数据放到mySql内。支持hive数据方放入mysql的jar包

2017-10-18

Linux命令大全.chm版下载

Linux离线手册,内部包含汉化的Linux命令格式及详细解释 Linux命令大全(修改版) 文件传输 备份压缩 文件管理 磁盘管理 磁盘维护 系统设置 系统管理 文档编辑 网络通讯 bye 功能说明:中断FTP连线并结束程序。 语  法:bye 补充说明:在ftp模式下,输入bye即可中断目前的连线作业,并结束ftp的执行。 ftpcount 功能说明:显示目前以FTP登入的用户人数。 语  法:ftpcount 补充说明:执行这项指令可得 知目前用FTP登入系统的人数以及FTP登入人数的上限。

2017-10-21

startuml中文版

startuml中文版敖德萨多adad阿斯蒂芬烦死哒更改阿道夫个电饭锅电饭锅十多个十多个但是合适的防守打法安抚发的萨芬

2017-09-27

中国计算机学会推荐各种国际学术会议和期刊目录

中国计算机学会推荐各种国际学术会议和期刊目录包含主要罗列了国际上计算机相关的各个方向的顶级学术会议和期刊目录(包含A、B、C三个等级)。 包含的方向有: 计算机体系结构/并行与分布计算/存储系统 计算机网络 网络与信息安全 软件工程/系统软件/程序设计语言 数据库/数据挖掘/内容检索 计算机科学理论 计算机图形学与多媒体 人工智能 人机交互与普适计算 交叉/综合/新兴

2018-06-01

hive-0.9.0

hive的低版本,适用于hadoop2.x版本,防止安装过程发生各种错误

2017-10-18

staruml-5.0

uml建模工具,常用于构建各种UML模型。简单快捷,欢迎使用

2017-10-19

二维码相关功能实现的类库

一个关于二维码扫描和二维码名片生成功能实现的类库,可引入工程中 实现配合我之前的文章,实现上述功能的实现

2016-10-19

工具Tomcat

一个简单的工具用于大数据中在网页上查看HDFS等资源,这时linux系统常用的软件之一,其他的软件会接着上传。

2017-09-18

UML基础与Rose建模教程

UML建模教程和 Rose建模教程.内部包含各种类图、时序图的画法及对应的工具的使用。

2017-10-19

开源天气预报软件

开源天气预报软件

2016-08-12

春雨里de太阳的留言板

发表于 2020-01-02 最后回复 2020-01-02

CSDN访问量多天不变

发表于 2018-10-12 最后回复 2018-10-12

正在写一款APP,刚遇到的buger怎么解决?求大神帮解答

发表于 2016-08-11 最后回复 2016-08-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除