网站快照
过 往 记 忆 首 页 S p a r k P r e s t o F l i n k H a d o o p H B a s e F l u m e K a f k a S c a l a 资 料 分 享 常 用 工 具 i t e b l o g _ h a d o o p 公 众 号 所 有 资 料 列 表 J s o n 格 式 化 工 具 在 线 正 则 表 达 式 测 试 H T T P C o n t e n t T y p e 常 用 一 览 表 程 序 员 图 书 推 荐 R G B 颜 色 参 考 R a f t 协 议 可 视 化 介 绍 微 信 公 众 号 M a r k d o w n 编 辑 器 E m o j i 代 码 大 全 关 于 支 付 宝 赞 助 广 告 合 作 友 链 申 请 为 什 么 不 能 复 制 网 站 地 图 微 信 小 程 序 为 什 么 本 博 客 无 法 评 论 和 登 录 C e n t o s 7 . 5 Y U M 安 装 M y s q l 过 往 记 忆 专 注 于 大 数 据 技 术 构 架 及 应 用 , 微 信 公 众 号 : 过 往 记 忆 大 数 据 登 录 欢 迎 关 注 大 数 据 技 术 架 构 与 案 例 微 信 公 众 号 : 过 往 记 忆 大 数 据 。
欢 迎 关 注 微 信 公 众 号 : 过 往 记 忆 大 数 据 最 热 排 行 榜 浏 览 ( 1 3 9 1 5 2 ) 4 7 4 喜 欢 1 H i v e 数 据 类 型 转 换 浏 览 ( 1 1 5 6 2 0 ) 8 7 喜 欢 2 H i v e 常 用 字 符 串 函 数 浏 览 ( 1 0 1 9 5 8 ) 6 6 喜 欢 3 H i v e i n s e r t i n t o 语 句 用 法 浏 览 ( 9 2 8 1 2 ) 1 7 9 喜 欢 4 H i v e 常 用 函 数 大 全 一 览 浏 览 ( 9 2 4 0 4 ) 1 2 8 喜 欢 5 H i v e 几 种 数 据 导 入 方 式 浏 览 ( 9 0 8 6 0 ) 7 5 喜 欢 6 A p a c h e S p a r k S Q L 自 适 应 执 行 实 践 浏 览 ( 8 7 8 1 5 ) 2 9 4 喜 欢 7 精 心 收 集 的 H a d o o p 学 习 资 料 ( 持 续 更 新 ) 浏 览 ( 8 4 6 3 5 ) 6 9 喜 欢 8 使 用 H t t p C l i e n t 通 过 p o s t 方 式 发 送 j s o n 数 据 浏 览 ( 8 3 6 4 0 ) 7 3 喜 欢 9 H i v e : O R C F i l e F o r m a t 存 储 格 式 详 解 浏 览 ( 8 3 6 0 7 ) 8 8 喜 欢 1 0 S p a r k : s o r t B y 和 s o r t B y K e y 函 数 详 解 L i n u x 生 成 火 焰 图 : L i n u x 和 M a c 平 台 的 详 细 指 南 火 焰 图 ( F l a m e G r a p h s ) 是 一 种 可 视 化 技 术 , 用 于 展 示 软 件 程 序 的 运 行 时 性 能 。
它 们 可 以 帮 助 开 发 者 快 速 识 别 程 序 中 的 热 点 ( 即 执 行 时 间 最 长 的 部 分 ) 。
本 文 将 指 导 您 如 何 在 L i n u x 和 M a c 平 台 上 生 成 火 焰 图 。
火 焰 图 简 介 火 焰 图 是 由 B r e n d a n G r e g g 创 建 的 性 能 分 析 工 具 , 它 以 一 种 直 观 的 方 式 展 示 了 程 序 的 调 用 栈 信 息 。
火 焰 图 的 每 一 层 代 表 函 w 3 9 7 0 9 0 7 7 0 2 个 月 前 ( 0 4 1 0 ) 1 8 0 ℃ 0 评 论 0 喜 欢 P r e s t o P r e s t o 超 大 内 存 泄 漏 问 题 排 查 最 近 有 一 个 线 上 P r e s t o 集 群 的 C o o r d i n a t o r 节 点 内 存 一 直 处 于 9 0 % 以 上 , 如 下 图 所 示 : 如 果 想 及 时 了 解 S p a r k 、 H a d o o p 或 者 H B a s e 相 关 的 文 章 , 欢 迎 关 注 微 信 公 众 号 : 过 往 记 忆 大 数 据 日 志 里 面 可 以 看 到 几 乎 每 分 钟 都 在 F u l l G C , 但 是 内 存 仍 然 占 用 很 高 , 所 以 第 一 个 想 法 就 是 存 在 内 存 泄 漏 。
但 是 线 上 的 集 群 内 存 是 1 8 0 G B , 所 以 分 析 这 些 内 存 就 不 能 用 w 3 9 7 0 9 0 7 7 0 5 个 月 前 ( 0 1 3 1 ) 1 8 9 ℃ 0 评 论 0 喜 欢 P r e s t i s s i m o 使 用 P r e s t o + V e l o x 读 取 H D F S 上 的 数 据 当 前 v e l o x 支 持 了 H D F S 、 S 3 以 及 本 地 文 件 系 统 , 其 中 H D F S 和 S 3 模 块 是 需 要 在 编 译 的 时 候 显 示 指 定 的 , 比 如 我 们 要 测 试 H D F S 功 能 , 编 译 p r e s t i s s i m o 的 时 候 需 要 显 示 指 定 P R E S T O _ E N A B L E _ H D F S = O N , 如 下 : [ c o d e l a n g = b a s h ] P R E S T O _ E N A B L E _ H D F S = O N m a k e r e l e a s e [ / c o d e ] V e l o x 解 析 H D F S N N e n d p o i n t 逻 辑 核 心 代 码 如 下 : [ c o d e l a n g = C P P ] H d f s S e r v i c e E n d p o i n t H d f s F i l e S y s t e m : : g e t S e r v i c w 3 9 7 0 9 0 7 7 0 1 2 个 月 前 ( 0 6 2 9 ) 4 7 1 ℃ 0 评 论 2 喜 欢 P r e s t i s s i m o 如 何 构 建 P r e s t o 、 P r e s t i s s i m o \ \ V e l o x 镜 像 为 了 方 便 集 群 的 部 署 , 一 般 我 们 都 会 构 建 出 一 个 d o k c e r 镜 像 , 然 后 部 署 到 k 8 s 里 面 。
P r e s t o 、 P r e s t i s s i m o 以 及 V e l o x 也 不 例 外 , 本 文 将 介 绍 如 果 构 建 p r e s t o 以 及 P r e s t i s s i m o 的 镜 像 。
构 建 P r e s t o 镜 像 P r e s t o 官 方 代 码 里 面 其 实 已 经 包 含 了 构 建 P r e s t o 镜 像 的 相 关 文 件 , 具 体 参 见 $ P R E S T O _ H O M E / d o c k e r 目 录 : [ c o d e l a n g = b a s h ] ➜ t a r g e t g i t : ( v e l o x _ d o c k e r ) ✗ l l ~ / w 3 9 7 0 9 0 7 7 0 1 年 前 ( 2 0 2 3 0 6 2 1 ) 3 0 9 ℃ 0 评 论 7 喜 欢 A l l u x i o A l l u x i o L o c a l C a c h e 加 速 P r e s t o 查 询 在 U b e r 的 应 用 背 景 如 果 想 及 时 了 解 S p a r k 、 H a d o o p 或 者 H B a s e 相 关 的 文 章 , 欢 迎 关 注 微 信 公 众 号 : 过 往 记 忆 大 数 据 在 U b e r , 数 据 影 响 着 每 一 个 决 定 。
P r e s t o 是 推 动 U b e r 各 种 数 据 分 析 的 核 心 引 擎 之 一 。
例 如 , 运 营 团 队 在 仪 表 盘 等 服 务 中 大 量 使 用 P r e s t o ; U b e r E a t s 和 营 销 团 队 依 靠 这 些 查 询 的 结 果 来 决 定 价 格 。
此 外 , P r e s t o 还 被 用 于 U b e r 的 合 规 部 门 、 增 长 营 销 部 w 3 9 7 0 9 0 7 7 0 2 年 前 ( 2 0 2 2 1 1 1 4 ) 7 2 6 ℃ 0 评 论 1 喜 欢 P r e s t o 图 文 介 绍 P r e s t o + V e l o x 整 合 过 去 十 年 , 存 储 的 速 度 从 5 0 M B / s ( H D D ) 提 升 到 1 6 G B / s ( N v M e ) ; 网 络 的 速 度 从 1 G b p s 提 升 到 1 0 0 G b p s ; 但 是 C P U 的 主 频 从 2 0 1 0 年 的 3 G H z 到 现 在 基 本 不 变 , C P U 主 频 是 目 前 数 据 分 析 的 重 要 瓶 颈 。
为 了 解 决 这 个 问 题 , 越 来 越 多 的 向 量 化 执 行 引 擎 被 开 发 出 来 。
比 如 数 砖 的 P h o t o n 、 C l i c k H o u s e 、 A p a c h e D o r i s 、 I n t e l 的 G a z e l l e 以 及 F a c e b o o k 的 V e l o x ( 参 见 《 V e l o x 介 绍 w 3 9 7 0 9 0 7 7 0 2 年 前 ( 2 0 2 2 0 9 2 9 ) 1 7 2 1 ℃ 0 评 论 2 喜 欢 P r e s t o V e l o x 介 绍 : 一 个 开 源 的 统 一 执 行 引 擎 如 果 想 及 时 了 解 S p a r k 、 H a d o o p 或 者 H B a s e 相 关 的 文 章 , 欢 迎 关 注 微 信 公 众 号 : 过 往 记 忆 大 数 据 V e l o x 利 用 了 大 量 的 运 行 时 优 化 , 例 如 过 滤 器 和 连 接 的 重 新 排 序 ( c o n j u n c t r e o r d e r i n g ) 、 数 组 和 基 于 哈 希 的 聚 合 和 连 接 的 k e y 标 准 化 、 动 态 过 滤 器 下 推 ( d y n a m i c f i l t e r p u s h d o w n ) 和 自 适 应 列 预 取 ( a d a p t i v e c o l u m n p r e f e t c h i n g ) 。
考 虑 到 从 传 入 的 数 据 批 次 中 提 取 的 w 3 9 7 0 9 0 7 7 0 2 年 前 ( 2 0 2 2 0 9 0 5 ) 1 9 3 7 ℃ 0 评 论 2 喜 欢 H a d o o p 大 规 模 H a d o o p 升 级 在 P i n t e r e s t 的 实 践 M o n a r c h 是 P i n t e r e s t 的 批 处 理 平 台 , 由 3 0 多 个 H a d o o p Y A R N 集 群 组 成 , 其 中 1 7 k + 节 点 完 全 建 立 在 A W S E C 2 之 上 。
2 0 2 1 年 初 , M o n a r c h 还 在 使 用 五 年 前 的 H a d o o p 2 . 7 . 1 。
由 于 同 步 社 区 分 支 ( 特 性 和 b u g 修 复 ) 的 复 杂 性 不 断 增 加 , 我 们 决 定 是 时 候 进 行 版 本 升 级 了 。
我 们 最 终 选 择 了 H a d o o p 2 . 1 0 . 0 , 这 是 当 时 H a d o o p 2 的 最 新 版 本 。
本 文 分 享 P i n t e r e s t 将 M o n a r c h 升 级 到 H a w 3 9 7 0 9 0 7 7 0 2 年 前 ( 2 0 2 2 0 8 1 2 ) 5 5 1 ℃ 0 评 论 0 喜 欢 P r e s t o P r e s t o 里 面 如 何 把 a r r a y 或 M a p 里 面 的 元 素 由 行 转 成 列 在 S p a r k 或 H i v e 中 , 我 们 可 以 使 用 L A T E R A L V I E W + E X P L O D E 或 P O S E X P L O D E 将 a r r a y 或 者 m a p 里 面 的 数 据 由 行 转 成 列 , 这 个 操 作 在 数 据 分 析 里 面 很 常 见 。
比 如 我 们 有 以 下 表 : [ c o d e l a n g = s q l ] C R E A T E T A B L E ` d e f a u l t ` . ` i t e b l o g _ e x p l o d e ` ( ` i d ` I N T , ` i t e m s ` A R R A Y ) [ / c o d e ] 表 里 面 的 数 据 如 下 : [ c o d e l a n g = s q l ] s p a r k s q l > S E L E C T * F R O M i t e b l o g _ e x p l o d e ; 1 [ i t e b l o g . c o w 3 9 7 0 9 0 7 7 0 2 年 前 ( 2 0 2 2 0 8 0 8 ) 1 7 0 3 ℃ 0 评 论 6 喜 欢 D a t a + A I S u m m i t D a t a + A I S u m m i t 2 0 2 2 P P T 下 载 D a t a + A I S u m m i t 2 0 2 2 于 2 0 2 2 年 0 6 月 2 7 日 至 3 0 日 举 行 。
本 次 会 议 是 在 旧 金 山 进 行 , 中 国 的 小 伙 伴 是 可 以 在 线 收 听 的 , 一 共 为 期 四 天 , 第 一 天 是 培 训 , 后 面 几 天 才 是 正 式 会 议 。
本 次 会 议 有 超 过 2 0 0 个 议 题 , 演 讲 嘉 宾 包 括 业 界 、 研 究 和 学 术 界 的 专 家 , 本 次 会 议 主 要 分 为 六 大 块 : 数 据 分 析 , B I 以 及 可 视 化 : 了 解 最 新 的 数 据 分 析 、 B I 和 可 视 化 技 术 以 及 w 3 9 7 0 9 0 7 7 0 2 年 前 ( 2 0 2 2 0 7 2 0 ) 1 2 0 9 ℃ 0 评 论 1 喜 欢 1 2 3 4 5 6 . . . 1 3 9 下 一 页 共 1 3 9 页 订 阅 号 i t e b l o g _ h a d o o p 微 信 交 流 近 期 文 章 生 成 火 焰 图 : L i n u x 和 M a c 平 台 的 详 细 指 南 P r e s t o 超 大 内 存 泄 漏 问 题 排 查 使 用 P r e s t o + V e l o x 读 取 H D F S 上 的 数 据 如 何 构 建 P r e s t o 、 P r e s t i s s i m o \ \ V e l o x 镜 像 A l l u x i o L o c a l C a c h e 加 速 P r e s t o 查 询 在 U b e r 的 应 用 图 文 介 绍 P r e s t o + V e l o x 整 合 V e l o x 介 绍 : 一 个 开 源 的 统 一 执 行 引 擎 大 规 模 H a d o o p 升 级 在 P i n t e r e s t 的 实 践 P r e s t o 里 面 如 何 把 a r r a y 或 M a p 里 面 的 元 素 由 行 转 成 列 D a t a + A I S u m m i t 2 0 2 2 P P T 下 载 D a t a + A I S u m m i t 2 0 2 2 超 清 视 频 下 载 T a r d i g r a d e : T r i n o 解 决 E T L 场 景 的 方 案 历 时 一 年 A p a c h e S p a r k 3 . 3 . 0 正 式 发 布 , 新 特 性 详 解 官 宣 ! A p a c h e D o r i s 从 A p a c h e 孵 化 器 毕 业 , 正 式 成 为 A p a c h e 顶 级 项 目 ! 失 去 才 懂 珍 惜 , A p a c h e A m b a r i 项 目 即 将 重 启 , 再 次 进 入 A p a c h e 孵 化 器 最 新 评 论 ₘ ₒ ₒ ₙ 2 年 前 ( 2 0 2 2 1 0 1 9 ) 说 : 打 卡 后 来 。
2 年 前 ( 2 0 2 2 0 7 1 9 ) 说 : 占 一 下 楼 玩 玩 顾 宇 风 2 年 前 ( 2 0 2 2 0 5 1 2 ) 说 : c d c 拥 抱 未 来 w 3 9 7 0 9 0 7 7 0 3 年 前 ( 2 0 2 1 1 2 2 5 ) 说 : 是 这 样 的 , 热 数 据 用 E C 的 话 读 速 度 就 不 行 了 。
t h o m a s g x 3 年 前 ( 2 0 2 1 1 2 2 3 ) 说 : 请 教 博 主 , 3 . x 的 E C 看 着 貌 似 只 适 合 冷 数 据 存 储 , 热 数 据 是 不 是 还 是 要 副 本 方 式 存 储 。
更 多 标 签 S p a r k ( 4 3 3 ) H a d o o p ( 1 6 2 ) 资 料 分 享 ( 1 3 1 ) K a f k a ( 8 9 ) 海 量 数 据 处 理 ( 8 8 ) H i v e ( 7 9 ) F l i n k ( 7 1 ) J a v a ( 6 1 ) 电 子 书 ( 6 1 ) P r e s t o ( 5 8 ) H i v e 的 那 些 事 ( 5 3 ) H B a s e ( 5 0 ) 网 站 建 设 ( 4 2 ) 公 众 号 转 载 文 章 ( 3 9 ) E l a s t i c S e a r c h ( 3 8 ) S p a r k 3 . 0 ( 3 7 ) S p a r k m e e t u p ( 3 6 ) S c a l a ( 3 1 ) S p a r k 2 . 0 ( 3 1 ) L i n u x ( 2 9 ) 文 章 归 档 2 0 2 4 年 四 月 ( 1 ) 2 0 2 4 年 一 月 ( 1 ) 2 0 2 3 年 六 月 ( 2 ) 2 0 2 2 年 十 一 月 ( 1 ) 2 0 2 2 年 九 月 ( 2 ) 2 0 2 2 年 八 月 ( 2 ) 2 0 2 2 年 七 月 ( 2 ) 2 0 2 2 年 六 月 ( 4 ) 2 0 2 2 年 五 月 ( 1 ) 2 0 2 2 年 四 月 ( 9 ) 2 0 2 2 年 三 月 ( 1 8 ) 2 0 2 2 年 二 月 ( 6 ) 2 0 2 2 年 一 月 ( 5 ) 2 0 2 1 年 十 二 月 ( 1 3 ) 2 0 2 1 年 十 一 月 ( 1 2 ) 2 0 2 1 年 十 月 ( 1 8 ) 2 0 2 1 年 九 月 ( 2 2 ) 2 0 2 1 年 八 月 ( 1 0 ) 2 0 2 1 年 七 月 ( 6 ) 2 0 2 1 年 六 月 ( 8 ) 2 0 2 1 年 五 月 ( 5 ) 2 0 2 1 年 四 月 ( 8 ) 2 0 2 1 年 三 月 ( 3 ) 2 0 2 1 年 二 月 ( 6 ) 2 0 2 1 年 一 月 ( 1 1 ) 2 0 2 0 年 十 二 月 ( 1 1 ) 2 0 2 0 年 十 一 月 ( 1 0 ) 2 0 2 0 年 十 月 ( 1 1 ) 2 0 2 0 年 九 月 ( 1 2 ) 2 0 2 0 年 八 月 ( 9 ) 2 0 2 0 年 七 月 ( 7 ) 2 0 2 0 年 六 月 ( 1 1 ) 2 0 2 0 年 五 月 ( 1 3 ) 2 0 2 0 年 四 月 ( 6 ) 2 0 2 0 年 三 月 ( 6 ) 2 0 2 0 年 二 月 ( 1 1 ) 2 0 2 0 年 一 月 ( 8 ) 2 0 1 9 年 十 二 月 ( 8 ) 2 0 1 9 年 十 一 月 ( 8 ) 2 0 1 9 年 十 月 ( 6 ) 2 0 1 9 年 九 月 ( 1 3 ) 2 0 1 9 年 八 月 ( 6 ) 2 0 1 9 年 七 月 ( 4 ) 2 0 1 9 年 六 月 ( 8 ) 2 0 1 9 年 五 月 ( 6 ) 2 0 1 9 年 四 月 ( 1 3 ) 2 0 1 9 年 三 月 ( 5 ) 2 0 1 9 年 二 月 ( 9 ) 2 0 1 9 年 一 月 ( 1 2 ) 2 0 1 8 年 十 二 月 ( 8 ) 2 0 1 8 年 十 一 月 ( 1 1 ) 2 0 1 8 年 十 月 ( 6 ) 2 0 1 8 年 九 月 ( 5 ) 2 0 1 8 年 八 月 ( 1 2 ) 2 0 1 8 年 七 月 ( 1 2 ) 2 0 1 8 年 六 月 ( 8 ) 2 0 1 8 年 五 月 ( 1 1 ) 2 0 1 8 年 四 月 ( 3 ) 2 0 1 8 年 三 月 ( 4 ) 2 0 1 8 年 二 月 ( 3 ) 2 0 1 8 年 一 月 ( 1 5 ) 2 0 1 7 年 十 二 月 ( 9 ) 2 0 1 7 年 十 一 月 ( 6 ) 2 0 1 7 年 十 月 ( 5 ) 2 0 1 7 年 九 月 ( 8 ) 2 0 1 7 年 八 月 ( 1 7 ) 2 0 1 7 年 七 月 ( 1 5 ) 2 0 1 7 年 六 月 ( 1 3 ) 2 0 1 7 年 五 月 ( 9 ) 2 0 1 7 年 四 月 ( 9 ) 2 0 1 7 年 三 月 ( 1 9 ) 2 0 1 7 年 二 月 ( 3 6 ) 2 0 1 7 年 一 月 ( 1 3 ) 2 0 1 6 年 十 二 月 ( 1 6 ) 2 0 1 6 年 十 一 月 ( 1 4 ) 2 0 1 6 年 十 月 ( 1 7 ) 2 0 1 6 年 九 月 ( 1 3 ) 2 0 1 6 年 八 月 ( 3 8 ) 2 0 1 6 年 七 月 ( 2 0 ) 2 0 1 6 年 六 月 ( 1 2 ) 2 0 1 6 年 五 月 ( 2 1 ) 2 0 1 6 年 四 月 ( 2 6 ) 2 0 1 6 年 三 月 ( 2 5 ) 2 0 1 6 年 二 月 ( 1 1 ) 2 0 1 6 年 一 月 ( 1 1 ) 2 0 1 5 年 十 二 月 ( 2 0 ) 2 0 1 5 年 十 一 月 ( 1 4 ) 2 0 1 5 年 十 月 ( 5 ) 2 0 1 5 年 九 月 ( 8 ) 2 0 1 5 年 八 月 ( 4 0 ) 2 0 1 5 年 七 月 ( 1 3 ) 2 0 1 5 年 六 月 ( 1 6 ) 2 0 1 5 年 五 月 ( 3 4 ) 2 0 1 5 年 四 月 ( 2 7 ) 2 0 1 5 年 三 月 ( 2 3 ) 2 0 1 5 年 二 月 ( 1 0 ) 2 0 1 5 年 一 月 ( 1 2 ) 2 0 1 4 年 十 二 月 ( 1 7 ) 2 0 1 4 年 十 一 月 ( 1 5 ) 2 0 1 4 年 十 月 ( 1 9 ) 2 0 1 4 年 九 月 ( 2 0 ) 2 0 1 4 年 八 月 ( 9 ) 2 0 1 4 年 七 月 ( 9 ) 2 0 1 4 年 六 月 ( 1 0 ) 2 0 1 4 年 五 月 ( 5 ) 2 0 1 4 年 四 月 ( 1 3 ) 2 0 1 4 年 三 月 ( 1 5 ) 2 0 1 4 年 二 月 ( 1 1 ) 2 0 1 4 年 一 月 ( 1 7 ) 2 0 1 3 年 十 二 月 ( 1 0 ) 2 0 1 3 年 十 一 月 ( 1 1 ) 2 0 1 3 年 十 月 ( 1 2 ) 2 0 1 3 年 九 月 ( 1 7 ) 2 0 1 3 年 八 月 ( 3 ) 2 0 1 3 年 七 月 ( 1 3 ) 2 0 1 3 年 六 月 ( 1 ) 2 0 1 3 年 五 月 ( 7 ) 2 0 1 3 年 四 月 ( 4 8 ) 2 0 1 3 年 三 月 ( 1 1 ) 版 权 所 有 , 保 留 一 切 权 利 · 基 于 W o r d P r e s s 构 建 © 2 0 1 3 2 0 1 9 · 广 告 合 作 . 网 站 地 图 · 所 有 文 章 本 主 题 基 于 欲 思 博 客 主 题 修 改 京 I C P 备 1 4 0 5 7 0 1 8 号