西皮的博客

网站标签

typecho、 php、 blog、

网站描述

好奇心造就科学家和诗人

上一篇：科裕云管家

下一篇：无锡东进化工设备制造有限公司

网站快照

西 皮 的 博 客 西 皮 的 博 客 好 奇 心 造 就 科 学 家 和 诗 人 搜 索 关 键 字 搜 索 首 页 关 于 打 赏 导 航 P r o m p t 工 程 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 6 2 0 分 类 : 信 息 技 术 评 论 C h a t G P T 已 经 广 泛 用 于 各 行 各 业 提 高 工 作 效 率 。 然 而 ， 不 同 的 引 导 词 （ p r o m p t ） 提 示 下 ， 同 一 模 型 的 输 出 结 果 可 能 大 相 径 庭 ， 好 的 p r o m p t 能 释 放 模 型 的 潜 力 ， 得 到 更 有 用 的 输 出 。 本 文 提 供 了 一 些 方 法 论 和 常 用 p r o m p t 示 例 。 本 文 持 续 更 新 ， 欢 迎 在 评 论 区 踊 跃 交 流 经 验 ~ 阅 读 剩 余 部 分 L L M 评 测 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 6 1 8 分 类 : A I 科 学 评 论 1 . O p e n L L M L e a d e r b o a r d （ 英 文 ） O p e n L L M L e a d e r b o a r d 中 包 含 有 下 列 B e n c h m a r k ： 所 有 能 力 通 用 & 数 学 & c o d e — — M T B e n c h ， 由 8 0 个 高 质 量 的 多 轮 对 话 问 题 组 成 的 基 准 ， 旨 在 测 试 多 轮 对 话 和 指 令 遵 循 能 力 ， 共 包 含 8 个 常 见 的 用 户 提 示 类 别 ： w r i t i n g 写 作 、 r o l e p l a y 角 色 扮 演 、 e x t r a c t i o n 提 取 、 r e a s o n i n g 推 理 、 m a t h 数 学 、 c o d i n g 编 程 、 知 识 I （ s t e m ） 和 知 识 I I （ h u m a n i t i e s 人 文 / 社 会 科 学 ） 。 对 于 每 个 类 别 ， 手 动 设 计 了 1 0 个 多 轮 的 问 题 ， 每 一 轮 有 2 个 问 题 。 阅 读 剩 余 部 分 O n e C h a r t — 让 V L M 知 之 为 知 之 ， 不 知 为 不 知 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 4 2 5 分 类 : A I 科 学 评 论 论 文 ： O n e C h a r t : P u r i f y t h e C h a r t S t r u c t u r a l E x t r a c t i o n v i a O n e A u x i l i a r y T o k e n 主 页 及 d e m o ： h t t p s : / / o n e c h a r t t . g i t h u b . i o / 《 论 语 》 中 说 ： “ 知 之 为 知 之 ， 不 知 为 不 知 ， 是 知 也 ” 。 从 神 经 网 络 兴 起 以 来 ， 人 们 就 没 有 停 止 过 对 这 种 黑 盒 模 型 应 用 在 生 产 环 境 的 担 心 。 在 A I 1 . 0 中 大 部 分 模 型 还 至 少 会 输 出 一 个 置 信 度 得 分 可 供 参 考 ； 然 而 对 于 A I 2 . 0 时 代 的 V L M s 来 说 ， 所 有 的 结 果 以 文 本 的 形 式 吐 出 ， 这 加 重 了 人 们 对 模 型 安 全 性 的 焦 虑 。 让 模 型 知 道 自 己 的 能 力 边 界 ， 不 要 产 生 致 命 错 误 ， 这 点 十 分 必 要 ， 也 是 目 前 的 难 点 。 阅 读 剩 余 部 分 V L M 常 见 D a t a s e t 和 B e n c h m a r k 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 3 0 7 分 类 : A I 科 学 评 论 本 文 对 V L M 领 域 多 个 任 务 的 常 见 数 据 集 和 b e n c h m a r k 做 了 简 要 介 绍 ， 以 方 便 读 友 看 论 文 时 参 考 。 ⚠ ️ 注 意 ： 本 文 信 息 仍 在 时 常 更 新 中 阅 读 剩 余 部 分 V i s i o n E n c o d e r s i n V L M 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 1 2 8 分 类 : A I 科 学 评 论 S A M 好 比 在 视 网 膜 层 面 ， 能 力 是 很 l o w l e v e l 的 ， 举 个 例 子 它 可 以 对 图 片 信 息 进 行 简 单 的 切 分 ， 但 它 不 知 道 左 边 的 一 坨 像 素 和 右 边 的 一 坨 像 素 是 一 个 品 种 的 狗 。 D I N O v 2 好 比 大 脑 中 某 块 视 觉 区 ， 好 比 刚 出 生 不 久 的 婴 儿 ， 它 是 纯 视 觉 的 ， 可 以 完 成 视 觉 层 面 的 目 标 聚 类 ， 知 道 左 边 的 一 坨 像 素 和 右 边 的 一 坨 像 素 是 一 种 东 西 ， 但 没 有 语 言 系 统 不 知 道 这 种 东 西 叫 “ 金 毛 犬 ” 。 C L I P 就 是 更 近 一 步 ， 实 现 了 视 觉 和 语 言 的 关 联 ， 好 比 5 岁 的 小 孩 ； 然 而 由 于 数 据 、 训 练 方 式 、 输 入 分 辨 率 等 原 因 ， C L I P 没 正 经 读 过 书 看 过 图 表 ， 所 以 在 做 d e n s e O C R 任 务 时 V a r y 自 己 训 了 个 e n c o d e r ， 在 做 c h a r t 任 务 时 O n e c h a r t 也 自 己 训 了 个 e n c o d e r ， 好 比 让 小 孩 上 个 学 。 🐶 V i s i o n e n c o d e r s 百 花 齐 放 ， 与 d e c o d e r s 相 匹 配 。 当 d e c o d e r 是 L L M 时 ， 需 要 L L M 能 看 懂 的 e n c o d e r 。 V i s i o n L a n g u a g e 的 V i s i o n E n c o d e r s 1 . C L I P 2 0 2 1 . 2 . 2 6 论 文 ： L e a r n i n g T r a n s f e r a b l e V i s u a l M o d e l s F r o m N a t u r a l L a n g u a g e S u p e r v i s i o n （ O p e n A I i n I C M L 2 0 2 1 ） 如 下 图 所 示 ， 将 图 片 和 文 本 描 述 通 过 网 络 都 得 到 7 6 8 维 的 E m b e d d i n g ， 其 中 文 本 编 码 器 使 用 t r a n s f o r m e r ， 图 片 编 码 器 使 用 了 R e s N e t 和 V i T 两 种 结 构 进 行 实 验 ， V i T 的 有 4 个 模 型 ： 输 入 2 2 4 p x 的 V i T B / 3 2 , V i T B / 1 6 ( 1 9 6 t o k e n s ) , V i T L / 1 4 ( 2 5 6 t o k e n s ) ； 输 入 3 3 6 p x 的 V i T L / 1 4 ( 5 7 6 t o k e n s ) 。 预 训 练 使 用 了 4 0 0 M （ 4 亿 ） 个 图 像 文 本 对 ， 每 个 b a t c h 采 样 三 万 多 个 这 样 的 配 对 ， 通 过 对 比 学 习 ， 配 对 的 E m b e d d i n g 位 置 处 为 1 ， 非 配 对 处 为 0 进 行 交 叉 熵 损 失 训 练 。 在 测 试 时 支 持 z e r o s h o t 推 理 ， 如 下 面 右 图 所 示 ： 首 先 分 别 获 得 图 像 和 文 本 的 e m b e d d i n g ， 对 提 取 的 e m b e d d i n g 进 行 归 一 化 用 来 算 相 似 度 i m a g e _ f e a t u r e s / = i m a g e _ f e a t u r e s . n o r m ( d i m = 1 , k e e p d i m = T r u e ) , t e x t _ f e a t u r e s / = t e x t _ f e a t u r e s . n o r m ( d i m = 1 , k e e p d i m = T r u e ) 。 通 过 计 算 图 片 E m b e d d i n g 和 各 个 候 选 （ a p h o t o o f [ c l s _ n a m e ] ） 的 相 似 度 ， 相 似 度 大 于 某 个 阈 值 或 者 t o p k 的 为 输 出 类 别 结 果 。 阅 读 剩 余 部 分 V a r y t o y — 年 轻 人 的 第 一 个 多 模 大 模 型 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 1 2 4 分 类 : A I 科 学 评 论 在 上 一 篇 工 作 V a r y 中 ， 我 们 第 一 次 提 出 了 C L I P 视 觉 词 表 在 密 集 感 知 能 力 上 的 不 足 ， 并 给 出 了 一 种 简 单 有 效 的 扩 充 词 表 方 案 。 V a r y 发 布 后 得 到 了 不 少 朋 友 的 关 注 （ 目 前 已 1 . 2 k + s t a r ） ， 但 也 有 不 少 人 因 为 资 源 受 限 运 行 不 了 。 考 虑 到 目 前 开 源 得 很 好 且 性 能 出 色 的 “ 小 ” V L M 比 较 少 ， 我 们 新 发 布 了 “ 年 轻 人 的 第 一 个 多 模 大 模 型 ” — — 1 . 8 B V a r y t o y ， 并 以 最 大 的 诚 意 欢 迎 各 位 高 校 和 个 人 研 究 者 们 加 入 多 模 态 大 模 型 的 研 究 中 。 当 然 也 欢 迎 大 佬 们 用 它 做 出 有 意 思 的 落 地 应 用 ， 把 V a r y t o y 玩 起 来 ！ 与 V a r y 相 比 ， V a r y t o y 除 了 小 之 外 ， 我 们 还 优 化 了 新 视 觉 词 表 。 解 决 了 原 V a r y 只 用 新 视 觉 词 表 做 O C R 的 网 络 容 量 浪 费 问 题 ， 以 及 吃 不 到 S A M 预 训 练 优 势 的 问 题 。 与 V a r y t o y 同 时 发 布 的 还 有 更 强 的 视 觉 词 表 网 络 ， 其 不 仅 能 做 文 档 级 O C R ， 还 能 做 通 用 视 觉 目 标 检 测 。 阅 读 剩 余 部 分 V a r y — 提 升 L V L M 的 d e n s e 和 细 粒 度 视 觉 感 知 能 力 作 者 : 孔 西 皮 时 间 : 2 0 2 3 1 2 1 2 分 类 : A I 科 学 评 论 论 文 ： V a r y : S c a l i n g u p t h e V i s i o n V o c a b u l a r y f o r L a r g e V i s i o n L a n g u a g e M o d e l s 项 目 主 页 ： h t t p s : / / v a r y b a s e . g i t h u b . i o / V a r y 表 现 出 了 很 大 的 潜 力 和 极 高 的 上 限 ， O C R 可 以 不 再 需 要 冗 长 的 p i p l i n e ， 直 接 端 到 端 输 出 ， 且 可 以 按 用 户 的 p r o m p t 输 出 不 同 的 格 式 如 L a t e x 、 W o r d 、 M a r k d o w n 。 通 过 L L M 极 强 的 语 言 先 验 ， 这 种 架 构 还 可 以 避 免 O C R 中 的 易 错 字 ， 比 如 “ 杠 杆 ” 和 “ 杜 杆 ” 等 ， 对 于 模 糊 文 档 ， 也 有 望 在 语 言 先 验 的 帮 助 下 实 现 更 强 的 O C R 效 果 。 V a r y 展 现 出 的 强 大 的 O C R 能 力 被 戏 称 为 “ O C R 终 结 者 ” 。 阅 读 剩 余 部 分 多 模 态 大 模 型 p a p e r l i s t 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 9 1 5 分 类 : A I 科 学 评 论 本 文 重 点 介 绍 了 一 些 V L M 早 期 的 代 表 性 工 作 。 其 中 ， C L I P 作 为 视 觉 语 言 模 型 （ V L M ） 的 基 础 和 开 山 之 作 ， 创 新 性 提 出 了 I T C 对 比 损 失 用 于 对 齐 图 片 级 视 觉 和 语 言 E m b e d d i n g ， 但 它 只 能 完 成 判 断 ， 无 法 完 成 生 成 式 任 务 。 之 后 B L I P 的 出 现 补 足 了 生 成 的 能 力 ， 后 来 F l a m i n g o 、 L L a V A 和 B L I P 2 进 一 步 充 分 利 用 了 L L M 的 生 成 能 力 ， 这 三 个 工 作 也 代 表 了 将 i m a g e e m b e d d i n g 接 入 到 L L M 的 三 种 典 型 的 “ A d a p t e r ” 方 法 分 别 是 ： X A t t n ( F l a m i n g o ) 、 Q F o r m e r ( B L I P 2 ) 和 M L P ( L L a V A ) 。 但 它 们 三 个 都 只 能 生 成 文 字 ， E m u 进 一 步 补 足 了 图 片 生 成 的 能 力 ， 并 创 新 性 提 出 了 一 种 自 回 归 图 片 t o k e n s 的 目 标 。 上 述 模 型 针 对 的 图 片 输 入 都 是 全 图 输 入 ， S h i k r a 和 c h a t S p o t 则 提 出 了 可 以 接 受 点 和 框 询 问 特 定 位 置 的 M L L M ， 这 种 能 力 被 称 为 R e f e r e n t i a l 对 话 的 能 力 。 D o n u t 和 N o g a t 则 特 别 针 对 O C R 任 务 提 出 。 ⚠ ️ 注 意 ： 本 文 信 息 几 乎 截 止 至 2 0 2 3 . 8 . 3 1 ， 部 分 内 容 已 缺 乏 时 效 性 ， 不 具 备 足 够 的 参 考 价 值 阅 读 剩 余 部 分 硬 件 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 9 1 1 分 类 : 信 息 技 术 评 论 电 机 选 型 减 速 直 流 电 机 这 种 电 机 的 几 个 重 要 参 数 如 下 ， 转 速 ， 单 位 为 转 每 分 钟 。 例 如 你 需 要 先 确 定 你 想 要 的 小 车 的 行 驶 速 度 ， 然 后 测 量 轮 胎 的 周 长 ， 最 后 换 算 出 需 要 的 转 速 ， 例 如 5 0 0 转 / m i n ； 额 定 电 压 。 用 标 称 电 压 7 . 4 v 的 锂 电 池 的 话 电 压 范 围 是 6 v ~ 8 . 4 v ， 所 以 一 般 选 6 v 的 电 机 ； 减 速 比 。 这 个 关 系 到 力 矩 大 小 ， 减 速 比 越 大 ， 力 矩 越 大 。 力 矩 太 小 的 电 机 用 作 小 车 轮 胎 的 电 机 时 会 走 不 动 。 例 如 同 样 是 5 0 0 转 / m i n 的 两 个 电 机 ， 电 机 A 为 1 5 0 0 0 转 ， 转 速 比 3 0 : 1 ， 经 测 量 它 的 空 载 电 流 为 3 0 m A ， 堵 转 电 流 为 3 5 0 m A 。 而 电 机 B 为 2 5 0 0 0 转 ， 减 速 比 5 0 : 1 ， 经 测 量 它 的 空 载 电 流 为 1 5 0 m A ， 堵 转 电 流 为 2 A 。 用 作 小 车 轮 胎 应 选 电 机 B 。 电 机 驱 动 电 路 单 片 机 引 脚 输 出 的 电 流 最 大 为 2 0 m A 左 右 ， 远 远 不 能 满 足 电 机 的 电 流 需 求 ， 因 此 需 要 电 机 驱 动 电 路 。 常 用 的 驱 动 电 路 有 H 桥 电 路 ， 它 比 较 复 杂 和 庞 大 ， 一 般 用 于 控 制 几 十 安 的 电 机 。 对 于 较 小 电 流 电 机 ， 可 以 直 接 选 择 集 成 芯 片 ， 如 R Z 7 8 9 9 ， 一 个 芯 片 可 以 驱 动 一 个 电 机 ， 需 要 注 意 的 参 数 为 工 作 电 压 、 输 出 最 大 电 流 。 绘 制 原 理 图 时 ， 参 考 芯 片 手 册 中 提 供 的 应 用 电 路 进 行 绘 制 。 单 片 机 引 脚 连 接 芯 片 的 中 间 可 以 放 一 个 3 0 0 欧 的 电 阻 ， 起 到 保 护 单 片 机 和 芯 片 的 作 用 。 芯 片 输 入 引 脚 接 1 0 k 的 下 拉 电 阻 到 G N D ， 让 芯 片 不 接 单 片 机 时 不 受 外 来 信 号 的 影 响 ， 即 默 认 输 入 L L 让 电 机 处 于 浮 空 状 态 。 电 机 正 负 极 两 端 接 一 个 1 0 4 电 容 ， 避 免 火 花 。 单 目 标 跟 踪 S O T 常 用 评 价 指 标 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 7 1 2 分 类 : A I 科 学 评 论 O n e P a s s E v a l u a t i o n ( O P E ) 用 g r o u n d t r u t h 中 目 标 的 位 置 初 始 化 第 一 帧 ， 然 后 运 行 跟 踪 算 法 得 到 平 均 精 度 和 成 功 率 。 这 种 方 法 被 称 为 o n e p a s s e v a l u a t i o n ( O P E ) 。 这 是 最 常 用 的 评 估 方 法 ， 指 标 包 括 曲 线 和 数 值 指 标 。 最 早 由 O T B 数 据 集 提 出 。 1 . s u c c e s s 、 p r e c i s i o n 曲 线 这 两 种 曲 线 可 以 说 是 几 乎 所 有 论 文 都 在 用 的 ， s u c c e s s p l o t o f O P E 这 主 要 考 察 的 是 重 叠 率 ， 横 坐 标 是 i o u 阈 值 ， 纵 坐 标 是 成 功 的 比 例 。 p r e c i s i o n p l o t o f O P E 这 主 要 是 衡 量 预 测 与 g t 的 中 心 之 间 的 距 离 ， 横 坐 标 是 像 素 ， 纵 坐 标 是 成 功 的 比 例 。 2 . 数 值 指 标 O v e r l a p S u c c e s s R a t e ( O S R ) ， 与 s u c c e s s p l o t 对 应 ， 越 大 越 好 ， O S R 代 表 预 测 框 和 g t 的 I o U 大 于 阈 值 $ \ \ b e t a $ 的 比 例 ， 大 部 分 数 据 集 $ \ \ b e t a = 0 . 5 $ 。 D i s t a n c e P r e c i s i o n R a t e ( D P R ) ， 与 p r e c i s i o n p l o t 对 应 ， 越 大 越 好 ， D P R 代 表 预 测 框 的 中 心 和 g t 框 中 心 的 距 离 小 于 阈 值 $ \ \ a l p h a $ 的 比 例 ， 大 部 分 数 据 集 $ \ \ a l p h a = 5 $ ， 少 数 是 2 0 。 A U C : a r e a u n d e r c u r v e 成 功 率 图 的 曲 线 下 面 积 ， 成 功 率 图 指 随 着 $ b e t a $ 的 变 化 ， O S R 的 变 化 曲 线 图 。 越 大 越 好 。 O P 5 0 ： $ \ \ b e t a = 0 . 5 $ 时 的 O S R 。 越 大 越 好 。 O P 7 5 ： $ \ \ b e t a = 0 . 7 5 $ 时 的 O S R 。 越 大 越 好 。 阅 读 剩 余 部 分 1 2 3 4 . . . 7 后 一 页 » 最 新 文 章 P r o m p t 工 程 L L M 评 测 O n e C h a r t — 让 V L M 知 之 为 知 之 ， 不 知 为 不 知 V L M 常 见 D a t a s e t 和 B e n c h m a r k V i s i o n E n c o d e r s i n V L M V a r y t o y — 年 轻 人 的 第 一 个 多 模 大 模 型 V a r y — 提 升 L V L M 的 d e n s e 和 细 粒 度 视 觉 感 知 能 力 多 模 态 大 模 型 p a p e r l i s t 硬 件 单 目 标 跟 踪 S O T 常 用 评 价 指 标 分 类 生 活 札 记 ( 3 ) 刷 算 法 ( 0 ) 信 息 技 术 ( 2 4 ) A I 科 学 ( 2 5 ) 课 内 笔 记 ( 1 1 ) 生 活 札 记 刷 算 法 信 息 技 术 A I 科 学 课 内 笔 记 标 签 p y t h o n 目 标 跟 踪 机 器 学 习 多 模 态 数 学 目 标 检 测 l i n u x G N N d o c k e r L L M 资 源 分 享 n u m p y P y T o r c h 生 成 模 型 w e b T e n s o r F l o w c + + g i t 实 例 分 割 理 财 竞 赛 D L 基 础 小 技 巧 单 片 机 与 嵌 入 式 3 D 建 模 控 制 理 论 最 近 回 复 石 玉 亭 : 师 姐 您 好 ， 关 于 g i t h u b 上 面 代 码 复 现 我 存 在 一 些 问 题 ， 想 要 向 您 请 . . . 孔 西 皮 : 刚 打 赏 的 朋 友 ， 你 没 留 下 你 的 微 信 号 呀 😹 如 果 看 到 这 条 留 言 ， 麻 烦 通 过 . . . 孔 西 皮 : 已 添 加 ， 仅 供 参 考 1 : 没 有 d e f a u l t . c o n f 和 n g i n x . c o n f 的 样 板 没 发 弄 呀 . . . 孔 西 皮 : 你 好 呀 ， 知 乎 私 信 我 吧 ， 中 科 院 太 大 了 ， 不 一 定 帮 得 上 忙 贾 旺 旺 : 学 姐 ， 您 好 可 以 问 您 一 些 关 于 中 科 院 的 问 题 吗 ？ t e l l w : N B 友 情 链 接 苏 剑 林 的 科 学 空 间 前 华 为 天 才 少 年 李 博 杰 L L M 宝 玉 n e w s A I G C W e e k l y n e w s N L P M a t h o r s b l o g 申 请 友 链 其 它 登 录 文 章 R S S 评 论 R S S © 2 0 1 9 2 0 2 4 西 皮 的 博 客 . 由 T y p e c h o 强 力 驱 动 . 京 I C P 备 2 0 2 4 0 8 0 2 5 3 号 转 载 本 站 内 容 必 须 遵 循 “ 署 名 非 商 业 用 途 保 持 一 致 ” 的 创 作 共 用 协 议

网站说明：

www.kppkkp.top由网友主动性提交被名站导航整理收录的，名站导航仅提供网站的基础信息并免费向大众网友展示，www.kppkkp.top的IP地址：81.70.162.5 [中国北京北京 腾讯云]，百度PC权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.kppkkp.top的备案号是京ICP备2024080253号、备案主体是孔令宇、被百度收录的关键词有0个、手机端关键词有0个、该站点迄今为止已经创建3年7个月4天。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.hornyrob.com/bokedh/d8fcda3c5420e6e60036.html，复制请保留版权链接！

---