Hero Circle Shape
Hero Moon Shape
Hero Right Shape
imtoken钱包官方版下载|字节跳动数据平台

imtoken钱包官方版下载|字节跳动数据平台

  • 作者: imtoken钱包官方版下载
  • 2024-03-08 05:28:12

有人了解字节跳动data-数据平台部吗? - 知乎

有人了解字节跳动data-数据平台部吗? - 知乎首页知乎知学堂发现等你来答​切换模式登录/注册数据数据分析平台字节跳动(ByteDance)有人了解字节跳动data-数据平台部吗?最近刚拿到字节跳动的实习offer,后台开发岗,在北京总部的data-数据平台部。但是目前对这个部门还不了解,网上也查不到有用的资料,想问问各位大佬有…显示全部 ​关注者30被浏览130,340关注问题​写回答​邀请回答​好问题 7​1 条评论​分享​5 个回答默认排序内推君​腾讯科技有限公司 高级工程师​ 关注面试准备手册-数据平台 原文地址: https://bytedance.feishu.cn/docs/doccn6x6k4r5Tj9nHQ46nhqevVe# 字节跳动内推【长期有效】【100%回复】【超全详解】公司介绍 字节跳动(中国)旗下拥有今日头条、抖音、西瓜视频、飞书等产品。今日头条是一个通用信息平台,致力于连接人与信息,促使信息创造价值。抖音是一个帮助用户表达自我、记录美好生活的短视频平台。 部门介绍 1、业务介绍 字节跳动Data-数据平台,为业务(包括抖音、今日头条、教育等)提供一站式大数据解决方案 2、核心优势挑战EB级海量数据下的各种技术问题,为业务提供全生命周期的数据管理服务 打造面向海量数据的下一代Cloud Native 数据引擎,有机会接触业内最大规模的ClickHouse集群(1w+ 服务器),支撑产品线的数据分析需求 业务形态多种多样,参与实现数据中台赋能业务的体系化技术方案 我们的定位不是公司内部中台,还要把字节跳动积累沉淀的数据中台解决方案做商业化输出,让更多行业能够应用我们的产品能力构建自己的数据中台。在ToB的道路上,还有非常大的挑战等着你与我们一起去并肩解决3、团队介绍 部门1000+人 base地:北京、上海、深圳、南京、杭州、美国、新加坡 4、业务&技术对外分享 《最快开源 OLAP 引擎!ClickHouse 在头条的技术演进https://www.infoq.cn/article/NTwo*yR2ujwLMP8WCXOE 《字节跳动在Spark SQL上的核心优化实践》https://www.infoq.cn/article/xEwaUj8RN74lvbRpTBa5 《你所做的A/B实验,可能是错的》https://mp.weixin.qq.com/s/m6Uf9eSIi4kTvB_yivYaGw 《数据漫游者:一站式增长引擎》https://mp.weixin.qq.com/s/qNUBMJ3TpN-Ufy1OtFmbzg 《从0到1,企业应如何搭建指标体系》https://mp.weixin.qq.com/s/mSWgKOv_FyGPUJ2COT4Hvw 《数据漫游者亮相GMIC,探讨当下精准增长新趋势》https://mp.weixin.qq.com/s/Gpf-cQVnRAYo7ly6O-lFBQ 《字节跳动基于Flink的MQ-Hive实时数据集成》https://mp.weixin.qq.com/s/U04x9bzgWhjxQTXFgp-_GQ 面试相关 面试流程介绍 时长:3~4轮,每轮45~60分钟,包括技术面与HR面 技术面流程(参考) 双方自我介绍 项目经历 & 专业知识考察 编码考察 候选人Q&A 面试准备指南1、哪些特质对结果有重大影响 沟通积极顺畅 —— 关键词:高效、主动性 思路清晰,有条理 友善合作,有亲和力 举一反三,沟通不费力 对目标岗位的兴趣与倾向性 过往成果显著 —— 关键词:结果 取得过傲人业绩 项目经验与目标岗位高度match,能输出价值 专业知识强悍 —— 关键词:能力 编码多快好省,永远是面试必杀技 领域深度 & 技术视野,T型人才谁不爱 2、如何准备项目经历 如何做到高效有条理的描述: ①STAR原则 Situation:背景来龙去脉 Target:目标如何拆解 Action:采取哪些行动 Result:结果与反思 ②对项目的业务逻辑和技术架构有充分准备发布于 2022-03-14 12:39​赞同 9​​添加评论​分享​收藏​喜欢收起​朱柒到灯塔去​ 关注核心部门脉脉上属于口碑Tier1的那档发布于 2020-02-15 16:51​赞同 3​​4 条评论​分享​收藏​喜欢

首次揭秘,字节跳动数据平台为什么不选“纯中台制”_文化 & 方法_Lucien_InfoQ精选文章

首次揭秘,字节跳动数据平台为什么不选“纯中台制”_文化 & 方法_Lucien_InfoQ精选文章

字节跳动

字节跳动

关于我们我们的产品新闻动态企业社会责任加入我们使命激发创造 丰富生活1234企业文化字节范是字节跳动企业文化的重要组成部分,是我们共同认可的行为准则。 Previous共同成长相信并认可使命和愿景,基于使命愿景自驱

面对短期波动有耐心、有韧性,共同解决问题

持续学习,不设边界,与组织一起成长始终创业保持创业心态,始终开创而不守成,创新而非依赖资源

敏捷有效,最简化流程,避免简单事情复杂化

对外敏锐谦逊,避免自满或优越感多元兼容欣赏个体多样性,聚焦人的核心特质

全球视角,理解不同文化、观点和实践

善意假设,默认开放信任,有效合作坦诚清晰表达真实想法,不怕暴露问题,反对"向上管理"

准确、简洁、直接,少用抽象、模糊、空泛的词

就事论事,理性沟通,避免主观臆测和情绪化表达求真务实独立思考,刨根问底,找到本质

直接体验,深入事实,拿一手数据或信息

不自嗨,注重实际效果敢为极致敢于为了更好的结果明智地冒险,注重整体ROI

尝试多种可能性,在更大范围里找最优解

追求卓越,高标准,不仅做了,更要做好共同成长相信并认可使命和愿景,基于使命愿景自驱

面对短期波动有耐心、有韧性,共同解决问题

持续学习,不设边界,与组织一起成长始终创业保持创业心态,始终开创而不守成,创新而非依赖资源

敏捷有效,最简化流程,避免简单事情复杂化

对外敏锐谦逊,避免自满或优越感多元兼容欣赏个体多样性,聚焦人的核心特质

全球视角,理解不同文化、观点和实践

善意假设,默认开放信任,有效合作坦诚清晰表达真实想法,不怕暴露问题,反对"向上管理"

准确、简洁、直接,少用抽象、模糊、空泛的词

就事论事,理性沟通,避免主观臆测和情绪化表达求真务实独立思考,刨根问底,找到本质

直接体验,深入事实,拿一手数据或信息

不自嗨,注重实际效果敢为极致敢于为了更好的结果明智地冒险,注重整体ROI

尝试多种可能性,在更大范围里找最优解

追求卓越,高标准,不仅做了,更要做好共同成长相信并认可使命和愿景,基于使命愿景自驱

面对短期波动有耐心、有韧性,共同解决问题

持续学习,不设边界,与组织一起成长 Next行为准则字节跳动相信,在企业发展过程中,高道德标准和诚信文化发挥着关键作用。因此,我们制定了字节跳动行为准则和字节跳动合作伙伴行为准则。了解更多→大事记2012年gettext(`date.months.3`)字节跳动公司注册成立2013年gettext(`date.months.5`)今日头条获数千万美元B轮融资2016年gettext(`date.months.1`)今日头条创作空间上线并开放申请2016年gettext(`date.months.2`)今日头条开辟“头条寻人”平台2016年gettext(`date.months.8`)今日头条战略投资国内知名图片库东方IC2016年gettext(`date.months.10`)投资印度最大的内容聚合平台Dailyhunt2016年gettext(`date.months.12`)控股印尼新闻推荐阅读平台BABE2017年gettext(`date.months.4`)微头条上线2017年gettext(`date.months.5`)火山小视频宣布10亿元补贴UGC小视频2017年gettext(`date.months.5`)TikTok上线2017年gettext(`date.months.6`)头条视频全新升级为西瓜视频2017年gettext(`date.months.6`)头条问答全新升级为悟空问答2017年gettext(`date.months.7`)Vigo Video上线2017年gettext(`date.months.11`)收购全球移动新闻服务运营商 News Republic2017年gettext(`date.months.11`)今日头条推出“千人百万粉”计划2018年gettext(`date.months.1`)西瓜视频推出知识问答直播节目《百万英雄》2018年gettext(`date.months.3`)抖音品牌升级,发布全新slogan“记录美好生活”2018年gettext(`date.months.3`)今日头条上线反低俗小程序“灵犬”2018年gettext(`date.months.5`)今日头条slogan换新:信息创造价值2018年gettext(`date.months.6`)Helo上线2018年gettext(`date.months.7`)抖音推出“向日葵计划”2018年gettext(`date.months.7`)今日头条推出“金稻穗”计划2018年gettext(`date.months.7`)火山小视频宣布“百万行家计划”2018年gettext(`date.months.8`)抖音推出“政务媒体号成长计划”2018年gettext(`date.months.9`)抖音寻人上线2018年gettext(`date.months.11`)抖音启动“山里DOU是好风光”文旅扶贫项目2019年gettext(`date.months.1`)抖音推出首款视频社交产品多闪2019年gettext(`date.months.1`)字节跳动发布商业品牌巨量引擎2019年gettext(`date.months.3`)推出“DOU知计划”2019年gettext(`date.months.4`)抖音“非遗合伙人”计划上线2019年gettext(`date.months.8`)办公套件“飞书”上线2019年gettext(`date.months.8`)抖音推出“DOU艺计划”2020年gettext(`date.months.1`)火山小视频全新升级为抖音火山版2020年gettext(`date.months.1`)字节跳动向中国红十字基金会捐赠2亿元,成立“中国红十字基金会字节跳动医务人员人道主义援助基金”联系我们媒体问询interview@bytedance.com招聘相关hr@bytedance.com广告合作www.oceanengine.com廉洁举报compliance.bytedance.com关于我们企业文化行为准则大事记我们的产品联系我们新闻动态公司新闻数据报告企业社会责任社会责任动态字节跳动公益官网加入我们招聘官网中文简English中文简© 2012-2022 字节跳动京公网安备 11000002002068号京ICP备12025439

深度解析字节跳动开源数据集成引擎 BitSail - 知乎

深度解析字节跳动开源数据集成引擎 BitSail - 知乎首发于大数据应用案例切换模式写文章登录/注册深度解析字节跳动开源数据集成引擎 BitSailDataFunTalk​已认证账号分享嘉宾|李畅 字节跳动 数据平台数据集成工程师编辑整理|钟晓华 DataFun志愿者1. 导读BitSail 是字节跳动开源数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下全域数据集成解决方案,目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验,在性能、稳定性上得到较好验证。10 月 26 日,字节跳动宣布 BitSail 项目正式在 GitHub 开源,为更多的企业和开发者带来便利,降低数据建设的成本,让数据高效地创造价值。本篇内容将围绕 BitSail 演讲历程及重点能力解析展开,主要包括以下四个部分:字节跳动内部数据集成背景BitSail 技术演进历程BitSail 能力解析未来展望2. 字节跳动内部数据集成背景一直以来,字节跳动都非常重视并贯彻“数据驱动”这一理念,作为数据驱动的一环,数据中台能力的建设至关重要,而这其中,数据集成作为数据中台建设的基础,主要解决了异构数据源的数据传输、加工和处理的问题。BitSail 源自字节跳动数据平台团队自研的数据集成引擎 DTS(全称 Data Transmission Service,即数据传输服务),最初基于 Apache Flink 实现,至今已经服务于字节内部业务接近五年,现已具备批式集成、流式集成和增量集成三类同步模式,并支持分布式水平扩展和流批一体架构,在各种数据量和各种场景下,一个框架即可解决数据集成需求。此外,BitSail 采用插件式架构,支持运行时解耦,从而具备极强的灵活性,企业可以很方便地接入新的数据源。3. BitSail 演进历程3.1 全域数据集成引擎演进三阶段字节跳动数据集成引擎 BitSail 演进的历程可以分为三个阶段:① 初始期:2018 年以前公司没有统一的数据集成框架,对每个通道都是各自实现,因此依赖的大数据引擎也比较零散,如 MapReduce 、Spark ,数据源之间的连接也是网状连接,整体的开发和运维成本都比较高。② 成长期:可以分为三个小阶段。2018 - 2019 :随着 Flink 生态不断完善,越来越多的公司将 Flink 作为大数据计算引擎的首选,字节跳动也不例外,并在 Flink 上持续探索,并于 2019 年提出基于 Flink 的异构数据源间传输,完成批式场景的统一。2020 - 2021 :随着 Flink 批流一体的完善,字节跳动对原有架构进行较大升级,并覆盖了流式场景,完成批流场景的统一。2021 - 2022 :接入了 Hudi 数据湖引擎,解决 CDC 数据实时同步问题,并提供湖仓一体解决方案。③ 成熟期:2022 年开始全域数据集成引擎的整体架构已经稳定,并经过字节跳动内部各业务线生产环境的考验,在性能和稳定性上也得到充分的保障,于是团队希望能够将能力对外输出,为更多的企业和开发者带来便利,降低数据建设的成本,让数据高效地创造价值。3.2 BitSail 数据集成引擎技术架构演进3.2.1 基于 Flink 的异构数据源传输架构基于 Flink 1.5 DataSet API 实现的异构数据源传输架构,只支持批式场景。框架核心思想是,对原始输入层数据抽象为 BaseInput,主要用于拉取源端的数据;对输出层抽象为 BaseOutput,负责将数据写到外部系统。同时,框架层提供了基础服务,包括类型系统(Type System)、自动并发度(Auto Parallelism)、流控(Flow Control)、脏数据检测(Dirty Data)等等,并对所有的数据源通道生效。以下介绍一个批次场景上比较有意思的功能,也是实际业务中面临的一些痛点。上图左上部分是原始的 Flink 运行日志,从这个日志里看不到任务进度数据和预测数据,如当前任务运行的百分比、运行完成所需时间。左下部分则是 Flink UI 界面提供的任务运行的元信息,可以看到读写条数都是 0 ,从 Flink 引擎角度,由于所有算子作为一个整体是没有输入和输出的,这是合理的,但从用户角度就无法看到任务整体进度信息和当前处理记录条数,从而导致用户怀疑这个任务是否已经卡住。图中右边是改造之后的效果,日志中明确输出当前处理了多少条数、实时进度展示、消耗时间等等,该功能在字节内部上线后,得到了很多业务的好评。下面介绍一下具体的实现。首先回顾 Flink Task 的执行过程,与传统的 MapReduce、Spark 的驱动模型不一样,Flink 是以任务驱动,JM 创建好 Split 之后,Task 是常驻运行,不断向 JM 请求新的 Split,只有所有的 Split 处理完之后,Task 才会退出。此时,如果用总的完成的 Task 个数除以总的 Task 个数,进度将出现一定程度的失真。最开始,所有的 Task 都在运行,不断地去拉取 Split,我们看到的进度会是 0,等到 JM 的 Split 处理完之后,所有的 Task 会集中退出,可以看到进度会突然跳动到 100%,中间是缺少进度信息的。为了解决这个问题,我们还是要回到数据驱动本身,以 Split 的维度来衡量整个 Job 的运行过程。图中右边所展示的是,通过 Flink UI 提供的 API,可以拿到整个任务的拓扑信息,将其分为两层算子并进行改造,分别是 Source 层和 Operator 层。Source 层我们修改了原生的 Source API,具体的话包括两个部分,第一个是创建 Split 之后,我们会去拿到 Total Split 的个数,将它上载到 Metric 里;其次是 Source里的每个 Task 每处理完一个 Split 之后,我们会上报一个 CompletedSplit。最终我们通过 Flink UI 是可以拿到当前已经完成的 Split 个数以及总共的 Split 个数,并用完成的 Split 个数来除以总共的 Split 个数来衡量 Source 节点的进度。Operator 层首先我们会看当前 Operator 上游节点的输出多少条,以及当前节点它读取了多少条,并用当前节点读取的条数除以它的上游节点的输出条数作为当前 Operator 的进度。同时,这里我们做了一个梯度限制,就是当前节点的进度只能小于等于它的上游节点进度。3.2.2 基于 Flink 批流一体的架构以下是批流一体的架构,相对于原有架构,字节跳动数据平台团队完成如下升级:将 Flink 版本从 1.5 升级到 1.9,同时我们分析了 DataSet API,统一升级到 DataStream API,以支持批流一体架构。对数据源支持进行扩充,除了原有的离线数据源之外,增加了实时数据源,如消息队列。对框架层完成拓展,支持 Exactly Once、支持 Event Time 写入、Auto DDL 等功能。对引擎层进行改进,增加推测执行、Region Failover 等功能。在 Runtime 层也做了进一步的扩充,支持云原生架构。我们分析一个实时场景中比较典型的链路,MQ 到 Hive 这个链路。左图(Shuffle)是目前社区的实现方式,很多数据湖的写入,比如 Hudi、Iceberg 基本上也是这个结构。这套结构分为两层算子,第一层是我们的数据处理层,负责数据的读取和写入;第二层算子是一个单节点的提交层,它是一个单并发,主要负责元信息的提交,比如去生成 Hive 的分区或者做一些其他的元信息动作。这个架构的优势是其整体拓扑(数据处理流程)比较清晰,算子功能定位也比较清楚,但是它有一个明显的缺陷,加入一个单并发节点后,导致整个任务变成 Shuffle 连接。而 Shuffle 连接天然的弱势是,当遇到 Task Failover 的时候,它会直接进行全局重启。右图(Pipelined)是改造之后的数据处理流程,数据写入部分没有变化,变化的是后面的提交部分,这样的设计考虑是是保持原有 Pipeline 架构,以实现 Task 容错时不会进行全局重启。废弃了原有的单并发提交节点,把所有元信息的提交拿到 JM 端处理,同时 Task 和 JM 的通讯是通过 Aggregate Manager 来实现。改为这套架构之后,在大数据量场景下,其稳定性得到了显著的提升。3.2.3 基于 Flink 湖仓一体的架构引入湖仓一体架构的目的是解决 CDC 数据的近实时同步。右图是原有架构,处理流程包括三个模块:拉取批次任务:用来拉取 CDC 全量的数据,写到 Hive 里作为一个基础的镜像。实时任务:拉取 CDC 的 Changelog,并实时写入 HDFS,作为一个增量数据。离线调度任务:周期性地进行 Merge,将全量数据和增量数据进行合并,形成新的全量数据。上述架构比较复杂,并依赖 Flink、Spark 等多种计算引擎,在实时性方面,只能做到 T+1,最快也只能做到小时级延迟,无法有效支撑近实时分析场景。从效率来说,存储开销比较大,每个分区都是一个全量镜像,而且计算成本较高,每次 Merge 都需要进行全局 Shuffle。右图是升级后的架构,主要的升级点包括:将 Flink 1.9 升级到 Flink 1.11,接入了 Hudi 数据湖引擎,以支持 CDC 数据近实时同步。这是因为 Hudi 引擎有完备的索引机制以及高效的 Upsert 性能。对 Hudi 引擎也进行了多项基础改进,以提高整体的写入效率和稳定性。最终实施的效果,近实时写入,整体的延迟在 10 分钟以内,综合性能比原有架构提升 70% 以上。至此,完成了全域数据集成架构统一,实现一套系统覆盖所有同步场景。3.3 架构演进过程实践经验分享下面介绍实际演进过程中的一些思考、问题和改进方案。表类型选择数据湖是支持多种表格式的,比如 CopyOnWrite(简称COW)表、MergeOnRead(简称MOR)表。COW 表的优势在于读性能比较好,但是会导致写放大,MOR 表正好相反,写的性能比较好的,会导致读放大。具体选择哪种表格式,更多要根据大家的业务场景来决定。我们的业务场景是为了解决 CDC 数据的近实时同步,CDC 数据有个明显的特点,是存在大量的随机更新。这个场景下选择 COW,会导致写放大的问题比较严重,所以我们选择了 MOR 表。上图就是一个 MOR 表查询和写入的流程。第一个是列存储的基础镜像文件,我们称之为 Base 文件,第二个是行存储的增量日志,我们称之为 Log 文件。每次查询时,需要将 Log 文件和 Base 文件合并,为了解决 MOR 表读放大的问题,通常我们会建一个 Compaction 的服务,通过周期性的调度,将 Log 文件和 Base 文件合并,生成一个新的 Base 文件。Hudi 实时写入痛点如图所示,这是原生的 Hudi 实时写入的流程图。首先,我们接入 Hudi 数据,会进入 Flink State,它的作用是索引。Hudi 提供了很多索引机制,比如 BloomIndex。但是 BloomIndex 有个缺陷,它会出现假阳性,降级去遍历整个文件,在效率上有一定的影响。Flink State 的优势是支持增量更新,同时它读取的性能会比较高。经过 Flink State 之后,我们就可以确认这条记录是 Upsert,还是 Insert 记录,同时会分配一个 File Id。紧接着,我们通过这个 File Id 会做一层 KeyBy,将相同 File 的数据分配到同一个Task。Task 会为每一个 File Id 在本地做一次缓存,当缓存达到上限后,会将这批数据 Flush 出去到 hoodie client 端。Hoodie client 主要是负责以块的方式来写增量的 Log 数据,以 Mini Batch 的方式将数据刷新到 HDFS。再之后,我们会接一个单并发的提交节点,最新的版本是基于 Coordinator 来做的,当所有的算子 Checkpoint 完成之后,会提交元信息做一次 Commit,认为这次写入成功。同时 Checkpoint 时,我们会刷新 Task 的缓存和 hoodie client 的缓存,同时写到 HDFS。通常,我们还会接一个 Compaction 的算子,主要用来解决 MOR 表读放大的问题。这个架构在实际的生产环境会遇到如下问题:(1)当数据量比较大的时候,Flink State 的膨胀会比较厉害,相应地会影响 Task 的速度以及 Checkpoint 的成功率。(2)关于 Compaction 算子,Flink 的流式任务资源是常驻的,Compaction 本身是一个周期性的调度,如果并发度设置比较高,往往就意味着资源的浪费比较多。(3)Flink 提供了很多资源优化的策略,比如 Slot Sharing,来提高整体的资源利用率,这就会导致资源抢占的问题,Compaction 会和真正的数据读写算子来进行资源的抢占。Compaction 本身也是一个重 I/O、CPU 密集型操作,需要不断地读取增量日志、全量日志,同时再输出一个全量数据。针对上述问题,我们优化了 Hudi 的写入流程。首先我们会采集 CDC 的 Change Log,并发送到消息队列,然后消费消息队列中的 Change Log,然后我们进行如下三个优化:(1)废弃了原先的 Flink State,替换为 Hash Index。Hash Index 的优势是不依赖外部存储。来了一个 Hoodie Record 之后,只需要一个简单的哈希处理,就知道它对应的 Bucket。(2)将 Compaction 服务独立成一个离线的任务,并且是周期性的调度,用来解决资源浪费和资源抢占的问题。(3)将 Task 缓存和 Hudi 缓存做了合并,因为每次 Checkpoint 都需要刷新 Task 缓存,Hudi 缓存需要写入 HDFS,如果缓存的数据量比较多,会导致整个 Checkpoint 时间比较长。优化之后,稳定性方面,可以支持百万级的 QPS;端到端的 Checkpoint 延时控制在 1 分钟以内,Checkpoint 成功率可以做到 99%。4. BitSail 能力解析目前技术架构比较成熟,并经过字节跳动各业务线的验证,在数据的稳定性和效率上都能得到一定的保障。因此,我们希望能把自己沉淀的经验对外输出,给更多企业和开发者带来便利,降低大家数据建设的成本,让数据创造高效的价值。为了达到这个目标,我们要解决两个能力的构建。4.1 低成本共建能力数据集成有一个明显的网络效应,每个用户所面临的数据集成的场景也是不一样的,因此需要大家的共同参与,完善数据集成的功能和生态,这就需要解决共建成本的问题,让大家都能低成本地参与整个项目的共建和迭代。在 BitSail 中,我们通过两个思路推进这个能力建设。4.1.1 模块拆分所有的模块糅合在一个大的 jar 包中,包括引擎层、数据源层、基础框架层,模块耦合比较严重,数据处理流程也不清晰。针对这个问题,我们按照功能模块进行划分,将基础框架和数据源从引擎中独立出来,同时我们的技术组件采取可插拔的设计,以应对不同的用户环境,比如脏数据检测、Schema 同步、监控等等,在不同的环境中会有不同的实现方式。4.1.2 接口抽象框架对 Flink API 是深度绑定,用户需要深入到 Flink 引擎内部,这会导致整体 Connector 接入成本比较高。为了解决这个问题,我们抽象了新的读写接口,该接口与引擎无关,用户只要开发新的接口即可。同时在内部会做一层新的抽象接口与引擎接口的转换,这个转换对用户是屏蔽的,用户不需要了解底层引擎细节。4.2 架构的兼容能力不同公司依赖的大数据组件和数据源的版本不一样,同时还会遇到版本前后不兼容问题,因此需要完善架构的兼容能力,以解决不同环境下的快速安装、部署和验证。我们同样有两个思路来建设这个能力。4.2.1 多引擎架构当前架构和 Flink 引擎深度绑定,在使用场景方面受到一定的限制,比如有些客户用了 Spark 引擎或者其他引擎。Flink 引擎依赖比较重的情况下,对于简单场景和小数据量场景,整体的资源浪费比较严重。为解决此问题,我们在引擎层预留了多引擎入口,在已经预留的 Flink 引擎基础之上,接下来会扩展到 Spark 引擎或者 Local Engine。 具体实现方面,我们对执行的环境进行了一层抽象,不同的引擎会去实现我们的抽象类。同时,我们探索 Local 执行方式,对小数据量在本地通过线程的方式来解决,不用去启动 Flink Job 或类似的处理,提高整体资源的使用效率。4.2.2 依赖隔离目前系统存在一些外部环境中没有的内部依赖,大数据底座也是绑定的公司内部版本,我们进行了三个方面的优化:剔除公司内部依赖,采取开源的通用解决方案,以应对不同的业务场景。大数据底座方面,采用 Provided 依赖,不绑定固定底座,运行时由外部指定,针对不兼容的场景,通过 Maven Profile 和 Maven Shade 隔离。针对数据源多版本和版本不兼容的问题,采取动态加载的策略,将数据源做成独立的组件,每次只会加载需要的数据源,以达到隔离的目标。5. 未来展望BitSail 希望数据畅通无阻地航行到有价值的地方,期待和大家共同合作,完善数据集成的功能和生态。同时未来我们将在三个方面继续深化:① 多引擎架构:探索 Local Engine 落地,支持本地执行,对简单场景和小数据量场景提高资源利用率;实现引擎智能选择策略,针对简单场景使用 Local Engine;针对复杂场景复用大数据引擎的能力。② 通用能力建设:推广新接口,对用户屏蔽引擎细节,降低 Connector 开发成本探索 Connector 多语言方案。③ 流式数据湖:统一 CDC 数据入湖解决方案,在性能上稳定支撑千万级 QPS在数据湖平台能力构建方面,全面覆盖批式、流式、增量使用场景。今天的分享就到这里,谢谢大家。分享嘉宾李畅|字节跳动 数据平台数据集成工程师2016年研究生毕业后,加入字节跳动数据平台,一直从事大数据平台开发相关工作,从0到1打造字节跳动数据集成产品,支持多种异构数据源间的海量数据同步,并提供离线、实时、全量、增量场景下全域数据集成解决方案,目前支撑了字节内部和火山多个客户的数据集成需求。DataFun新媒体矩阵关于DataFun专注于大数据、人工智能技术应用的分享与交流。发起于2017年,在北京、上海、深圳、杭州等城市举办超过100+线下和100+线上沙龙、论坛及峰会,已邀请超过2000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章800+,百万+阅读,15万+精准粉丝。编辑于 2022-11-06 14:27・IP 属地北京字节跳动(ByteDance)数据集大数据​赞同 7​​添加评论​分享​喜欢​收藏​申请转载​文章被以下专栏收录大数据应用案例DataFun独家大数据技术在企业、高校中的

从 ClickHouse 到 ByteHouse:字节跳动实时数据分析场景下的优化实践 - 知乎

从 ClickHouse 到 ByteHouse:字节跳动实时数据分析场景下的优化实践 - 知乎切换模式写文章登录/注册从 ClickHouse 到 ByteHouse:字节跳动实时数据分析场景下的优化实践InfoQ​已认证账号近日,字节跳动旗下的企业级技术服务平台火山引擎正式对外发布「ByteHouse」,作为 ClickHouse 企业版,解决开源技术上手难 & 试错成本高的痛点,同时提供商业产品和技术支持服务。作为国内规模最大的 ClickHouse 用户,目前字节跳动内部的 ClickHouse 节点总数超过 1 万 5 千个,管理总数据量超过 600PB,最大的集群规模在 2400 余个节点。综合来说,字节跳动广泛的业务增长分析很多都建立在 ClickHouse 为基础的查询引擎上。在打造 ClickHouse 企业版「ByteHouse」的路程中,ByteHouse技术团队经过了多年的探索与沉淀,今天和大家分享字节跳动过去使用 ClickHouse 的两个典型应用与优化案例。推荐系统实时指标在字节跳动内部“AB 实验”应用非常广泛,特别是在验证推荐算法和功能优化的效果方面。最初,公司内部专门的 AB 实验平台已经提供了 T+1 的离线实验指标,而推荐系统需要更快地观察算法模型、或者某个功能的上线效果,因此需要一份能够实时反馈的数据作为补充:能同时查询聚合指标和明细数据;能支持多达几百列的维度和指标,且场景灵活变化,会不断增加;可以高效地按 ID 过滤数据;需要支持一些机器学习和统计相关的指标计算(比如 AUC)。技术选型字节内部有很多分析引擎,ClickHouse、 Druid、 Elastic Search、 Kylin 等,通过分析用户需求后选择了 ClickHouse:能更快地观察算法模型,没有预计算所导致的高数据时延;ClickHouse 既适合聚合查询,配合跳数索引后,对于明细点查性能也不错;字节自研的 ClickHouse 支持 Map 类型,支持动态变更的维度和指标,更加符合需求;BitSet 的过滤 Bloom Filter 是比较好的解决方案,ClickHouse 原生就有 BF 的支持;字节自研的 ClickHouse 引擎已经通过 UDF 实现了相关的能力,而且有比较好的扩展性。每个产品都有自己合适的场景,但是对于当前场景的需求评估下,ClickHouse 更加合适。方案评估方案对比确认技术选型后,在如何实现部分,也有两种方式:最终方案 & 效果由于外部写入并不可控和技术栈上的原因,ByteHouse技术团队最终采用了 Kafka Engine 的方案,也就是 ClickHouse 内置消费者去消费 Kafka。整体的架构如图:数据由推荐系统直接产生,写入 Kafka——为了弥补缺少 Flink 的 ETL 能力,推荐系统做了相应配合,修改 Kafka Topic 的消息格式直接适配 ClickHouse 表的 schema;敏捷 BI 平台也适配了一下实时的场景,可以支持交互式的查询分析;如果实时数据有问题,也可以从 Hive 把数据导入至 ClickHouse 中,除此之外,业务方还会将 1% 抽样的离线数据导入过来做一些简单验证,1% 抽样的数据一般会保存更久的时间。除了技术选型和实现方案,ByteHouse技术团队在支持推荐系统的实时数据时遇到过不少问题,其中最大的问题随着推荐系统产生的数据量越来越大,单个节点的消费能力也要求越来越大,主要碰到如下问题:问题一:写入吞吐量不足挑战:在有大量辅助跳数索引的场景下,索引的构建严重影响写入吞吐量。解决方案:异步构建索引。社区版本的实现里的具体逻辑如下:解析输入数据生成内存中数据结构的 Block;然后切分 Block,并按照表的 schema 构建 columns 数据文件;最后扫描根据 skip index schema 去构建 skip index 文件。三个步骤完成之后才会算 Part 文件构建完毕。在需要保证构建完 columns 数据之后用户即可正常查询的前提下,ByteHouse 同步完成前面两步,第三步把构建好的 part 放入到一个异步索引构建队列中,由后台线程构建索引文件。效果:在改成异步后,整体的写入吞吐量大概能提升 20%。 问题二:Kafka 消费能力不足挑战:社区版本的 Kafka 表,内部默认只会有一个消费者,这样会比较浪费资源并且性能达不到性能要求。尝试优化过程:尝试通过增大消费者的个数来增大消费能力,但社区的实现是由一个线程去管理多个的消费者,多个消费者消费到的数据最后仅能由一个输出线程完成数据构建,所以这里没能完全利用上多线程和磁盘的潜力;尝试通过创建多张 Kafka Table 和 Materialized View 写入同一张表,但是对于运维会比较麻烦。解决方案:支持多线程消费。前面提到的优化手段都不尽如人意,最后决定改造 Kafka Engine 在其内部支持多个消费线程,简单来说就是每一个线程它持有一个消费者,然后每一个消费者负责各自的数据解析、数据写入,这样的话就相当于一张表内部同时执行多个的 INSERT Query。效果:通过多线程实现多消费者同时消费写入表,写入性能达到接近于线性的提升。 问题三:出现故障无法保证数据完整性挑战:在主备模式下,如果数据同时两个节点都写入,一旦一个节点出现故障,新启的节点恢复过程中容易出现各种问题,包括性能下降,无法保证分片,最严重可能导致查询结果不正确。解决方案:确保主备模式下只会写入一个主备其中一个节点。为了避免两个节点消费这个数据,改进版的 Kafka Engine 参考了 ReplicatedMergeTree 基于 ZooKeeper 的选主逻辑。对于每一对副本的一对消费者,会尝试在 ZooKeeper 上完成选主逻辑,确保选举成为主节点的消费者才能消费,另一个节点则会处于一个待机状态。有了这样的单节点消费机制, 系统会检测 ReplicatedMergeTree 表数据是否完整,如果数据不完整则代表不能正常服务,此时消费者会主动出让 Leader,让副本节点上成为消费者,也就是新写入的数据并不会写入到缺少数据的节点,对于查询而言,由于查询路由机制的原因也不会把 Query 路由到缺少数据的节点上,所以一直能查询到最新的数据。效果:改进 Kafka engine 确保主备模式下只有一个节点能消费数据,即使出现节点故障在新节点恢复过程中同样保障了解决了数据完整性的问题。广告投放实时数据第二个典型案例关于广告的投放数据,一般是运营人员需要查看广告投放的实时效果。由于业务的特点,当天产生的数据往往会涉及到多天的数据。这套系统原来基于 Druid 实现的,Druid 在这个场景会有一些难点:选择了 ClickHouse 之后能解决 Druid 不足的地方,但还是有部分问题需要解决。 问题一:Buffer Engine 无法和 ReplicatedMergeTree 一起使用问题 & 挑战:社区提供了 Buffer Engine 为了解决单次写入生成过多 parts 的问题, 但是不太能配合 ReplicatedMergeTree 一起工作, 写入不同 Replica 的 Buffer 仅缓存了各自节点上新写入的数据, 导致查询会出现不一致的情况。解决方案:改进了 Buffer Engine 做了如下的调整和优化:ByteHouse技术团队选择将 Kafka/Buffer/MergeTree 三张表结合起来,提供的接口更加易用;把 Buffer 内置到 Kafka engine 内部, 作为 Kafka engine 的选项可以开启 / 关闭,使用更方便;Buffer table 内部类似 pipeline 模式处理多个 Block;支持了 ReplicatedMergeTree 情况下的查询。首先确保一对副本仅有一个节点在消费,所以一对副本的两个 Buffer 表,只有一个节点有数据。如果查询发送到了没有消费的副本,会额外构建一个特殊的查询逻辑,从另一个副本的 Buffer 表里读取数据。效果:增强 Buffer Engine,解决了 Buffer Engine 和 ReplicatedMergeTree 同时使用下查询一致性的问题。 问题二:出现宕机后可能会出现数据丢失后者重复消费的情况挑战:ClickHouse 缺少事务支持。一批次写入只写入部分 part 后出现宕机,因为没有事务保障重启后可能出现丢失或者重复消费的情况。解决方案:参考了 Druid 的 KIS 方案自己管理 Kafka Offset,实现单批次消费 / 写入的原子语义:实现上选择将 Offset 和 Parts 数据绑定在一起,增强了消费的稳定性。每次消费时,会默认创建一个事务,由事务负责把 Part 数据和 Offset 一同写入磁盘中,如果出现失败,事务会一起回滚 Offset 和写入的 part 然后重新消费。效果:确保了每次插入数据的原子性,增强了数据消费的稳定性。小结实时数据分析是 ClickHouse 的优势场景,结合字节跳动实时数据场景的特点,ByteHouse技术团队对 ClickHouse 进行了优化和改造,并将这些能力沉淀到了 ByteHouse 上。ByteHouse 基于自研技术优势和超大规模的使用经验,为企业大数据团队带来新的选择和支持,以应对复杂多变的业务需求,高速增长的数据场景。未来,ByteHouse 将不断以字节和外部最佳实践输出行业用户,帮助企业更好地构建交互式大数据分析平台,并更广泛的与 ClickHouse 研发者社群共享经验,共同推动 ClickHouse 社区的发展。联系ByteHouse技术团队(中文产品官网):https://bytehouse.cn/product/enterprise-clickhouse发布于 2021-09-17 16:52商业产品互联网企业开源​赞同 2​​添加评论​分享​喜欢​收藏​申请

字节跳动数据平台

字节跳动数据平台

字节跳动开源官网

一文看懂,字节跳动数据平台9年发展的4阶段-DOIT

一文看懂,字节跳动数据平台9年发展的4阶段-DOIT

登录|注册

APP下载

DOIT APP下载

DOIT学院APP下载

DOSTOR

|

DOITAPP

DOIT数据智能产业媒体与服务平台

立即打开

DOITAPP

DOIT数据智能产业媒体与服务平台

立即打开

首页

资讯

智能计算

智能数据

智能网络

人工智能

云计算

物联网

新科技

安全

业界

数字化转型

专题

学院

活动

客户端

白皮书

2022存储芯图

2022闪存市场全景白皮书

Dell 白皮书下载

2022分布式存储市场调研报告

2021数据云图

2021存储芯图

数据云图

数据基础设施

行业云原生

闪存市场

一文看懂,字节跳动数据平台9年发展的4阶段

谢 世诚

发布于 2022-08-18

分类:业界

前言:因为业务需要,字节跳动催生出包括「中台+数据BP」模式在内的数据平台;因为市场需要,这些历经内部场景实践的能力正在通过火山引擎全面对外输出。

8月18日,ArchSummit全球架构师峰会在北京举行。

字节跳动数据平台负责人罗旋、极客邦双数研究院特聘专家/精益数据方法创始人史凯、第四范式研发副总裁/基础技术负责人郑曌、经纬中国高级投资经理谢岩围绕“数字化实践”等多个主题进行了经验分享。

随着互联网流量红利的日渐消退,部分企业正通过“数据驱动”挖掘更深层次的业务价值,进入精益运营时代。

作为国内率先践行“数据驱动”理念的企业之一,字节跳动近年来备受关注。

峰会上,罗旋用“快”和“多”两个字,概括了字节跳动过去几年的发展特征,并指出正是在这样的背景下,字节跳动数据平台完成了9年的演进。

优先解决最显露的业务问题

“快,是业务发展快,2012年推出的今日头条APP用两年时间就实现了用户破千万,抖音APP上线17个月DAU破亿,”罗旋在分享中解释了他所理解的字节跳动发展,“多,则是业务类型多样,除今日头条、抖音为代表的图文信息流、短视频外,近年来字节跳动还发展出包括电商、toB等多条业务线。”

2014年,字节跳动开始了数据平台建设。与同时期大多数企业的数据建设体系不同,字节跳动在路径选择上摒弃了大而全的规划,而是聚焦当时业务所面临的实际问题,优先解决业务痛点。

如果将字节跳动数据平台的建设历程拆解来看,其实不难发现大致可以分出4个演进节点。

首先是为了解决业务最直接暴露出来的问题的阶段,如满足业务随时迭代上线需求,罗旋将其称为“原始阶段”。

在这个阶段,A/B测试是解决业务结果验证问题的重要工具,即便是在今天,字节跳动旗下产品的每一次迭代背后,都还有A/B测试的身影,“像当时今日头条迭代发版,很多业务侧的提问我们都能用A/B测试的实验数据来解答,很实用而且高效。”

在之后几年,随着应用场景增多,A/B测试的功能也在不断丰富完善,并于2016年正式形成标准化服务式产品,并在内部以Libra命名,这也是字节跳动数据平台的第一款自研产品。

发力引擎层建设

最上层的业务问题逐步有了敏捷稳定的解决通路,但另一方面,原本覆盖在业务表现之下的数据层却以指数型增长的速度暴露出更多难题,这也推动着字节跳动数据平台进入第二阶段。

2017年,以抖音为代表的业务数据量急速膨胀,不断挑战原本数据平台的能力边界。罗旋举例,2017年之前,数据平台每天处理的数据量大约在200TB,但去年这个数字已经达到了1500PB,数据平台日新增数据大约在40PB。

成长太快带来的问题很明显,他提到很多时候对数据链路个环节进行优化处理,不只是因为成本,很多时候是因为资源不够,“导致我们必须要去这么做”。

也正因如此,通过优化来解决数据量和分析效率,成为字节跳动数据平台首要的一个突破重点,并为此做了诸多选型尝试,如Presto、Kylin、Druid 等——但出于对“能够处理海量数据、秒级响应的超高性能、自主灵活的分析模式”这三项基本需求的考虑,字节跳动数据平台最终选定ClickHouse为长线使用的OLAP查询引擎,并基于自身发展实际情况做了大量二次开发和优势强化。

同时聚焦提升资源利用率、降低运维成本、提升数据实时性三大性能点,字节跳动数据平台通过火山引擎对外发布ByteHouse。

截止到8月的数据显示,ByteHouse在字节跳动内部的数据分析服务超过了2.5万个节点,单集群最大规模可以达到2400个节点左右;从业务上来看,在字节内部支撑了超过80%的字节分析应用。

数据BP+中台,中央厨房式协作

在历经原始阶段和建设阶段后,字节跳动数据平台的演变进程进入第三个阶段,平台阶段。

在这一阶段,字节跳动已经拥有非常多元迥异的业务线形态,“作为数据平台,我们需要去考虑之前的经验还有没有用?如果要用,该怎么用?以及面对这么多不同的业务,应该怎么更敏捷更深入地加以支持,等等。”

显然,这些并不是依赖技术层面的优化创新就能解决。

通过从HRBP(Human Resources Business Partner ,人力资源业务合作伙伴)中,字节跳动数据平台汲取到了灵感,并以此建立数据BP机制,探索中台能力+数据BP的模式。

数据BP机制在组织形式上属于可以统一管理调配的集中式,执行上分布式到各个业务,解决业务问题。这种组织方式的优势在于,尽管 BP 团队向上支撑了不同类型的业务线,但其实向下兼容了数据平台底层的各项能力,具备相似的技能栈,对工具引擎的学习和使用是高效且顺滑的。

作为数据平台能力的解决方案提供方,数据 BP 团队成员在组织上都汇报给数据平台,统一培养和调度,相互学习经验的角度,对中台能力也保证足够的熟悉度,以便根据不同业务的特性,灵活组合,提供综合性的数据解决方案,也保证了复用性,不轻易重复造轮子;在具体工作时,又能分布在不同的业务线上,跟业务团队充分融合在一起,把自身视为业务线的一部分,保障与业务一起成功。

“就好比是一个中央厨房和餐厅的关系,”罗旋进一步解释道,“通过采摘或者购入食材,进行一系列复杂而标准化的加工,最终为各餐厅提供标准化的成品或者半成品的食物;而餐厅,则可以根据自己的用户需要,煎炸烹煮各种方式来将这些食物组合加工形成一道道的菜,直接供客户食用。”

其中,中央厨房就是中台,而数据BP则承担着餐厅的角色。

现阶段,数据BP+中台的模式在字节跳动内部已经得到广泛运用。

2021年Pico正式并入字节跳动,如何快速实现已有数据平台对全新业务形态的适配与支持,成为难题。

但数据BP机制成为了一道突破口:通过数据BP团队率先融入业务了解业务形态,并梳理出当前阶段的数据状况及痛点诉求,整理出相对完善的技术方案;使得基础数据可以快速接入,同时进行历史数据迁移。

而当基础数据接入之后,Pico业务就能直接在字节数据平台的体系中使用各种数据建设和数据分析应用产品。

这一整套操作只用了3周时间,从Pico业务感知上来说,基本属于「即插即用」的体验。

此外,为了更好评估中台+数据BP模式,字节跳动数据平台还提出了更具量化参考意义的体系标准,“0987”——稳定性 SLA 核心指标要达到 0 个事故,需求满足率要达到 90%,数仓构建覆盖 80% 的分析需求,同时用户满意度达到 70%。

如今,字节跳动数据平台在历经多年内部业务场景实践后,已在探索中台+数据BP模式通过火山引擎的对外输出,这也是字节跳动数据平台历程发展的第四阶段——To B阶段。

截至目前,智能数据洞察DataWind、增长分析 DataFinder 、 A/B 测试 DataTester、客户数据平台VeCDP、增长营销平台GMP、大数据研发套件DataLeap和云原生数据仓库ByteHouse等在字节跳动内部支持服务比较好的产品和经验,已经实现封装成数据套件,并通过火山引擎全面对外提供服务。

“同时,我们也在尝试数据 BP 的是否能帮助到外部客户,让他们也享受到和抖音一样的数据服务级别。”罗旋补充道。

据了解,仅在过去一年时间, 火山引擎的多款数据产品已被陕西旅游集团、服装品牌 Levi’s 、得到APP、买什么都省APP、慢慢买APP等文旅、零售、互联网在内的多个行业头部企业应用,并获得实效。

未经允许不得转载:DOIT » 一文看懂,字节跳动数据平台9年发展的4阶段

标签:字节跳动

编辑:xiesc

上一篇易仓科技使用阿里云PolarDB数据库HTAP功能 复杂查询性能实现百倍提升

下一篇思科发布2022财年第四季度及全年业绩报告

相关推荐2022字节跳动“安全范儿”高校挑战赛报名开启!三大赛道全面升级!字节跳动获得中国多媒体企业创新技术奖飞书宣布于5月19日举办发布会 将重磅发布4.0版本火山引擎与亿咖通科技达成战略合作 全面提升车载场景内容体验

近期文章

用Ampere解释,到底什么是云原生处理器?

2022 年 7 月头号恶意软件:Emotet 持续肆虐

开源无界 携手共创:SUSECON北京2022开源峰会暨SUSE30周年庆典隆重召开

超前布局、全球领先:蚂蚁可信密态计算登榜“十大硬核科技”

亚信科技半年报披露:抢占信创数据库市场高地、三新业务带动公司发展向好

href='http://ads.doit.com.cn/www/delivery/ck.php?n=a6e348d3&cb=INSERT_RANDOM_NUMBER_HERE' target='_blank'>

热门标签微软IBM服务器英特尔云存储云计算EMC惠普虚拟化AMD数据中心甲骨文安全软件苹果ITWindows戴尔CIO收购至强病毒芯片HP

© 2022 DOIT

  本站主题由 themebetter 提供   关于我们 | 广告服务 | 加入我们 | 联系我们

北京世纪百易网络有限公司 版权所有 | 京ICP证101168号 | 京ICP备12007866号-14 | 京公网安备 11010502032764号

数智平台VeDI-火山引擎

数智平台VeDI-火山引擎

You need to enable JavaScript to run this app.

We're sorry but react app doesn't work properly without JavaScript enabled. Please enable it to continue.最新活动产品解决方案定价生态与合作支持与服务开发者了解我们文档备案控制台登录立即注册火山引擎数智平台VeDI新一代企业级数据智能平台,基于字节跳动多年的“数据驱动”实践经验,汇集端到端的数智产品、场景化的行业解决方案和专业的企业数智化转型咨询。全链路端到端的全链路技术全系列PaaS到SaaS一站式产品全场景多行业细分场景方案立即咨询数据飞轮消费行业数据飞轮专场沙龙免费试用增长分析30天免费试用VeDI数据智能图谱企业数据全生命周期的管理应用最新活动3分钟完成汽车数智营销能力评测免费评测数据飞轮消费行业数据飞轮专场沙龙立即查看免费试用增长分析30天免费试用立即查看VeDI数据智能图谱免费领取企业数据全生命周期的管理应用立即查看数据飞轮:用活数据提升企业活力企业数智化升级新范式,以数据消费为核心驱动力,通过数据消费助力业务发展,促进资产建设。立即了解数智平台产品家族10款大数据产品,多种部署方式,安全可靠A/B测试 DataTester科学的评估体系|完备的特型实验增长营销平台 GMP全渠道触点|自动化营销|智能推荐增长分析 DataFinder数据采集|行为分析|埋点治理客户数据平台 VeCDP客户全景视图|用户标签管理智能数据洞察 DataWind数据分析与协作|数据可视化大数据研发治理套件 DataLeap一站式数据研发|数据资产管理|分布式数据治理E-MapReduce开源兼容&优化|云原生运维体系湖仓一体分析服务 LAS全托管服务|湖仓&批流一体ByteHouse云原生数据仓库|高性能实时分析全域数据集成 DataSail实时数据采集|异构数据源同步全景数据应用数据管理数据引擎数据集成数据全链路产品服务高性能大数据产品服务,全面应对数据难题全域数据集成数据存储计算数据分析加速数据研发治理数据分析洞察行为数据分析多源数据整合全域数据集成数据种类、存储格式日趋增多,数据采集和同步门槛高,运维难?DataSail20+ 种异构数据源稳定同步流式和离线数据一站式入仓(湖)高可用,内部超大规模数据验证高吞吐,支持万亿级别数据的采集立即体验数据存储计算数据种类、存储格式日趋增多,用户数据无法统一管理,且企业各部门之间的数据割裂,数据孤岛问题严重。湖仓一体分析服务E-MapReduceServerless 全托管,开箱即用湖仓一体,元数据管理批流一体,极致引擎内核立即体验开源兼容,深度优化弹性伸缩,存算分离云原生运维管理体系立即体验数据分析加速数据随业务发挥而快速膨胀,现有数据技术滞后,无法支撑海量数据实时分析,从而制约了业务的增长。ByteHouse千亿级数据秒级返回存算分离、灵活弹性兼顾宽表和关联查询立即体验数据研发治理数字化转型及中台建设面临数据孤立、协同研发交付周期长、产出不及时、资产管理难、数据安全无保障等困境。大数据研发治理套件 DataLeap全链路数据研发分布式数据治理立即体验数据分析洞察业务需求频繁变化难以应对;数据量过大性能和实效性无法保证;用户被动接收数据,数据赋能无法落地。智能数据洞察 DataWind可视化拖拽交互式分析千亿级数据秒级响应办公集成在线协同立即体验行为数据分析您的用户数据分散在各个不同的客户端,没有有效工具实现统一快速采集并打通,怎么办?增长分析 DataFinder数据统一采集和管理数据指标场景化模板灵活的多维下钻分析立即体验多源数据整合用户触点日趋增多,多渠道用户数据无法统一管理,且企业各部门之间的数据割裂,数据孤岛问题严重。客户数据平台 VeCDP20+ 种跨源数据连接方式可视化数据清洗及AI建模ID-Mapping识别同一用户立即体验全域数据集成数据种类、存储格式日趋增多,数据采集和同步门槛高,运维难?相关产品:DataSail数据存储计算数据种类、存储格式日趋增多,用户数据无法统一管理,且企业各部门之间的数据割裂,数据孤岛问题严重。相关产品:湖仓一体分析服务E-MapReduce数据分析加速数据随业务发挥而快速膨胀,现有数据技术滞后,无法支撑海量数据实时分析,从而制约了业务的增长。相关产品:ByteHouse数据研发治理数字化转型及中台建设面临数据孤立、协同研发交付周期长、产出不及时、资产管理难、数据安全无保障等困境。相关产品:大数据研发治理套件 DataLeap数据分析洞察业务需求频繁变化难以应对;数据量过大性能和实效性无法保证;用户被动接收数据,数据赋能无法落地。相关产品:智能数据洞察 DataWind行为数据分析您的用户数据分散在各个不同的客户端,没有有效工具实现统一快速采集并打通,怎么办?相关产品:增长分析 DataFinder多源数据整合用户触点日趋增多,多渠道用户数据无法统一管理,且企业各部门之间的数据割裂,数据孤岛问题严重。相关产品:客户数据平台 VeCDP全域数据集成数据种类、存储格式日趋增多,数据采集和同步门槛高,运维难?相关产品:DataSail数据存储计算数据种类、存储格式日趋增多,用户数据无法统一管理,且企业各部门之间的数据割裂,数据孤岛问题严重。相关产品:湖仓一体分析服务E-MapReduce数据分析加速数据随业务发挥而快速膨胀,现有数据技术滞后,无法支撑海量数据实时分析,从而制约了业务的增长。相关产品:ByteHouse数据研发治理数字化转型及中台建设面临数据孤立、协同研发交付周期长、产出不及时、资产管理难、数据安全无保障等困境。相关产品:大数据研发治理套件 DataLeap数据分析洞察业务需求频繁变化难以应对;数据量过大性能和实效性无法保证;用户被动接收数据,数据赋能无法落地。相关产品:智能数据洞察 DataWind行为数据分析您的用户数据分散在各个不同的客户端,没有有效工具实现统一快速采集并打通,怎么办?相关产品:增长分析 DataFinder多源数据整合用户触点日趋增多,多渠道用户数据无法统一管理,且企业各部门之间的数据割裂,数据孤岛问题严重。相关产品:客户数据平台 VeCDP应用场景&解决方案丰富的应用场景和解决方案,满足多种业务需求业务数据分析产品迭代流失用户挽回私域用户运营数据指挥中心数据中台建设大数据搬站智能湖仓一体智能算法推荐智能数据洞察日报/周报/月报定时推送,异常数据即时预警,让数据追人;异常波动一键点击即可获得维度拆解,让数据指导业务。配置:智能数据洞察SaaS 标准版智能数据洞察SaaS 专业版价格:商务报价优惠咨询A/B测试产品功能迭代和运营策略如何选择?A/B实验科学验证,帮您找出更好选择,助力业务增长。配置:A/B测试 每月5万 MTU量价格:¥12,825/3个月优惠咨询客户数据平台+增长营销平台构建流失预测模型、洞察流失人群,制定个性化运营策略,最大化延长用户生命周期。配置:客户数据平台标准版增长营销平台标准版价格:¥200,000/年 起优惠咨询增长分析+客户数据平台+增长营销平台制定分层运营策略,通过多种渠道自动、持续触达用户,通过数据分析优化策略,全面提升用户转化。配置:增长分析SaaS 标准版客户数据平台SaaS 标准版增长营销平台SaaS 标准版价格:¥60,000/年 起优惠咨询智能数据洞察低门槛、低成本构建 2D/3D 酷炫一站式数据指挥中心。配置:智能数据洞察SaaS 专业版价格:商务报价优惠咨询大数据研发治理套件+湖仓一体分析服务在数字化转型过程中,企业希望搭建功能完备的数据中台,面向业务提供服务能力,包括汇聚全企业数据,提升数据研发效率,明确数据资产,保证数据质量和数据安全等。配置:DataLeap公有云大数据分析版湖仓一体分析服务公有云版价格:¥4,000/月 起优惠咨询云原生开源大数据平台企业将自建开源大数据平台迁移上云,充分利用云上生态产品能力,并紧密跟随开源生态最新稳定版本,同时满足未来高速业务发展和长期技术演进的需求。配置:E-MapReduce 公有云按量付费价格:¥0.02/核/小时 起优惠咨询湖仓一体分析服务跨源关联各类数据(结构、非结构、文件等),统一管理元数据,支持海量数据的智能入仓、实时分析,轻松构建企业智能实时湖仓。配置:湖仓一体分析服务公有云版价格:¥15,360/月 起优惠咨询增长营销平台具备营销对象圈选、营销时机预估、内容/商品匹配预测、权益意向度预测、商品推荐等多个营销环节的算法建模能力,实现高价值营销人群圈选、新客拉新/留存/转化、流失用户预测与召回等用户全生命周期建模,直接提升业务核心指标。配置:增长营销平台SaaS版 每月10万DAU价格:¥70,000/年优惠咨询业务数据分析日报/周报/月报定时推送,异常数据即时预警,让数据追人;异常波动一键点击即可获得维度拆解,让数据指导业务。优惠咨询相关产品:智能数据洞察SaaS 标准版智能数据洞察SaaS 专业版产品迭代产品功能迭代和运营策略如何选择?A/B实验科学验证,帮您找出更好选择,助力业务增长。优惠咨询相关产品:A/B测试 每月5万 MTU量流失用户挽回构建流失预测模型、洞察流失人群,制定个性化运营策略,最大化延长用户生命周期。优惠咨询相关产品:客户数据平台标准版增长营销平台标准版私域用户运营制定分层运营策略,通过多种渠道自动、持续触达用户,通过数据分析优化策略,全面提升用户转化。优惠咨询相关产品:增长分析SaaS 标准版客户数据平台SaaS 标准版增长营销平台SaaS 标准版数据指挥中心低门槛、低成本构建 2D/3D 酷炫一站式数据指挥中心。优惠咨询相关产品:智能数据洞察SaaS 专业版数据中台建设在数字化转型过程中,企业希望搭建功能完备的数据中台,面向业务提供服务能力,包括汇聚全企业数据,提升数据研发效率,明确数据资产,保证数据质量和数据安全等。优惠咨询相关产品:DataLeap公有云大数据分析版湖仓一体分析服务公有云版大数据搬站企业将自建开源大数据平台迁移上云,充分利用云上生态产品能力,并紧密跟随开源生态最新稳定版本,同时满足未来高速业务发展和长期技术演进的需求。优惠咨询相关产品:E-MapReduce 公有云按量付费智能湖仓一体跨源关联各类数据(结构、非结构、文件等),统一管理元数据,支持海量数据的智能入仓、实时分析,轻松构建企业智能实时湖仓。优惠咨询相关产品:湖仓一体分析服务公有云版智能算法推荐具备营销对象圈选、营销时机预估、内容/商品匹配预测、权益意向度预测、商品推荐等多个营销环节的算法建模能力,实现高价值营销人群圈选、新客拉新/留存/转化、流失用户预测与召回等用户全生命周期建模,直接提升业务核心指标。优惠咨询相关产品:增长营销平台SaaS版 每月10万DAU业务数据分析智能数据洞察日报/周报/月报定时推送,异常数据即时预警,让数据追人;异常波动一键点击即可获得维度拆解,让数据指导业务。智能数据洞察SaaS 标准版智能数据洞察SaaS 专业版价格:商务报价优惠咨询产品迭代A/B测试产品功能迭代和运营策略如何选择?A/B实验科学验证,帮您找出更好选择,助力业务增长。A/B测试 每月5万 MTU量价格:¥12,825/3个月优惠咨询流失用户挽回客户数据平台+增长营销平台构建流失预测模型、洞察流失人群,制定个性化运营策略,最大化延长用户生命周期。客户数据平台标准版增长营销平台标准版价格:¥200,000/年 起优惠咨询私域用户运营增长分析+客户数据平台+增长营销平台制定分层运营策略,通过多种渠道自动、持续触达用户,通过数据分析优化策略,全面提升用户转化。增长分析SaaS 标准版客户数据平台SaaS 标准版增长营销平台SaaS 标准版价格:¥60,000/年 起优惠咨询数据指挥中心智能数据洞察低门槛、低成本构建 2D/3D 酷炫一站式数据指挥中心。智能数据洞察SaaS 专业版价格:商务报价优惠咨询数据中台建设大数据研发治理套件+湖仓一体分析服务在数字化转型过程中,企业希望搭建功能完备的数据中台,面向业务提供服务能力,包括汇聚全企业数据,提升数据研发效率,明确数据资产,保证数据质量和数据安全等。DataLeap公有云大数据分析版湖仓一体分析服务公有云版价格:¥4,000/月 起优惠咨询大数据搬站云原生开源大数据平台企业将自建开源大数据平台迁移上云,充分利用云上生态产品能力,并紧密跟随开源生态最新稳定版本,同时满足未来高速业务发展和长期技术演进的需求。E-MapReduce 公有云按量付费价格:¥0.02/核/小时 起优惠咨询智能湖仓一体湖仓一体分析服务跨源关联各类数据(结构、非结构、文件等),统一管理元数据,支持海量数据的智能入仓、实时分析,轻松构建企业智能实时湖仓。湖仓一体分析服务公有云版价格:¥15,360/月 起优惠咨询智能算法推荐增长营销平台具备营销对象圈选、营销时机预估、内容/商品匹配预测、权益意向度预测、商品推荐等多个营销环节的算法建模能力,实现高价值营销人群圈选、新客拉新/留存/转化、流失用户预测与召回等用户全生命周期建模,直接提升业务核心指标。增长营销平台SaaS版 每月10万DAU价格:¥70,000/年优惠咨询产品试用专区差异化版本满足不同企业需求差异化版本满足不同企业需求增长分析 DataFinder一站式用户分析与运营平台,为企业提供数字化消费者行为分析洞见,提升企业效益。A/B测试 DataTester智能数据洞察 DataWind个人可用DataFinder-30天限免版为企业提供数字化消费者行为分析洞见2百万事件量低门槛深度体验产品能力功能完备,开箱即用支持多样化业务分析场景¥0元省20000元/年免费试用个人可用Datatester-30天限免版丰富实验功能,帮助企业科学决策1亿事件量科学的实验设计和统计评估丰富的实验类型,灵活的分流机制智能优化:低成本获取更大收益¥0元省3563元/30天免费试用个人可用DataWind-30天限免版开箱即用,构建企业数据数据产品专业版多源数据整合,亿级数据秒级查询场景化分析智能归因、监控报警二维三维组件搭建酷炫大屏¥0元省8200元/30天免费试用个人可用DataFinder-30天限免版为企业提供数字化消费者行为分析洞见2百万事件量低门槛深度体验产品能力功能完备,开箱即用支持多样化业务分析场景¥0元省20000元/年免费试用个人可用Datatester-30天限免版丰富实验功能,帮助企业科学决策1亿事件量科学的实验设计和统计评估丰富的实验类型,灵活的分流机制智能优化:低成本获取更大收益¥0元省3563元/30天免费试用个人可用DataWind-30天限免版开箱即用,构建企业数据数据产品专业版多源数据整合,亿级数据秒级查询场景化分析智能归因、监控报警二维三维组件搭建酷炫大屏¥0元省8200元/30天免费试用产品动态2023/9-2023/10数据中台产品双月刊 VOL.08数据中台产品双月产品动态一览;全面解读数智化转型背景下的火山引擎数据飞轮模式在数据资产建设上的技术与实践。2023/9/192023火山引擎数据驱动科技峰会在上海举办的“数据飞轮·2023火山引擎V-Tech数据驱动科技峰会”上,火山引擎提出了数据驱动的新范式——数据飞轮。2023/7-2023/9增长营销产品季刊 VOL.07增长营销产品季度动态一览;AI加持后的火山引擎数据飞轮,能为企业带来哪些新变化?2023/7-2023/8数据中台产品双月刊 VOL.07数据中台产品双月产品动态一览,包含产品功能迭代、重点功能介绍、最新活动、技术干货文章等多个有趣、有料的模块内容。2023/4-2023/6增长营销产品季刊 VOL.06增长营销产品季度动态一览;从飞书妙记秒开率提升,看火山引擎A/B测试在研发场景的应用。2023/5-2023/6数据中台产品双月刊 VOL.06数据中台产品双月动态一览;火山引擎 DataLeap 联合 DataFun 发布《数据治理知识地图》!2023/1-2023/3增长营销产品季刊 VOL.05增长营销产品季度动态一览,包含产品功能迭代、重点功能介绍、最新活动、技术干货文章等多个有趣、有料的模块内容。2023/3-2023/4数据中台产品双月刊 VOL.05数据中台产品双月产品动态一览,包含产品功能迭代、重点功能介绍、最新活动、技术干货文章等多个有趣、有料的模块内容。2022/11-2022/12增长营销产品双月刊 VOL.04增长营销产品动态一览;第七期火山引擎数智平台VeDI 「增长课堂」直播活动成功举办。2022/11-2022/12增长营销产品双月刊 VOL.04增长营销产品动态一览;第七期火山引擎数智平台VeDI 「增长课堂」直播活动成功举办。2023/1-2023/2数据中台产品双月刊 VOL.04数据中台产品双月产品动态一览,包含产品功能迭代、重点功能介绍、最新活动、技术干货文章等多个有趣、有料的模块内容。2022/9-2022/10增长营销产品双月 VOL.03增长营销产品动态一览,包含产品功能迭代、重点功能介绍、最新活动、技术干货文章等多个有趣、有料的模块内容。2023/9-2023/10数据中台产品双月刊 VOL.08数据中台产品双月产品动态一览;全面解读数智化转型背景下的火山引擎数据飞轮模式在数据资产建设上的技术与实践。2023/9/192023火山引擎数据驱动科技峰会在上海举办的“数据飞轮·2023火山引擎V-Tech数据驱动科技峰会”上,火山引擎提出了数据驱动的新范式——数据飞轮。2023/7-2023/9增长营销产品季刊 VOL.07增长营销产品季度动态一览;AI加持后的火山引擎数据飞轮,能为企业带来哪些新变化?2023/7-2023/8数据中台产品双月刊 VOL.07数据中台产品双月产品动态一览,包含产品功能迭代、重点功能介绍、最新活动、技术干货文章等多个有趣、有料的模块内容。为海量企业提供大数据产品与服务众多优秀客户的共同选择一键开启云上增长新空间专业的解决方案、领先的产品帮您实现业务的爆发式增长立即咨询一键启动火山引擎之旅联系我们

字节跳动

字节跳动

关于我们我们的产品新闻动态企业社会责任加入我们企业社会责任报告2022企业社会责任报告2021企业社会责任报告2020企业社会责任报告2019企业社会责任报告2018企业社会责任报告责任战略北京字节跳动以“正直向善、科技创新、创造价值、担当责任、合作共赢”作为公司的社会责任理念,高度重视公司社会责任管理与建设;依托公司产品与技术,结合字节跳动公益平台与北京字节跳动公益基金会,聚焦“推动科技普惠”、“丰富文化生活”、“增进社会福祉”、“共创绿色未来”四大方向,推动公司产品价值、商业价值、社会价值的统一。推动科技普惠字节跳动公益平台字节跳动公益平台是由民政部指定互联网公开募捐信息平台,于2021年11月正式上线。平台致力于将传统公益活动的各个参与方集结在一起,为公益机构提供公益信息发布渠道,为用户提供公益参与渠道。结合抖音、今日头条、西瓜视频等字节产品特色,通过公益信息的传递,高效率连接公益信息与社会资源,让人人能够便捷参与公益的平台。

通过字节跳动公益平台,公益机构可以在抖音、今日头条、西瓜视频上筹款,来开展公益项目、解决社会问题。西瓜视频无障碍影院2021年6月,西瓜视频无障碍影院频道上线,通过配音解说和对白以外的电影场景描述,让视障人士真正“听懂”电影。截至2021年底,已上线80部无障碍电影,在抖音、今日头条亦可观看。

西瓜无障碍影院源自公益Hackathon比赛员工的创意方案,后由产品研发、设计团队牵头,启用专门对接媒体资源和配音的团队,10余名员工志愿者参与撰写脚本及配音,助力将普通的电影转化为专供视力障碍者观看的无障碍电影。让老年人更好地享受数字生活考虑到老年用户的身体机能和认知特点,针对产品功能也进行了精准的适老化改造,抖音推出“长辈模式”、今日头条上线“大字模式”,解决了老年用户不会用、看不清等问题。为更好地聆听老年人需求,抖音发起“老友计划”,包括招募老年用户代表、召开老年朋友见面会和走进社区等活动,并推出老友客服专线;同时,线上发起“老友守护联盟”,线下开展“银龄时代”、“银杏家园”等公益项目,帮助老年人更好地融入数字生活。丰富文化生活古籍保护与活化2021年6月,字节跳动联合中国文物保护基金会成立字节跳动古籍保护专项基金,首期投入1000万元,定向资助古籍修复、古籍活化、古籍数字化等项目。在未来1-2年,将资助修复包括《永乐大典》“湖”字册在内的105册(件)古籍,并培养100名古籍修复人才。更多信息,请访问识典古籍院士开讲2021年10月,中国科协打造的“科创中国”与抖音共同创办《科创中国·院士开讲》栏目,邀请国内知名院士在今日头条、抖音、西瓜等平台讲授各种顶尖科技知识。助力非遗传承抖音发起“非遗合伙人”、“看见手艺计划”等项目,通过提供资源扶持、官方培训、运营服务等,让更多人看见和喜欢非遗,助力非遗传承和保护。

“看见手艺计划”推出“黄河流域守护人”专项活动,走进黄河流域9省(区),利用短视频和直播电商,全方位助力黄河流域非遗保护与传承和传统手艺发展。截至2021年10月,共有4950位黄河流域非遗传承人通过平台获得收益。抖音开学公开课2021年9月,抖音举办“方寸之间,遇见知识——抖音开学公开课”活动,邀请洪子诚、戴锦华等8位来自清华大学、北京大学、中国科学院大学、武汉大学的教授学者,围绕文学、电影史、物理学、生物学等领域直播分享通识知识,拉近更多普通人与知识的距离。扬帆计划2021年7月,抖音启动第一期“扬帆计划”,吸引高校学者与文化人士参与,直播分享文化、艺术、读书、历史、外语、教育、哲学、地理、经济等九个专业领域的知识,鼓励更多人参与知识直播,以满足当下快速增长的学习需求。跨年科学演讲2021年12月29日至31日,中科院科学传播局与抖音联合举办“中国科学院2022跨年科学演讲”,中科院院士武向平、中国古动物馆馆长王原、中科院物理所研究员曹则贤等科学家们在“中科院物理所”的抖音直播间,为网友带来丰富的科学知识;内容从人类起源到中科院最新创新成果,从“黑土粮仓”到量子革命,从一元二次方程到规范场论等。《十万个为什么》系列短视频2021年12月,抖音联合少年儿童出版社共同推出《十万个为什么》系列短视频,邀请知名院士和教授,中科院物理所、厦门科技馆、《博物》杂志等科普机构以及抖音科普创作者共同参与其中,以实验、动画、实景装置等形式展示和讲解,推动全社会形成讲科学、爱科学、尊重科学和崇尚科学的氛围。西瓜视频推出科学纪录片《宇宙》《宇宙》是由西瓜视频、CCTV-9、BBC联合出品的科学纪录片,于2021年11月起在西瓜视频和鲜时光TV全网独播,同时在CCTV-9电视端播出。纪录片借助神奇的CGI特效、最新的科学研究成果和一系列空间望远镜拍摄到的影像资料,让观众沉浸于浩瀚宇宙的故事之中。连接艺术生活抖音持续为艺术作者提供展示自我、传播艺术的机会,向用户带来新锐和深刻的潮流艺术与文化体验。我们希望借助短视频和直播的力量,拉近艺术与大众的距离,构建全民艺术交流平台。蔡国强、村上隆、Mr Doodle 等知名艺术家在抖音为用户带来更丰富的艺术内容。

抖音与多个艺术展览合作,将线下艺术展搬上抖音。2021年9月,中国美术馆、木木美术馆等8家艺术机构与抖音联合发起了“DOU来看展”,将展品以抖音的短视频、特效和直播进行线上展出。抖音“艺术·创造·生活”艺术创作者大会2021年3月,抖音举办“艺术·创造·生活”艺术创作者大会。超过200位抖音艺术创作者参会,并在现场就抖音连通高雅艺术与大众审美的合理性、新内容体裁给艺术表达带来的新机遇等议题,进行了交流。会上,国家大剧院、中国油画学会、上海芭蕾舞团等8家艺术机构,担任“抖音艺术指导机构”;钢琴家郎朗、豫剧名家汪荃珍等11位艺术文化名家出任“抖音艺术顾问”。增进社会福祉山货上头条字节跳动公益和抖音电商共同打造“山货上头条”项目,基于抖音电商的“内容电商”能力,联合区域共同巩固产业基础、共建助农产品标准、优化营销路径、将特色、高品质的“山货”带出乡村;持续培训运营帮扶区域经营主体,带动农民增收;提升区域助农产业标准化、品牌化、集约化、数字化和可持续化,并辐射带动区域产业氛围和水平提升。山里DOU是好风光以抖音为主要平台,依托当地特色文旅资源打造品牌,助力乡村文旅。目前,“山里DOU是好风光”在抖音发起的话题活动累计播放量超过110亿次,其中,子话题#宝藏古村 话题累计播放量超过 56亿次。越来越多的乡村美好风光,走进大众视野;而乡村风土人情和文明风貌的优质内容,也吸引了更多游客到乡村旅游,带动当地文旅产业发展。字节乡村英才计划“乡村英才计划”是抖音数字学堂为促进乡村发展、推动乡村数字化人才培养发起的公益项目。面向乡村发展的主体企业、个人和青年学生提供商业管理、数字新媒体和产业数字化相关的知识、技能和素养培训。目标是培养复合型数字化人才,服务乡村和区域产业发展。乡村守护人“乡村守护人”计划,聚焦乡村“人”的角度,通过培训、创作者扶持等方式发掘本地乡村创作者,激励他们围绕乡村风貌、美食特产、特色民俗、生产劳作等内容方向进行长期创作,并通过电商、POI 等产品功能带动乡村产业可持续发展。益童成长平台益童成长平台由北京字节跳动与北京师范大学公益研究院合作开发,是一个供儿童和儿童教育工作者使用的开放性内容平台。截至2021年12月,益童成长平台输出17个主题活动方案,服务青少年2430人次。益校计划及益童美好空间2021年河南、山西暴雨发生后,北京字节跳动公益基金会联合中国教育发展基金会发起益校计划,支持当地灾后教育系统重建和恢复工作,已支持超过200所学校。此外,字节跳动公益启动“益童美好空间”项目,主要支持学校修缮重建和建设专属教室,同时也提供课外活动支持。益童乐园“益童乐园”是壹基金发起、由字节跳动公益提供支持的儿童公益项目,通过组建儿童友好空间、聘用当地专职儿童工作者开展儿童服务、提供优质儿童课外内容,帮助乡村儿童获得更好的校外陪伴、学习和成长,提升乡村儿童的自信心、好奇心和责任心。截至2021年12月,益童乐园累计服务儿童已达116.67万人次,志愿者参与2.6万人次。西部儿科医师培训计划字节跳动医务基金与中国红十字基金会合作,资助西部儿科医师到北京儿童医院等5家国家级儿科医学中心培训3个月,每年4期,目前已在贵州完成40人的两期培训。网络保护机制青少年网络保护一直备受社会关注,也是北京字节跳动长期努力的方向。抖音推出了未成年用户专属模式——青少年模式。2021年9月,抖音进一步升级未成年保护机制,成为行业首家推出14岁以下实名认证用户全部进入青少年模式的平台。助力应急救灾灾难面前,北京字节跳动发挥产品、技术的优势,为社会创造更大价值,与大家共克时艰。2021年,面对河南和山西地区水灾,以及国内新冠肺炎疫情的不定时发生,北京字节跳动针对不同突发事件出台相关紧急措施,为受灾群众提供资金物资援助,助力灾情应对。字节跳动医务基金2021年,字节跳动医务基金持续为因抗击疫情而不幸感染或殉职的医务工作者提供资助。截至2021年底,已为3737名医务工作者提供人道救助。其中,为3670名因抗击疫情而不幸感染的医务工作者,每人资助10万元;为67名因抗击疫情而不幸殉职的医务工作者,每个家庭资助100万元。2021年9月,字节跳动医务基金因“在抗击新冠肺炎疫情慈善领域作出突出贡献”,荣获第十一届“中华慈善奖”。头条寻人“头条寻人”项目借助平台、技术、庞大的用户量以及各地志愿者,按照地理定位将走失者相关信息通过手机弹窗和APP内优先推荐的方式推送给附近的人,帮助失散家庭寻找走失者。自2016年启动以来,该项目累计帮助1.8余万个家庭团聚,相当于每天都有10个家庭因头条寻人而实现团圆。共创绿色未来绿色发展字节跳动采用节能环保的数据中心(IDC)建设方案,根据数据业务特性上线定制化的压缩算法, 节省存储空间约1400PB,相当于减少了约14000台服务器的使用能耗;通过编码算法优化,节省存储空间100PB, 相当于减少了约1000台服务器的使用能耗。同时,字节跳动积极推进办公场所的节能改造,以减少自身运营对环境的影响。抖音自然为了更好地带动用户关注生物多样性保护,并将关注转化为公益行动,字节跳动公益和抖音联合发起抖音自然项目。通过抖音自然,用户不仅可以学习和分享动植物知识,还可以通过捐赠自然能量参与守护生物多样性。抖音将根据用户捐赠的能量,配捐支持野生动植物保护。目前,抖音自然已经上线三江源雪豹保护地、黄泥河东北虎保护地,共有2600万人参与守护。鼓励员工参与公益充电行动2021年劳动节假期,跳跳糖员工公益招募了9位大力教育团队志愿者,和北师大的教育专家一起组成了为乡村儿童“充电”的“充电小组”。他们离开城市,来到贵阳市批林村的花溪益童乐园,用一个假期的时间和孩子们生活在一起。他们用教育者的视角,观察、调研乡村儿童的学习、生活、健康状况,用自己的专业优势为孩子们构建出专业、系统、丰富有趣的儿童课外活动内容体系。跳跳糖公益伙伴计划“跳跳糖公益伙伴计划”是字节跳动公益于2021年发起的一项合作计划,为公益机构提供项目资助和员工捐赠配捐机会,并提供更多资源支持,鼓励公益创新及员工志愿者技能型志愿服务,倡导社会各界关注并参与公益事业。银河系安居指南2021年7月,抖音设计团队联合跳跳糖员工公益开展公益团建,和心智障碍孩子们交流、共绘。抖音设计团队根据此次共绘图案进行二次创作,设计7张原创海报及26款公益文创产品,并在线上商城及线下工区发起义卖。文创产品售卖利润全部捐赠至心智障碍群体,助力他们获得艺术疗愈。维护健康的网络生态平台信息安全与隐私保护北京字节跳动致力于打造完善的信息安全管理体系,开展持续的信息安全审计,切实保护信息安全与用户隐私。同时,北京字节跳动致力于通过信息安全宣导来提升员工和大众的信息安全意识。对内,我们通过培训、知识漫画等多种形式,提升员工安全意识;对外,我们通过短视频、线上活动,普及信息安全知识。西瓜视频中视频伙伴计划原创保护2021年6月,西瓜视频联合12426版权监测中心和北京版权监测中心上线中视频伙伴计划,为创作者提供7×24小时全网维权监测服务。截至2021年12月,西瓜视频已经实现4450部原创作品的全网实时监测,共发现侵权作品11972个,投诉下架侵权链接9194条。可持续发展的经营与管理与员工共同成长北京字节跳动长期坚持平等多元化与非歧视的原则,为不同年龄、性别的人才提供海纳百川的包容环境。我们提供具有市场竞争力的薪酬与福利,并切实保障员工的各项合法权益;为积极了解员工的意见和建议,还发起“面对面”“字节跳动吐槽会”等活动,并借助“随时反馈”工具和一对一访谈调研,创造坦诚沟通的机会。

为员工创造良好的成长环境,提供丰富的学习资源和广阔的发展空间,新员工经由系统培训快速融入后,在各业务线也能获得针对性的专业能力培训,从而实现自我成长。与员工共享幸福北京字节跳动始终关注员工的身心健康,倡导工作与生活平衡。我们为员工打造健康安全的工作环境,以及提供年度体检、心理关怀等项目守护员工健康。同时,我们通过为员工组织丰富多元的业余活动,努力为员工营造温暖的工作氛围,提升员工的幸福感。关于我们企业文化行为准则大事记我们的产品联系我们新闻动态公司新闻数据报告企业社会责任社会责任动态字节跳动公益官网加入我们招聘官网中文简English中文简© 2012-2022 字节跳动京公网安备 11000002002068号京ICP备12025439