Outbrain科技博客最近的帖子

2021年1月20日
Avi亚Avi亚

这是Hadoop的又一次迁移——但是从人类的角度

图片由 苗条的主持人 on Unsplash

这篇博客是冰球突破豪华版官网上次的Hadoop迁移，但从不同的角度, 而不是描述它的技术方面(别担心, 我将更多地关注人类的视角, 冰球突破豪华版官网是如何以及为什么决定从(注意力, 剧透警告!!!)商业到社区的解决方案.

Background

但首先要说明的是，Outbrain是世界领先的内容发现平台. 冰球突破豪华版官网每个月提供超过4000亿份内容推荐, 全世界超过10亿的用户. 为了支持这么大的规模, 冰球突破豪华版官网有一个由数千个微服务构建的后端系统，运行在Kubernetes容器中，分布在3个数据中心和公共云(GCP)中的7000多台物理机器上 & AWS). 为了使冰球突破豪华版官网提供的建议对冰球突破豪华版官网的读者有价值，冰球突破豪华版官网在个性化方面投入了尽可能多的精力. 为了实现这一目标，冰球突破豪华版官网在Hadoop生态系统的后台运行了大量的机器学习算法，这使得它成为冰球突破豪华版官网业务的一个非常关键的系统, 冰球突破豪华版官网有两种Hadoop集群: 

  • 在线—冰球突破豪华版官网在裸金属机器上运行两个完全容灾模式的集群, 它们用于在线服务活动.
  • 研究——冰球突破豪华版官网有几个集群(每组和使用)运行在GCP中, 它们被用于研究和线下活动.

每个集群每天获得超过50TB的新数据，执行的作业超过10K.

触发器

几年前，冰球突破豪华版官网迁移了在线Hadoop集群来使用MapR商业解决方案(您可以在 迁移的大象 博客)，它有很多改进，冰球突破豪华版官网享受冰球突破豪华版官网得到的支持. 但几年后, 冰球突破豪华版官网的Hadoop使用量急剧增加，这使冰球突破豪华版官网在支持这个系统方面变得非常专业, 冰球突破豪华版官网提高了冰球突破豪华版官网的知识，冰球突破豪华版官网可以自己处理事情，而不是依赖外部资源来解决问题(这是使用商业解决方案的好处之一). So, 在许可证更新前的几个月，冰球突破豪华版官网想要得到一个决定，那就是冰球突破豪华版官网继续这个系统的最佳方式.

冰球突破豪华版官网知道这需要一些时间，直到冰球突破豪华版官网将在生产中提出新的解决方案, 冰球突破豪华版官网需要确保当前的系统将继续运行，所以冰球突破豪华版官网采取了以下行动，以缓解时间因素:

  • MapR也有一个社区版本, 冰球突破豪华版官网绘制了它与商业版本之间的区别, 冰球突破豪华版官网需要解决的主要问题有:
    • 无HA解决方案(针对CLDB, 主管理服务)——为此，冰球突破豪华版官网实现了自己的定制解决方案
    • 只支持单个NFS端点——冰球突破豪华版官网的一些用例将大量的数据从Hadoop复制到一个独立的DB中，因此冰球突破豪华版官网需要一个可伸缩的解决方案, 冰球突破豪华版官网最终得到了一个内部的FUSE实现  
  • 因为冰球突破豪华版官网在DR模式中有两个集群, 冰球突破豪华版官网能够测试和运行社区版本与商业版本并行
  • 只是为案例, 冰球突破豪华版官网确保冰球突破豪华版官网可以只延长几个月的许可证，而不是3年的承诺

这些行动使冰球突破豪华版官网能够在没有任何压力的情况下做出正确的决定, 冰球突破豪华版官网确保冰球突破豪华版官网将能够使用社区版本运行系统，直到冰球突破豪华版官网有了新的解决方案.

选择

冰球突破豪华版官网想出了这些替代方案:

  1. 继续使用MapR商业版——冰球突破豪华版官网不想继续使用社区版(没有大的用户采用和支持).
  2. 迁移到云era商业版本
  3. Migrate to 云era community version – this option was dropped immediately since the amount of nodes we had (>100) exceeded the limitation of using the community version
  4. 迁移到Apache Hadoop社区解决方案
  5. 迁移到谷歌云——就像冰球突破豪华版官网对冰球突破豪华版官网的研究集群所做的一样

以便能够对这些选项进行比较, 冰球突破豪华版官网首先定义了有助于确定所选方案的度量, 冰球突破豪华版官网总结如下表:

还有其他的测量方法，如成本和需要额外的人员, 但它们不是冰球突破豪华版官网做决定的因素.

这个决定

在冰球突破豪华版官网成功地将研究集群迁移到GCP之后(您可以在 Hadoop的研究之旅 博客系列), 冰球突破豪华版官网很多人认为，一旦冰球突破豪华版官网需要迁移在线集群, 它们也将被迁移到GCP. 但就像在现实生活中一样，需要根据每种情况的特点来处理. 我有4个孩子，我希望有一种单一的方式来管理他们, 但现实是，每一种方法都需要不同的方法和态度. 冰球突破豪华版官网的Hadoop集群也是如此, 每个人都有自己的特点，所以每个人都有不同的要求和需求, 它们的用途不同，所以对一方有利的不一定对另一方有利. 由于在线集群的性质(需要大量计算, 更少的存储)，冰球突破豪华版官网意识到冰球突破豪华版官网将无法像研究集群那样从云特性(弹性和计算存储分离)中获益. 

如前所述，冰球突破豪华版官网需要为冰球突破豪华版官网的在线集群提供另一种解决方案. 根据这个结论，很明显，选择的解决方案将来自裸金属替代品之一. 这让冰球突破豪华版官网不得不在社区版本和商业版本之间做出选择, 冰球突破豪华版官网比较了每种选择的优缺点，但主要的问题是:冰球突破豪华版官网是想花钱购买许可证，还是花钱培训员工，让他们拥有更好的内部技能?

冰球突破豪华版官网发现，冰球突破豪华版官网的专业水平将产生最好的影响, 这将是一个双赢的局面, 冰球突破豪华版官网的用户(工程团队)将得到更好的服务，冰球突破豪华版官网将投资于冰球突破豪华版官网的人员. 根据文章的标题，冰球突破豪华版官网从人类的角度进行了剖析. 话虽如此，很明显，获胜的选择是 Apache Hadoop 社区.

迁移(简而言之)

迁移需要在系统本身继续作为生产系统运行时进行, 这意味着冰球突破豪华版官网需要在用户不受影响的情况下继续向他们提供相同的服务. 因为冰球突破豪华版官网有两组独立的数据中心, 所以冰球突破豪华版官网一次做一个集群, 每一个都以滚动的方式进行, 冰球突破豪华版官网从一个小型Apache集群开始，经过几个周期，冰球突破豪华版官网成功地将工作负载从MapR集群转移到它.

数据迁移

  • 新数据——冰球突破豪华版官网开始将新数据吸收到集群中, 它是通过集成Apache集群和冰球突破豪华版官网的数据传输管道来实现的
  • 历史数据——大多数工作负载都需要一些历史数据来进行处理, 因为迁移是循环的, 冰球突破豪华版官网只复制每个周期所需的数据

工作负载迁移

冰球突破豪华版官网重复了以下步骤，直到冰球突破豪华版官网成功地迁移了整个工作负载:

  • 将部分作业从MapR集群转移到Apache集群
  • 停止MapR集群中迁移的任务
  • 将机器从MapR移动到Apache集群

执行这些循环的能力要归功于冰球突破豪华版官网所做的映射, 考虑到作业和集群容量之间的依赖关系，冰球突破豪华版官网定义了可以一起移动的作业组. 上一个循环包含了所有相互紧密联系的工作，不可能被分开. 

当然还有很多其他的技术细节，但它们是一个单独的博客的主题.

成就

迁移是一个巨大的成功，这是所有相关工程团队的充分合作. 在准备了几个月之后, 在很短的时间内(每个集群大约需要1个月)，冰球突破豪华版官网就完成了这个任务.

现在冰球突破豪华版官网可以总结一下冰球突破豪华版官网的成果:

  • 人的因素——冰球突破豪华版官网的员工提高了他们的技术技能，在支持Hadoop系统方面变得更加专业 
  • 冰球突破豪华版官网正在使用开源软件——有很多文章描述了使用开源软件的好处:灵活性和敏捷性, 速度, 成本效益, 吸引更好的人才等.
  • 改进了集群性能——使用相同数量的内核(实际上更少), 所有作业完成它们的处理至少快2倍. 例如，在下面的图表中，您可以看到的处理时间 hourlyFactFlowFaliCreationInHiveJob 在Apache vs. MapR
  • 清理——作为迁移的准备工作，冰球突破豪华版官网映射了将要迁移的存储和工作负载, 这使冰球突破豪华版官网能够在可能的情况下执行清理
    • 存储-冰球突破豪华版官网可以删除更多 700TB 从哪里减少了集群容量 73% to 49%，你可以在下面的图表中看到影响
  • 工作负载——冰球突破豪华版官网禁用了超过 800 工作岗位几乎占总数的一半(今天冰球突破豪华版官网有950个工作岗位). 除了, 冰球突破豪华版官网与工作的所有者进行了一些排序，所以冰球突破豪华版官网现在只有16个所有者集团，而不是19个
  • 技术债——转向开源软件的优势之一是能够使用所有集成包的最新版本，并且能够集成更多的包, 在使用商业解决方案时，这种能力有时会缺失. 在冰球突破豪华版官网的案例中，冰球突破豪华版官网能够:
    • 升级冰球突破豪华版官网的Spark工作(版本2.3) 
    • 升级冰球突破豪华版官网的SparkStreaming作业(版本2.4)
    • Presto作为另一项服务实现，它提供一个高性能查询引擎，可以在一个查询中组合很少的数据源.

跋

将冰球突破豪华版官网的一个关键系统从商业版本迁移到社区版本的决定并不容易做出, 这有一定的风险，但根据博客的标题, 冰球突破豪华版官网是从人类的角度来做的, 当你在人们身上投资的时候，你会得到回报. 

做出如此勇敢的决定需要强有力的领导, 从本质上讲，很少有怀疑主义的人害怕改变, 尤其是在如此关键的系统中发生了如此大的变化. 冰球突破豪华版官网需要下定决心，表达对人民和这一进程的信心, 所有人都必须致力于并参与这一决定.

总结一下, 从人类的角度和技术的角度来看，这次迁移都是一次巨大的成功, 这是一个团队的努力，冰球突破豪华版官网都在享受它的结果. 每个Hadoop集群都有不同的解决方案, 就像在现实生活中, 试着遵循个案分析的原则.

2020年12月14日
Avi YoukhananovAvi Youkhananov

更快的Maven CI友好版本和定制的flatten插件

maven更快的发布速度
by Lightspring

厌倦了等待maven的发布? 冰球突破豪华版官网找到了一种方法，可以将发布时间缩短一半. 冰球突破豪华版官网在Outbrain的每个团队都在自己的存储库中负责自己的服务代码. 然而, 冰球突破豪华版官网的团队还共享一个大型的基于Maven的存储库，其中包含了作为Maven工件发布的模块(库). 模块发布后，团队就可以使用它了. 因此, 共享存储库——与服务代码不同, 哪些是在单个团队库中管理的——作为管理团队库的集中地.

因为冰球突破豪华版官网的共享存储库有数百个由多个团队管理的模块, 在发布过程中，冰球突破豪华版官网开始面对失败, 发布时间也大幅增加. 冰球突破豪华版官网决定解决这个问题，以提高效率.

冰球突破豪华版官网想出的解决办法是搬到 Maven Ci友好版本， 它消除了竞争条件. (Maven发布插件涉及到一个git提交阶段来改变pom.xml版本, 但是，如果提交哈希集过期，则无法推送更改, 提示构建失败.)

此外，冰球突破豪华版官网停止使用 Maven版本插件加快冰球突破豪华版官网的释放进程.

再见，发布插件.

直到最近，冰球突破豪华版官网一直在使用 Maven版本插件 为了释放冰球突破豪华版官网的库. 插件有两个步骤，涉及不同的命令(发布:准备, 发布:执行).

“准备”和“执行”目标涉及多次构建项目. 此外，一次只能触发一个释放- i.e., 由于前面描述的竞态条件，多个版本不能同时运行—您必须等待当前版本完成后才能启动下一个版本. 对于像冰球突破豪华版官网这样需要长时间构建的项目，这是一个很大的障碍. Maven发布版插件的运行时间太长了.

欢迎，Maven ci友好版
与Maven发行版插件方法相比，冰球突破豪华版官网采用的方法是轻量级的，并且允许多个发行版同时被触发和运行. 

与使用release插件相比，这种方法有以下优点:

Maven ci友好的设置

Monorepo的结构(遵循父-子层次结构)允许冰球突破豪华版官网轻松地转换所有pom.从硬编码版本到${修订}属性的XML文件作为冰球突破豪华版官网的工件版本, 哪些也可以被重写.

为了避免重新定义 修订 属性时，冰球突破豪华版官网定义了 修订 属性中的.xml.

这是一个儿童彩球.xml:


 
  ci-friendly-parent  com.冰球突破豪华版.example
  ${修订}
 
 ci-friendly-child
 CI Friendly Child

这是母花.xml:


 com.冰球突破豪华版.example
 ci-friendly-parent
 CI Friendly Parent
 ${修订}
 
   <修订>1.0.0-SNAPSHOT

如你所见，冰球突破豪华版官网使用CI友好版本 修订 属性，现在设置发出本地构建以验证定义是否正确.

为了发布本地构建，冰球突破豪华版官网调用
 mvn清洁包 像往常一样. 这导致了工件版本1.0.0-SNAPSHOT.

想要更改工件版本? 容易.
使用如下命令:

mvn清洁包 - 修订=

Maven发布版插件使用了pom中的版本.XML定义要发布的下一个版本. 如果一个开发pom.XML保存的版本值为1.0-SNAPSHOT则发布版本为1.0.
然后将该值提交给pom.xml文件. 
最后，冰球突破豪华版官网可以在pom中避免那些提交和硬编码版本.xml文件.

安装/部署

在 Maven Ci友好版本 指南中提到了 平maven插件 如果您想要部署或安装工件，这是必要的吗. 如果没有这个插件，这个项目生成的工件就不能被其他Maven项目使用.

这是真的. 但，问题是 平Maven插件 再加上“resolveCiFriendliesOnly”选项 不工作 正如所料，由于 错误. Maven的flatten插件有点过于工程化了, 过于复杂的插件，不适合冰球突破豪华版官网的需要. 作为追随者 Unix哲学，冰球突破豪华版官网决定创建一个轻量级的自定义插件 Ci友好的flatten maven插件 它只替换${修订}、${sha}和${changelist}属性.

最后砰的一声.xml 


  
   com.冰球突破豪华版.example
   ci-friendly-parent
   CI Friendly Parent
   ${修订}
   
    <修订>1.0.0-SNAPSHOT
   

...

<构建>
   
    
      com.冰球突破豪华版.swinfra
      ci-friendly-flatten-maven-plugin
      FIND_HERE
      
       
          
            clean
            flatten


构建Maven Ci友好版本的桥梁

冰球突破豪华版官网决定过渡到 Maven Ci友好版本. 正如我之前提到的，由于 错误 在flatten插件中，冰球突破豪华版官网首先需要开发冰球突破豪华版官网的 自定义平插件. 在冰球突破豪华版官网的案例中, 冰球突破豪华版官网使用TeamCity来发布冰球突破豪华版官网的库, 从git获取发布版本并标记它(但值得注意的是，这个过程也适用于其他构建系统).

那么，发布步骤是什么样子的呢?

  1. 获取最新的git标签，增加它，并将结果写入修订.txt文件. 这是冰球突破豪华版官网将要发布的版本.
mvn ci-friendly-flatten:版本

2. 设置一个系统.冰球突破豪华版官网即将发布的版本的TeamCity参数, 为了在下面的步骤中使用此版本，需要这样做.

#!/bin/bash - x
VER_PATH = " % 团队city.构建.checkoutDir % /修订.txt”
牧师= '猫VER_PATH美元'
组+ x
回声”# # 团队city [setParameter name = '系统.版本价值= $牧师']”

3. 使用新版本部署jar文件.

mvn clean deploy -D修订=%系统.版本%

4. 用更新的版本标记当前的提交，并推送标记.

mvn ci-friendly-flatten: scmTag -D修订 = %系统.版本%


Maven-Release Plugin有两个提交和触发器 清洁/编译/测试 多次. 相比之下，新的发行过程依赖于冰球突破豪华版官网 自定义平插件 提交为零, 有效地消除了构建过程中提交的代码中的竞态条件导致的构建失败.

此外，在这个发布过程中，目标 清洁/编译/测试 只执行一次.

总的来说，冰球突破豪华版官网的新方法大大缩短了发布时间 50%从6+ min到3+ min.

最后，冰球突破豪华版官网在其他项目中也使用了这种方法. So, 而这个项目节省的时间是3分钟, 在另一个原本是22分钟的项目中, 自定义flatten插件从构建中削减了11分钟. 

所以，相信冰球突破豪华版官网吧. 没有必要陷入Maven flatten插件. 避免头痛. 你只需要切换到 Maven Ci友好版本 与冰球突破豪华版官网的习俗 Ci友好Flatten Maven插件.

2020年11月15日
阿里尔Kipervasser阿里尔Kipervasser

驯服熊(金属)

图片由 hansjurgen007 on Unsplash

介绍

在这篇博文中, 我将和你们分享合十礼背后的过程，合十礼是冰球突破豪华版官网创建的一个自动化工具, 为了管理冰球突破豪华版官网的裸金属机器需求, 作为冰球突破豪华版官网BMaaS方法的一部分(即裸金属即服务).

冰球突破豪华版官网是谁?

在深入研究冰球突破豪华版官网构建的新工具之前，让我介绍一下冰球突破豪华版官网的团队.

冰球突破豪华版官网是一个由4名DevOps工程师组成的团队，总部设在以色列, 管理美国3个数据中心的7000台裸金属服务器.

但是还有更多的东西. 当冰球突破豪华版官网说7000个服务器时，它包括:

  • 大约20种不同的服务器型号
  • 100多种不同的硬盘型号
  • 记忆棒…
  • cpu……
  • …raid卡
  • ..网卡
  • …的吧
  • ……以及以上所有因素的结合

所以有很多硬件配置选项和服务器的重用.

因为冰球突破豪华版官网位于以色列，而冰球突破豪华版官网的数据中心位于美国, 在每个数据中心, 冰球突破豪华版官网有一个全天候的支持团队来处理物理方面的一切. 他们的角色是冰球突破豪华版官网的“远程手和眼睛”的任何现场相关工作. 在这篇博文中，我将把它们称为“远程手”.

冰球突破豪华版官网所做的?

冰球突破豪华版官网将冰球突破豪华版官网的工作分为3个主要类型的任务:

计划的变化 ——冰球突破豪华版官网的 计划的变化 是在Jira管理的，主要是硬件相关的票是由冰球突破豪华版官网的客户打开的——大部分是云平台组的工程师. 冰球突破豪华版官网通常将这些票分为3种任务类型:

  • 硬件升级
  • 服务请求
  • 机器的要求 (冰球突破豪华版官网将在后面详细讨论)

这可以是升级服务器的资源, 处理可疑的硬件问题或构建一个新的集群.

意外的变化 -所有必须做的事 现在. 在工作时间，它可以是一个任务管理在Jira阻塞/关键票. 在非工作时间，它可以是一个传呼任务警报.

内部项目 -由冰球突破豪华版官网团队发起并决定管理的项目. 这些通常是冰球突破豪华版官网的用户不知道或真正关心的任务, 但这些任务更有趣，让冰球突破豪华版官网的用户和冰球突破豪华版官网的生活更好. 在本质上,冰球突破豪华版官网 内部项目 防止 意外的变化 ,使 计划的变化 更容易执行. 我将要讨论的新工具就属于这一类.

如果你想了解更多冰球突破豪华版官网是谁以及冰球突破豪华版官网是如何做事的, 我强烈建议你去看看这个 博客 我的同事阿迪寒鸦.

所面临的挑战

回顾过去，一年前冰球突破豪华版官网的任务是这样分配的:

计划变更- 75%

计划外变更- 15%

内部项目- 10%

这意味着90%的工作是手工劳动，10%是面向自动化的项目. 意思是这两种表达都相对缓慢, 由于大部分工作的高度重复性，人为错误和挫折的空间很大. 简单地说，它只是没有规模化.

冰球突破豪华版官网对这个问题的解决方案是制定一个愿景, 然后把它呈现给冰球突破豪华版官网的客户，让他们购买. 冰球突破豪华版官网的客户同意按他们的要求在交货时间上打折扣, 所以冰球突破豪华版官网可以专注于“内部项目”类别, 意图投资于自动化, 因此冰球突破豪华版官网执行的速度和健壮性.

冰球突破豪华版官网决定努力构建尽可能多的自动化流程, 以尽量减少花费在 计划的变化 和 意外的变化因为这些任务中有许多似乎很适合自动化.

“之前”的图景

当冰球突破豪华版官网开始迈向自动化之旅时, 为机器请求选择最合适的服务器的过程花费了冰球突破豪华版官网大量的时间.

它看起来是这样的:

图片由 tjholowaychuk on Unsplash
  1. 检查可用的硬件，并确认冰球突破豪华版官网有足够的空闲服务器来满足请求
  2. 通过仔细(和手动)确保满足硬件限制(适当的服务器形式因素)来选择最合适的硬件, 支持所需的驱动器数量, RAID适配器, 等)
  3. 将服务器保留在一个临时分配池中，这样就不会有其他人在处理它们时将它们用于其他用途
  4. 在冰球突破豪华版官网的库存系统中分配相关零件
  5. 将目标配置提交到冰球突破豪华版官网构建的远程的手管理系统中, 以便现场技术人员获得任务所需的信息(服务器设置和所需部件)
  6. 打开带有相关信息(服务器位置)的票据, 序列号, 等)到现场的远程手团队, 开始更改硬件配置

所有这些都必须在实际动手操作硬件之前完成.

此外，冰球突破豪华版官网还必须处理流程中的故障: 

  • 配置错误
  • 硬件不匹配
  • 人为错误
  • 错误的部分

“之后”的照片

冰球突破豪华版官网的工作过程, 但这花了很多时间, 有时一个请求要花上几个小时, 这取决于请求了多少服务器，以及需要对它们的配置进行哪些更改.

虽然冰球突破豪华版官网有一套工具，帮助冰球突破豪华版官网达到这个阶段-大大改进了冰球突破豪华版官网之前的过程, 这可能需要几天的时间来处理大量的需求——这可以让冰球突破豪华版官网维持下去，但仍然需要看起来完全不必要的手工劳动.

冰球突破豪华版官网对这个过程的设想是简化它，如下所示:

图片由 etiennescamera on Unsplash
  1. 提交对最终服务器配置的请求, 详细说明每个数据中心的服务器数量及其最终规格
  2. 喝咖啡的同时Namaste在后台处理一切, 包括打开《冰球突破豪华版官网》的门票
  3. 得到请求已被满足的通知

这个简化的过程将有代码处理元数据匹配, 分配和预订, 让冰球突破豪华版官网来处理被拒绝的事, 人类干预真的是必要的吗.

在幕后

每台机器请求匹配机器的流程:

  • 接受用户输入 -冰球突破豪华版官网输入服务器的需求，如数量、位置和规格
  • 执行机器匹配 -冰球突破豪华版官网构建的引擎返回所有符合要求的服务器, 其中一些可能是部分匹配(丢失驱动器, 更少的内存, 等)
  • 优先考虑 —根据匹配的服务器列表进行优先级排序:
    • 架的意识
    • 服务器形式
    • 驱动形式
    • 最接近要求规格的内核数
    • 为了使机器达到所要求的规格，需要进行硬件更改
  • 储备的机器 —预留优先级服务器到临时池中，避免重复分配 
  • 执行部分匹配 -决定使用哪些部分来将保留的服务器带到所要求的规格，在任何需要的地方
  • 保留部分 -将所选零件保留在库存中，避免重复分配
  • 将机器设置为目标规格 —在服务器上标记需要修改的内容, 因此，当现场支持团队开始完成工作订单时, 他们会将iPad连接到每个服务器，服务器会告诉他们需要做哪些修改.
  • 打开一张票 -打开一张包含所有相关信息的票给现场支持团队.

投资回报

开发这种机制最明显的好处是 节省时间的. 以硬件匹配和预留部件为主要摩擦点. 节省的时间也缩短了硬件请求完成的等待时间, 因此，团队和客户都是赢家.

自动匹配也 减少了 人为错误，这对节省时间和客户体验都有影响. 此外，它进一步允许冰球突破豪华版官网使用最合适的硬件，其中 提高了效率 通过分配最佳匹配的资源来满足请求. 简单地说，冰球突破豪华版官网不再分配“第一个匹配”或“随机”服务器. 相反，冰球突破豪华版官网选择“最适合”的那些，因为匹配算法现在是显式的和可重复的.

改进的匹配过程的一个“副作用”是完全避免了一整类问题. Those are issues around server <-> part incompatibility, 最大服务器容量，以及远程的手可能遇到的所有请求已经发送给他们之后的情况. 就时间而言，这类问题是最昂贵的, 因为它们需要跨越不同时区的人与人之间的交流. 冰球突破豪华版官网知道这会有所帮助，但实际的影响是惊人的.

最后，该系统的引入极大地改善了用户体验:

  • 用户 请求硬件能够更快地完成它们的请求
  • 远程的手 在该领域遇到的问题更少
  • 冰球突破豪华版官网的 团队 处理更少的废品和体力劳动

正如你所看到的，这里有三种类型的客户，并且都名列前茅.

一个简短的摘要

一年前，冰球突破豪华版官网开始了构建BMaaS解决方案的旅程, 合十礼只是整体的一部分. 虽然这仍是一项正在进行的工作，冰球突破豪华版官网预期它将无限期地继续发展, 现在是一个回顾起点的好机会, 确切地说，是什么驱使冰球突破豪华版官网走上这条路.

在本文的开头, 在冰球突破豪华版官网决定改变之前，我提到了冰球突破豪华版官网的工作分配. 提醒你一下，是这样的:

计划变更- 75%

计划外变更- 15%

内部项目- 10%

一年了, 冰球突破豪华版官网工作的性质发生了巨大的变化, 现在的工作分配是:

计划变更- 15%

意外的变化 – <0.1%

内部项目- 85%

值得注意的是，实际的变化量并没有减少. 事实上，冰球突破豪华版官网现在处理的硬件实现请求比以往任何时候都多. 但是这些改变需要冰球突破豪华版官网真正的正念关注已经大大减少了. 而不是, 冰球突破豪华版官网主要关注的是建立一个能为冰球突破豪华版官网所有人完成工作的系统, 将冰球突破豪华版官网从“移动硬件”转变为编写软件.

接下来是什么

  • api -让冰球突破豪华版官网的BMaaS平台的api对冰球突破豪华版官网的用户开放, 冰球突破豪华版官网期待新的和不可预见的用例出现, 冰球突破豪华版官网的用户在平台上构建自己的解决方案
  • Web UI 冰球突破豪华版官网现在做的很多事情都可以通过命令行工具访问. 虽然这工作, 一个web UI可以进一步改善用户体验，并允许构建系统目前还不支持的各种视图
  • 事件 & 通知 -冰球突破豪华版官网的团队在这个过程的各个部分仍然扮演着沟通渠道的角色, 因为冰球突破豪华版官网正在验证不同的想法，并确保一切都按预期运行. 冰球突破豪华版官网计划引入事件和通知，将冰球突破豪华版官网完全从流程中移除，并允许用户对特定的事件进行操作, 亲自或通过他们自己的代码
  • 咖啡 -喝点低咖啡因的. 或茶.
图片由 asthetik on Unsplash

2020年11月1日
Avi亚Avi亚

冰球突破豪华版官网的第一次远程黑客马拉松

Background

2020年是独特的一年，因为新冠肺炎疫情，世界上大多数行业都被迫长时间远程工作. 除了健康和就业问题, 呆在家里很长一段时间对人类来说是不自然的，因为冰球突破豪华版官网是天生的交际生物, 导致许多挑战, 其中最大的挑战之一是如何维持社会结构. 这在总体上是正确的，特别是对于大多数或所有员工都在家工作的公司, 随着你在组织结构中地位的上升，它变得越来越重要, 从团队级别到团队级别或更高级别.

作为经理, 冰球突破豪华版官网非常关注如何保持团队之间的社交联系，并对此进行了多次讨论. 在其中一次讨论中，冰球突破豪华版官网记得在COVID-19大流行之前的一个不同生命时期, 冰球突破豪华版官网计划举办一个黑客马拉松，冰球突破豪华版官网甚至开始了工作，但像往常一样, 生活另有安排. 所以，为什么不把冰球突破豪华版官网计划的黑客马拉松做得稍微不同一点呢? 除了远程限制, 黑客马拉松正是冰球突破豪华版官网解决“断开连接”挑战所需要的.

因为冰球突破豪华版官网已经有了如何执行“常规”黑客马拉松的经验, 冰球突破豪华版官网知道需要做的基本事情是什么, 但由于这将是冰球突破豪华版官网第一次远程操作，冰球突破豪华版官网明白事情需要有所不同, 尤其是在行政方面. 作为一个规则, 冰球突破豪华版官网的黑客马拉松不是强制性的，人们的参与取决于他们收到的信息. 这对于常规的黑客马拉松来说是正确的，对于远程黑客马拉松来说更是如此.

在这篇文章中，我将描述冰球突破豪华版官网在黑客马拉松中所做的准备工作, 是什么导致了这次活动的成功. 如果您计划执行自己的远程黑客马拉松，您可以将它作为一个有用的技巧来源.

准备

远程黑客马拉松的大部分准备工作与常规黑客马拉松是一样的, 但由于远程工作的性质，需要做一些调整:

选择的主题

黑客马拉松的主题定义了黑客马拉松的项目, 所以你要做的第一件事就是定义黑客马拉松的主题, 在冰球突破豪华版官网的例子中，冰球突破豪华版官网选择主题 YACHADNESS这个词来源于希伯来语 YACHAD 这意味着 在一起, so  YACHADNESS =团聚. 冰球突破豪华版官网之所以选择这个主题，是因为这次黑客马拉松的目标是让大家一起工作，解决WFH期间缺乏沟通的问题, 这就是冰球突破豪华版官网举办黑客马拉松的原因，对冰球突破豪华版官网来说，更重要的是关注这个方面，而不是其他任何技术主题. 由于选定的主题, 项目没有边界, 任何事情都是受欢迎的，冰球突破豪华版官网让人们自由地表达他们的想法.

设置时间

在规划Hackthon的时间表时，需要考虑以下问题:

  • 定义黑客马拉松的项目
  • 展示选定的项目
  • 建立项目团队，每个人都可以选择将自己分配到他最喜欢的项目中
  • 定义成功的kpi
  • 组建评委团队
  • 这家网站本身

沟通

正如之前所说，这对普通的哈克顿来说是真的，对偏远的哈克顿来说更是如此. 因为所有的沟通都是通过邮件和缩放会议完成的, 你需要确保人们了解当前的状态:冰球突破豪华版官网在时间轴上的位置以及下一步是什么. 除了, 因为WFH的情况, 你需要在人们的参与上投入更多, 这可以通过发送相关的邮件来实现, 在会议中提到它，并为时间表中的每个里程碑设置专门的会议.

定义了时间表

在大多数常规的黑客马拉松中, 人们聚集在一个地方，为他们的项目分组工作. 在远程黑客马拉松中，人们都是在家工作, 所以日程需要提前准备, 众所周知，在家工作时要考虑到所有的限制(孩子, 可用性等.). 在冰球突破豪华版官网的计划中，冰球突破豪华版官网还增加了一些有趣的活动，冰球突破豪华版官网还安排了一些赠品，在黑客马拉松期间，冰球突破豪华版官网会把这些赠品送到人们的家里.

我个人的赠品

工作区域

远程工作有一些好处, 而不是为项目团队安排会议室(这是常规黑客马拉松中最具挑战性的任务之一), 您需要为每个团队创建一个专门的zoom会议和松弛通道，用于在黑客马拉松期间的所有团队交流. 通过这种方式，每个人都可以投入到每个项目中，并与之打招呼或检查事情的进展情况, 冰球突破豪华版官网的法官也用它来进行定期的访问. 

马拉松”

黑客马拉松原本计划用两天时间, 因为冰球突破豪华版官网都是远程工作，所以冰球突破豪华版官网制定了一个详细的日程安排，包括签到会议和许多有趣的活动，比如瑜伽课, Tabata运动和啤酒休息, 冰球突破豪华版官网希望这两天除了完成创新工作外，还能有乐趣. 一切都是为了执行冰球突破豪华版官网最初的计划, 让人们在远程工作时也能更亲密.

所以在一个简短的启动会议后，每个团队开始致力于他们的项目(通过他们的缩放 & 松弛的通道). 冰球突破豪华版官网按照日程安排召开了专门的共享会议，直到最后的会议是项目的演示, 每个小组都有10分钟的时间来展示他们的项目，最后宣布获胜项目, 获奖者是根据公众投票的结果和评委的决定.

如果你想知道的话，获胜的项目是 OBWho -一个宽松的机器人，可以给你一个地方问谁是任何内部系统的所有者, 这个项目的主要逻辑是一个爬虫，它扫描冰球突破豪华版官网所有的松弛通道，并根据它创建一些映射，通过使用机器学习算法，根据在每个通道中找到的令牌映射所有者.

结论

所有的努力都证明了自己，冰球突破豪华版官网有 成功的马拉松 结果超出了冰球突破豪华版官网的预期. 参与率非常高, 冰球突破豪华版官网有6个伟大的项目，距离的限制并没有影响那些像常规黑客马拉松一样投入和参与的人, 除此之外，冰球突破豪华版官网有很多有趣的休息和活动.

但最重要的是，冰球突破豪华版官网实现了最初的目标, 把人们聚在一起，做有创意的工作，尽管距离有限制, 整整两天冰球突破豪华版官网都在一起 YACHAD 再一次.

为了把这些总结在一起, 在以下列表中，您可以找到在计划远程黑客马拉松时需要考虑的其他操作:

  • 大量的沟通
  • 为每个项目创建宽松的渠道
  • 为每个项目创建缩放室
  • 再次强调，大量的交流
  • 定义详细的时间表与同步缩放会议
  • 有乐趣突破zoom
  • 送一些赠品到人们的家里
  • 如果到目前为止还不清楚，很多沟通
  • 通过调查收集反馈

对冰球突破豪华版官网来说, 这次远程黑客马拉松产生了冰球突破豪华版官网想要的影响，冰球突破豪华版官网实现了冰球突破豪华版官网的计划，甚至更多, 我希望您能从冰球突破豪华版官网的经验中学习，以防您计划拥有自己的成功远程黑客马拉松.

2020年7月9日
Elazar GurElazar Gur
克伦Ofek Granov克伦Ofek Granov

比导弹还快:拦截内容欺诈

在5月21日, 2020, 数千个以色列网站被一个名为“救世主黑客”的组织攻击, 可能包括来自土耳其的黑客, 加沙地带, 和北非. 这不是第一次——当然也不是最后一次——类似的网络攻击, 黑客攻击了存储在uPress上的网站, 一家以色列的网络托管公司.

网站的内容被一个反以色列的页面所取代——“以色列的毁灭倒计时很久以前就开始了”——以及一个令人不安的视频片段. 这次袭击的时间正好是以色列的国定假日“耶路撒冷日”, 庆祝六日战争后城市的统一. 这一天也是伊朗的“圣城日”。, 这可能是袭击的另一个动机.

攻击者的内容显示在被攻击的网站上

除了网站的视觉腐败, 攻击者还试图删除所有网站的数据. 除了, 黑客促使浏览器请求用户允许他们用电脑的网络摄像头拍照.

这次攻击不是一般的欺诈事件. 它没有围绕常见的广告来源的内容欺诈. 相反，问题的根源是外部团体，而Outbrain甚至不是目标. 这次攻击不仅损害了网站出版商和最终用户，也损害了广告商.

在深入了解Outbrain在这个事件中是如何应对战场的之前, 让冰球突破豪华版官网从头开始. 什么是“内容欺诈”, 为什么这是一个挑战, 以及Outbrain如何每天保护它的网络和合作伙伴?

 

内容欺诈-内容网络的主要挑战

内容欺诈是一个行业范围内的问题，有多种形式, 包括钓鱼, 重定向, 隐身, 正如大家所知道的那样, 阴谋论和假新闻. 互联网被无穷无尽的虚假内容所包围, 比如假引用, 修改了图片, 和deepfake视频, 这使得人们越来越难以获得真实的在线体验. 由于内容欺诈一直在发展，随着时间的推移，它变得越来越难以检测和预防.

作为一家发现公司，Outbrain的灯塔之一就是为读者提供有质量的内容. 而广告商提供的绝大多数内容都是合格的, 有趣的和安全的, Outbrain投入了大量资源，以确保没有恶意或欺骗性的内容进入冰球突破豪华版官网的广告平台.

当检测到内容欺诈时, 它来自一个特定的和可识别的来源，可以很容易地阻止和阻止访问Outbrain的网络. 一般, 冰球突破豪华版官网使用多种技术和人工驱动技术来验证广告商是合法的，并推广合格的内容. 冰球突破豪华版官网会查看各种属性、广告客户的身份以及内容本身. 基于Outbrain通常使用的技术，其反应能力是广泛而快速的.

在最近的事件中，《冰球突破豪华版官网》面临的挑战是不同的.

 

为什么以及如何应对“救世主的黑客”网络攻击?

斯科特•韦伯(http://unsplash.com/photos/yekGLpc3vro)

2020年5月的网络活动给冰球突破豪华版官网的反欺诈专家带来了一组不同的、独特的障碍.

首先，冰球突破豪华版官网并不是在与属于冰球突破豪华版官网网络的实体作战. 这种威胁不是来自冰球突破豪华版官网的一个伙伴，而是来自冰球突破豪华版官网的一个伙伴, 冰球突破豪华版官网的出版商和广告商首当其冲.

其次，攻击的范围很广，而且并非来自某个特定网站. 冰球突破豪华版官网假设冰球突破豪华版官网的网络中有一些网站被破坏了，但是，冰球突破豪华版官网不知道是哪些网站. 有针对性和针对性的屏蔽是最常见的反欺诈解决方案, 但是在这个案例中, 冰球突破豪华版官网必须找到并封锁多个未知的域名.

第三，任何行动都是暂时的. 当冰球突破豪华版官网在网络上识别出一个骗子, 他们被永久地封锁和驱逐出网络. 没有回头路. 然而, 在这种情况下, 冰球突破豪华版官网知道一旦受影响的网站恢复, 冰球突破豪华版官网必须立即重新启用他们，并允许他们回到网络上.

最后, 尽管Outbrain并不是目标, 冰球突破豪华版官网必须保持警惕, 并假设袭击仍在发生或随时可能再次发生. 尽管冰球突破豪华版官网确认了它发生时的特征, 冰球突破豪华版官网必须准备好快速检测攻击者可能开发和部署的任何新方法或模式.

冰球突破豪华版官网反欺诈团队的回应旨在保护Outbrain生态系统的三大支柱:

  • 第一个支柱-需要保护的用户免受威胁内容.
  • 第二个支柱——广告商需要保护，以免因有害访问和损害其品牌形象而被起诉.
  • 第三个支柱——出版商被禁止将流量导向可能损害其声誉的威胁内容.

 

技术的挑战

为了找到损坏的网站，冰球突破豪华版官网必须扫描大量的网页. 一旦找到这样的页面, 冰球突破豪华版官网必须立即禁用它，这样它就不会再在Outbrain网络上推广了. 这些扫描必须快速且反复地进行. 如果网络攻击正在进行, 页面甚至在冰球突破豪华版官网扫描后也可能被黑, 如果页面恢复了, 冰球突破豪华版官网需要马上知道，这样才能把他们推荐给网络.

"被黑的页面共享相同的属性" -这是冰球突破豪华版官网从爬虫日志中发现的属性之一

冰球突破豪华版官网怎么识别被黑的页面? 冰球突破豪华版官网有几个选择:

  1. 被黑客入侵的网站名单:  在一些网络攻击中，这可能是一个很好的解决方案，但在这种情况下不是. 这次攻击是一次滚动攻击，这意味着并不是所有的网站都同时被劫持. 没有一个可靠的来源包含所有被黑的网站.
  2. 第三方解决方案: 为了维护Outbrain网络的完整性, 反欺诈团队不仅使用内部开发的内部解决方案, 还有外部解决方案, 标记有问题的内容, 像恶意软件, cloakers, 重定向, 以及其他类型的欺诈. 第三方解决方案可以用来将特定特征归类为“受到攻击”的网站,  所以在这种情况下，这可能是一种选择. 然而, 进行必要的调整以检测这种特定的攻击将花费太长时间, 在这个例子中, 快速反应的能力非常重要.
  3. 冰球突破豪华版的内部爬虫: 以便向读者推荐最好的内容, Outbrain在其网络中爬行推广内容, 分析特征，提取将用于NLP和推荐算法的特征. 冰球突破豪华版官网的内部爬虫被认为是这个挑战的理想解决方案, 因为它已经连接到冰球突破豪华版官网的数据库. 为了获得即时的结果，冰球突破豪华版官网只需要定义冰球突破豪华版官网想要爬行的人群. 此外, 通过一些额外的配置和AppServices团队的快速开发, 冰球突破豪华版官网可以同时应对所有的挑战, 自动, 和快速.

 

爬出冰球突破豪华版官网的路

因此，Outbrain的内部爬虫立即被调动起来，以检测哪些网站被黑.

冰球突破豪华版官网首先分析了几个被黑客入侵的网站，这些网站来自多个网络来源. 使用冰球突破豪华版官网的爬虫输出日志, 冰球突破豪华版官网发现这些页面在结构和视觉内容方面是相同的, 这意味着他们共享相同的属性(标题, 文本, 链接, 关键字, 等.). 通过查询爬虫日志来查找这些属性, 冰球突破豪华版官网可以很容易地识别出更多被黑的域名. 问题是冰球突破豪华版官网看到的图片只是一部分, 因为还没有抓取所有的页面.

冰球突破豪华版官网选择了相关的潜在黑客域名列表，并设置它在3小时的周期内爬行, 使用为这个问题特别定制的已配置的爬虫功能. 一旦爬虫为攻击者注入到网页的属性确定了一个新的(特定的)值, 冰球突破豪华版官网可以关闭被黑的页面. 禁用某个页面意味着被黑客攻击的原生广告不再是Outbrain网络上的推荐信息, 冰球突破豪华版官网的用户再也无法访问.

持续的扫描还允许冰球突破豪华版官网实时监控和了解攻击对冰球突破豪华版官网库存的影响，并将其与冰球突破豪华版官网的合作伙伴进行沟通. 当网页从网络攻击中恢复时, 冰球突破豪华版官网用爬虫程序让他们重新进入外脑网络. 借助冰球突破豪华版官网独特的技术能力, 冰球突破豪华版官网得以从这次恶意的网络攻击中回到原点.

 

快速反应拯救世界

袭击开始于5月21日上午. 根据uPress的公告, 在5月22日, 02:28(以色列), 90%的网站被恢复. 是冰球突破豪华版官网行动的结果, 冰球突破豪华版官网能够防止Outbrain用户接触到含有令人不安内容的被黑客入侵的网页.

这种快速反应不仅保护了冰球突破豪华版官网的用户免受威胁内容, 但它也使受影响的出版商和广告商在网站恢复后，能够非常迅速地恢复正常的Outbrain流量服务.

 

那些杀不死冰球突破豪华版官网的，让冰球突破豪华版官网更强大

在网络救援行动中, 冰球突破豪华版官网与该组织中的几个团队直接接触, 使冰球突破豪华版官网能够提出统一战线和整体解决方案. 沿着这条路, 冰球突破豪华版官网受益于在必要时向几个不同方向转移的能力, 内部和外部. 这是一堂关于如何使用各种工具解决一系列问题的重要课程.

的快速, Outbrain团队的协调反应, 冰球突破豪华版官网克服了“救世主的黑客”的攻击, 并开发了基础设施，以应对未来类似的网络攻击, 如果——当——它们发生.

2020年5月27日
Avi亚Avi亚

实时数据管道——超出冰球突破豪华版官网的预期

 

当冰球突破豪华版官网考虑将数据传输管道从每小时批量的文件迁移到实时流系统时, the reasons we had in mind were the obvious ones; to reduce the latency of our processing 系统 和 to make the data available in real time. 但是当冰球突破豪华版官网开始研究它的时候, 冰球突破豪华版官网意识到还有很多其他的好理由来着手这个复杂的项目.

概述

冰球突破豪华版官网的数据传输管道旨在将数据从各种服务传输到冰球突破豪华版官网的Hadoop生态系统. 在那里，冰球突破豪华版官网使用Spark和Hive对数据进行处理，以生成聚合数据，供冰球突破豪华版官网的算法和机器学习(ML)实现使用, 业务报告, 调试, 和其他分析. 冰球突破豪华版官网称这种数据的每种类型为“数据”。. 冰球突破豪华版官网有60多个数据, 每一种表示不同类型的数据, 例如:请求, 点击, 上市, 等.

Outbrain是全球领先的内容发现平台. 冰球突破豪华版官网服务 4000亿年 内容建议每月一次，到完毕 10亿年 世界各地的用户. 为了支持这么大的规模, 冰球突破豪华版官网有一个后台系统，它是由Kubernetes容器中运行的数千个微服务构建而成的，它的基础设施分布在3个数据中心和公共云(GCP)之间的7000多台物理机器上 & AWS).

你们可以想象, 冰球突破豪华版官网的服务产生大量的数据，这些数据通过冰球突破豪华版官网的数据传输管道传递. 平均每天都有超过40TB的流量，在高峰期可以超过50TB. 

是的, 为了支持这个规模, 交付管道需要是可伸缩的, 还有很多以" able "结尾的词. 

 

管道架构

正如我上面所写的, 冰球突破豪华版官网有多个数据中心(dc), 但是为了简化图表和解释, 我将只使用2个dc来展示冰球突破豪华版官网的管道架构. 当冰球突破豪华版官网研究这两个体系结构时(旧的每小时RT和当前RT), 你会注意到唯一保持不变的部分是边. 产生数据的服务，以及数据最终到达的Hadoop.

另一件值得一提的事情是，为了实现完全灾难恢复(DR), 冰球突破豪华版官网在不同的地方有两个独立的Hadoop集群, 它们中的每一个都获得所有数据并独立处理相同的作业, 以防其中一个出事, 另一艘继续正常工作.

 

每小时的文件管道-遗产

这些服务收集数据，并将数据保存到各个服务的本地文件系统中. 从那里, 另一个进程将这些文件复制到冰球突破豪华版官网的数据处理系统(DPS), 收集所有数据并复制到Hadoop的内部解决方案是什么. 如你所见, 它是一个非常简单的体系结构，没有很多组件, 由于数据保存在文件中，在任何故障情况下都可以很容易地恢复，因此是相当可靠和健壮的.

这个管道的缺点是数据是以小时为单位移动的，并且在传递期间不能访问数据. 它只有在每个小时完成后才可用来处理，并且所有的数据都在Hadoop中. 这也给网络带来了沉重的负担，因为数据是以尖峰的形式传输的.

 

实时流式管道

取代本地文件系统存储，冰球突破豪华版官网有一个Kafka集群. 和, 而不是冰球突破豪华版官网的内部DPS系统，冰球突破豪华版官网有一个MirrorMaker, 一个聚合的Kafka集群和一个SparkStreaming集群.

在这个管道中，数据直接从服务写入到Kafka集群. 从这一点开始，所有的数据都可以被任何想要使用它的人访问. 分析师、算法开发人员或任何其他可以发现它有用的服务. 当然，MirrorMaker也可以使用它，作为管道的一部分.

MirrorMaker的任务是在Kafka集群之间同步数据, 在冰球突破豪华版官网的例子中, 以确保每个聚合的Kafka集群将拥有所有数据中心的完整数据.

像以前一样, 聚合集群中的数据对所有用户可用, 特别是冰球突破豪华版官网的sparkstream集群，它运行各种任务，消耗数据并写入Hadoop.

所以很明显，通过实施这个管道, 所有人都可以得到这些数据, 它更快地到达Hadoop.

 

明显的好处

现在让冰球突破豪华版官网来看看实时管道的明显好处:

  • 数据可用性——因为数据是通过Kafka集群传递的, 它适用于所有需要实时数据的实现. 这里有两个很好的例子:
    • 推荐引擎现在可以用更新鲜的数据计算其算法模型. 这使冰球突破豪华版官网的每千元收益(RPM)提高了16%以上。.
    • 冰球突破豪华版官网增加了面向客户的实时仪表板，使他们能够根据最新数据更快地采取所需的行动.
  • 减少了处理系统的延迟——因为数据到达Hadoop的速度更快, 等待小时数据的小时工作可以更早开始工作，并在更接近小时结束时完成工作. 这减少了处理系统的总体延迟，现在减少了业务报告的延迟, 在较短的时间内可用吗.

 

额外的好处

这些就是冰球突破豪华版官网从实时管道中获得的意想不到的好处:

  • 网络容量-在每小时的文件管道中, 数据在每小时和每小时结束时分批移动. 这意味着网络容量需要同时支持所有数据的移动. 这一需求迫使冰球突破豪华版官网在每个小时内只使用一小段时间时分配所需的带宽, 浪费昂贵的资源. 实时管道在一小时内增量地移动相同数量的数据.

    下面的图表展示了冰球突破豪华版官网转移到实时管道后所节省的带宽. 例如，在RX图中，你可以看到冰球突破豪华版官网移动了 峰值为17gbps，平坦带宽为7gbps，节省了10gbps.

总RX交通

总TX交通

  • 灾难恢复——在以小时为单位的流程中，数据保存在运行服务的机器的本地文件系统上的文件中，这一事实存在一些限制. 
    • 数据丢失——冰球突破豪华版官网都知道，机器在某些点上有100%的几率出现故障. 当你有成千上万台机器时，冰球突破豪华版官网的胜算就不大了. 每次机器出故障, 您有数据丢失的风险，因为所有的每小时文件可能还没有被复制到管道中. 在实时管道中, 数据被立即写入Kafka集群，这是更有弹性的，降低了数据丢失的风险.
    • 后期处理——如果机器已经从故障中恢复, 你很幸运，没有丢失数据, 需要处理恢复的数据，而且在大多数情况下，不会在与数据相关的时间段内处理恢复的数据. 这意味着这段时间将被再次处理，这会给Hadoop增加额外的负载，并可能导致数据延迟, 因为Hadoop需要同时处理多个时间段. 像以前一样, 在这方面，实时管道的好处是，数据到达Hadoop时没有任何延迟，因此不需要对任何时间段进行再处理.

 

结论

有了实时管道，冰球突破豪华版官网的生活变得简单多了. 除了计划的目标(数据可用性和减少延迟), 冰球突破豪华版官网从这一变化中得到的额外好处使冰球突破豪华版官网对任何网络故障或硬件故障不那么敏感. 在过去, 这些问题中的每一个都迫使冰球突破豪华版官网处理数据延迟，并面临数据丢失的风险, 现在是实时管道的本质, 解决了所有问题.

是的, 冰球突破豪华版官网需要维护和监控更多的组件, 但是，如果你将它与冰球突破豪华版官网通过为冰球突破豪华版官网的数据传输管道实现这个实时系统所取得的伟大成果相比较，那么这个成本是合理的.

 

2020年5月17日
阿迪寒鸦阿迪寒鸦

4个工程师，7000台服务器和一个全球流行病

在冰球突破豪华版官网的一个数据中心(小小的covid旁边 疾病预防控制中心  on Unsplash)

 

如果这个标题没有让你脊背发凉的话, 那你要么继续下一篇文章, 或者来冰球突破豪华版官网的 职业页面 -冰球突破豪华版官网很想聊聊.

这篇文章将触及冰球突破豪华版官网工作的核心——通过抽象来构建. 它将演示如何设计原则, 比如关注点分离和控制倒置, 在宏中显示, 物理领域, 以及软件如何帮助把所有的东西结合在一起成为一个统一的东西, 以往发展中, 更可靠的系统.

而冰球突破豪华版官网只是触到了冰山一角, 冰球突破豪华版官网打算在以后的文章中深入研究这些有趣的细节.

 

冰球突破豪华版官网是谁

冰球突破豪华版官网是一个由4只企鹅组成的团队，他们喜欢编写代码和摆弄硬件. 在冰球突破豪华版官网的业余时间, 冰球突破豪华版官网负责部署, 维护和操作超过7000台运行Linux的物理服务器, 分布在美国的3个不同的dc.

冰球突破豪华版官网也碰巧做了6,762英里之外, 就在冰球突破豪华版官网自己的小隔间里, 距离最近的海滩度假胜地不远，可以俯瞰地中海.

使用许可:Creative Commons Zero - CC0.

 

挑战的规模

然而，由于初始投资相对较少，对于初创企业来说，选择在公共云上托管基础设施可能是有意义的, 冰球突破豪华版官网在Outbrain选择托管自己的服务器. 冰球突破豪华版官网这样做是因为，一旦达到一定规模，公共云基础设施的持续成本远远超过在配置的数据中心运行冰球突破豪华版官网自己的硬件的成本, 它还提供了无与伦比的控制和故障恢复能力. 

随着冰球突破豪华版官网规模的扩大，挑战总是近在咫尺，而且通常是成群结队的. 管理服务器的生命周期必须不断发展，以包含服务器数量的快速增长. 跨数据中心管理服务器部件的电子表格本地方法成为可能, 非常迅速地, 麻烦. 检测, 故障排除和处理, 同时保持合理的sla, 变成一种杂耍各种各样的硬件阵列的行为, 不同的加载, 更新的时间安排以及其他没人想要关注的内容. 

 

主你的域

解决这些挑战, 冰球突破豪华版官网将Outbrain服务器的生命周期分解为主要组件, 冰球突破豪华版官网称它们为域. 例如，一个领域包括硬件 需求另一个是周围的物流 库存周期，而三分之一是 沟通 现场工作人员. 还有一个问题 硬件可观测性，但冰球突破豪华版官网不会在这个时候讨论所有的问题. 这样做的目的是检查和定义域, 所以它们可以通过代码抽象出来. 一旦工作抽象被开发出来, 它被转换为部署的手动流程, 测试和改进, 作为编码算法的准备. 最后, 一个域通过api与其他域集成, 形成一个连贯的, 动态, 不断发展的硬件生命周期系统是可部署的, 可测试性和可观察到的. 就像冰球突破豪华版官网其他的生产系统一样. 

采用这种方法使冰球突破豪华版官网能够以正确的方式应对许多挑战——通过构建工具和自动化.

 

域的需求

而在早期，电子邮件和电子表格是一种可以接受的处理需求的方式, 当服务器的数量和传入的硬件请求量达到某个点时，它们不再是可持续的. 以便在快速扩张的环境中更好地组织和优先考虑传入的请求, 冰球突破豪华版官网必须依靠一个售票系统:

  • 可以定制为只显示相关字段(简单)
  • 暴露api(可扩展)
  • 团队熟悉(正常)
  • 与冰球突破豪华版官网现有的工作流程集成(统一)

因为冰球突破豪华版官网使用JIRA来管理冰球突破豪华版官网的sprint和内部任务, 冰球突破豪华版官网决定创建另一个项目，帮助冰球突破豪华版官网的客户提交票据并监控他们的进度. 依赖JIRA进行传入请求和内部任务管理, 让冰球突破豪华版官网能够建立一个统一的看板，让冰球突破豪华版官网看到一个统一的视图. 冰球突破豪华版官网的内部客户, 另一方面, 是否只有硬件请求票的视图, 而不会暴露团队中额外任务的“不太相关的细节”(例如增强工具), Bug修复并撰写这篇博文).

(JIRA看板)

作为奖励, 队列和优先级现在对所有人都是可见的, 可以看到每个请求站在哪里, 在它之前是什么, 这是什么阶段啊, 允许业主根据自己的要求改变优先级，而不需要和冰球突破豪华版官网交谈. 简单到“拖放”. 它还允许冰球突破豪华版官网根据请求的类型估计和持续评估sla, 基于JIRA生成的度量.

 

库存生命周期域

您只能想象管理每个服务器中的部件的复杂性. 更糟糕的是, 许多地方(内存, 磁盘)可以发现自己在库存和不同的服务器之间来回移动, 按要求. 最后, 当他们失败时, 它们要么退役，要么交换, 或归还给供应商进行军事革命. 所有的这一切, 当然, 需要与现场负责实际体力劳动的同事沟通. 为了应对这些挑战，冰球突破豪华版官网创建了一个名为Floppy的内部工具. 它的工作是:

  • 当对服务器进行更改时，抽象出添加/删除部件的复杂性
  • 管理与现场员工的沟通，包括所有需要的信息——通过电子邮件/ iPad(稍后详细介绍)
  • 一旦工作完成并验证，更新库存

库存, 反过来, 是通过一组格拉芙纳仪表板可视化, 冰球突破豪华版官网用什么来绘制所有其他指标. 因此，冰球突破豪华版官网基本上使用与其他生产需求相同的工具来实现库存可视化.

 

(磁盘库存管理Grafana仪表盘)

(磁盘库存管理Grafana仪表盘)

当服务器仍在保修期内时，冰球突破豪华版官网调用冰球突破豪华版官网构建的另一个工具Dispatcher. 它的工作是:

  • 收集系统日志
  • 以首选的供应商格式生成报告
  • 通过API与供应商打开声明
  • 返回用于跟踪目的的索赔ID

一旦索赔被批准(通常在一个工作日内), 待更换的部件被运至相应的数据中心, 并由现场工作人员处理.

(Jenkins控制台输出)

 

通信领域

以支持容量的快速增长, 冰球突破豪华版官网必须适应与现场数据中心技术人员一起工作的方式. 最初，规模的增长意味着在大型整合项目之后购买新的服务器。由Kubernetes的举动推动)，它变成了完全不同的东西. 冰球突破豪华版官网的增长从“放置机架”转变为“重新利用服务器”. 因此，冰球突破豪华版官网没有增加容量，而是开始开放服务器并更换它们的部件. 成功地实现这种范式转变, 冰球突破豪华版官网必须停止将Outbrain的托管提供商视为供应商, 把他们当成冰球突破豪华版官网的客户. 采用这种方法意味着冰球突破豪华版官网需要设计和构建正确的工具箱，以帮助数据中心技术人员的工作:

  • 简单的
  • 自治
  • 非常高效。
  • 可靠的

一直以来，冰球突破豪华版官网都在抽象不同托管提供商之间的操作差异, 以及各工位技术人员的资历. 冰球突破豪华版官网不得不把自己从照片中移开, 让它们与服务器通信，而不需要冰球突破豪华版官网的干预，也不需要对工作负载做出假设, 工作时间, 设备的手, 和其他因素.

为了解决这个问题，冰球突破豪华版官网在每个数据中心都设置了iPad平台. 插入服务器后，会发生以下情况:

  • 该机制验证这确实是一个需要处理的服务器
  • 在服务器上运行的应用程序被关闭(在需要的地方)
  • 一组工作说明被张贴到Slack频道，解释所需的步骤
  • 一旦工作完成，该工具将验证最终状态是否正确
  • 如果需要，重新启动应用程序

除了, 冰球突破豪华版官网还推出了一款Slack机器人来服务技术人员, 随着不断扩展的功能集，使他们的工作更顺利，冰球突破豪华版官网的生活更轻松. 通过这样做, 冰球突破豪华版官网已经将服务器的重用和服务的大部分过程变成了异步的过程, 将冰球突破豪华版官网自己从循环中移除.

(iPad安装在冰球突破豪华版官网的一个数据中心)

 

硬件可观察性领域

可靠地扩展冰球突破豪华版官网的数据中心基础设施需要对链的每个组件有良好的可见性, 例如:

  • 硬件故障检测
  • 服务器状态(活动的、可分配的、僵死的，等等)
  • 电力消耗
  • 固件版本
  • 最重要的是分析

基于度量的决策允许冰球突破豪华版官网决定如何做, 在哪里和何时采购硬件, 有时甚至在冰球突破豪华版官网得到需求之前. 它也允许冰球突破豪华版官网更好地分配资源，如权力, 通过确定哪些工作量要求更高. 因此, 在服务器接入电源之前，冰球突破豪华版官网可以对服务器的位置做出明智的决定,  在整个维护周期内, 直到它最终退役.

(Grafana机架电源利用仪表盘)

 

然后出现了COVID-19…

在冰球突破豪华版, 冰球突破豪华版官网开发技术，通过帮助访问者发现相关内容，使媒体公司和出版商能够在开放网络上传播, 他们可能感兴趣的产品和服务. 因此, 冰球突破豪华版官网的基础设施旨在容纳重大新闻事件发生时产生的流量. 

媒体对COVID-19相关事件的报道，加上游客流量的增加，意味着冰球突破豪华版官网必须迅速提高应对这些流量的能力. 最重要的是, 面对全球危机，冰球突破豪华版官网不得不这样做, 供应链在哪里被打乱, 大部分的劳动力都被限制在家里.

但是，正如冰球突破豪华版官网所描述的，冰球突破豪华版官网的模型已经假设:

  • 冰球突破豪华版官网的数据中心的硬件，在大多数情况下，是无法物理访问的
  • 冰球突破豪华版官网几乎所有的体力工作都依赖于遥控的手
  • 远程手动工作是异步、自主和大容量的
  • 冰球突破豪华版官网通过“从零件入手”的方式来满足硬件需求，而不是“购买现成的套件”。
  • 冰球突破豪华版官网保持库存是为了能够建立，而不仅仅是修复

因此，阻止许多公司访问其物理数据中心的全球限制对冰球突破豪华版官网几乎没有影响. 至于零件和服务器，是的, 冰球突破豪华版官网和其他人一样，抢硬件, 但这是为了确保冰球突破豪华版官网在补充储备时不会耗尽硬件，而不是满足已经建立的需求.

总之, 我希望通过对数据中心操作世界的了解，冰球突破豪华版官网可以将良好代码设计的原则应用到数据中心管理的物理领域, 活着告诉冰球突破豪华版官网.

 

想了解更多冰球突破豪华版官网运行数据中心的方式? 请继续关注下一部分!

2020年3月12日,
Arkadiy维尔曼Arkadiy维尔曼

如何设置多个spark job写入相同的路径

Outbrain的DataInfra团队的主要职责之一, 我是哪个组织的成员, 是建立一个数据传输管道吗, 冰球突破豪华版官网的管道是建立在Kafka和Spark Streaming框架之上的. 冰球突破豪华版官网通过数十个流作业每秒处理多达200万个请求.

图1:简化的数据流架构

 

问题描述

冰球突破豪华版官网的一个需求是从不同的Kafka集群读取数据，并将数据流到HDFS的相同路径.  这听起来并不复杂, 几个相同的工作, 每一个Kafka地址作为一个参数. 在实践中，两个并发作业可能会删除彼此的文件，下面是如何删除的:

当冰球突破豪华版官网调用 saveAsHadoopFile() 执行spark计划

保存操作将由 SparkHadoopWriter, 一个编写数据的助手，最后为整个作业提交一个提交. 

请参阅相关文档了解 SparkHadoopWriter:

提交是与冰球突破豪华版官网的问题最相关的部分. 默认情况下提交的类是 FileOutputCommitter 在其他事情中，什么创造了 $ {mapred.output.dir} / _temporary  文件被写入的子目录，稍后，在提交后， 搬到 $ {mapred.output.dir}.

最后，整个临时文件夹是 删除. 当两个或多个Spark作业有相同的输出目录时, 文件的相互删除将不可避免.

(OutputCommitter 文档)

我试图在Stack Overflow和Spark社区找到一个简单的解决方案，但没有找到任何东西, 除了建议 写入到不同的位置，稍后使用Distcp, 这将需要额外的计算资源，我想节省.

解决方案:

冰球突破豪华版官网创造了冰球突破豪华版官网自己的 OBFileOutputCommitter 和默认值几乎一样 FileOutputCommiter, 但它支持更改临时配置, 幸运的是, 冰球突破豪华版官网可以通过Spark配置添加自己的提交器. 这样，每个作业都有自己的临时文件夹，这样清理工作就不会删除其他作业的数据.

当然，这里有一个陷阱——你必须使用 MultipleTextOutputFormat 以确保文件具有唯一的名称. 如果您不这样做，那么两个作业将具有相同的默认名称，这些名称将发生冲突.

下面是到自定义提交器的链接 code. A将它添加到您的项目中，并遵循下面的示例.

结论

Hadoop框架足够灵活，可以修改和定制输出提交器. 通过适当的文档,

本来可以更容易的, 但这不应该阻止您尝试更改框架以满足您的需要.

 

 

 

参考文献

http://hadoop.apache.org/docs/r2.7.2/APIs/src-html/org/apache/hadoop/mapreduce/lib/output/FileOutputCommitter.html

http://stackoverflow.com/questions/46665299/spark-avoid-creating-temporary-directory-in-s3/46690036#46690036

http://stackoverflow.com/questions/38964736/multiple-spark-jobs-appending-parquet-data-to-same-base-path-with-partitioning?rq=1

http://github.com/apache/spark/pull/21286

http://issues.apache.org/jira/browse/MAPThe REDUCE-1471?jql=text%20~%20%22FileOutputCommitter%22

http://issues.apache.org/jira/browse/MAPThe REDUCE-7029

2020年3月11日,
《阿凡达》莱米弗兰克Szarfman

我是开发人员. 现在我是一名产品经理. 为什么和如何.

图片由 davisco on Unsplash

我喜欢写代码. 我喜欢它的一切. 编程就像解决谜题. 你遇到一个问题，你需要思考如何解决它. 想出最好的解决方案，优化它，调试它，消除漏洞. 我非常喜欢写代码，所以我做了20年的开发人员.  我甚至习惯了晚上醒来时深刻地意识到我只是在我的代码中发现了一个bug. 我爱它! 尽管在我的职业生涯中有过几次换工作的机会, 我总是决定坚持编码. 从某种意义上说，我害怕把手弄脏，害怕离开键盘.

 

产品搜索

当我作为后台软件开发人员加入Outbrain平台组时, 我获得了一个名为Dyploma的后台服务的所有权. dy文凭是一个部署网关 建立在Kubernetes的基础上, 通过单击一个按钮，开发人员可以构建工件并将其部署到多个数据中心和环境中. 它让冰球突破豪华版官网的开发者的生活变得非常简单. 

Dyploma是一个拥有200个用户的产品. 一种不断被使用的活产品, 和特性请求, bug和直接影响Outbrain的生产服务. 有这么多用户, 需求和影响, 冰球突破豪华版官网意识到冰球突破豪华版官网需要一个面向产品的方法来管理和发展它. 但冰球突破豪华版官网之前没有管理产品的经验，也没有团队中的任何产品经理. 冰球突破豪华版官网针对这一挑战的解决方案是引入产品主管.

产品领导是一种两全其美的尝试——让技术人员做他们喜欢并擅长的技术工作, 还允许他们兼职承担产品经理的职责. 在冰球突破豪华版官网希望实现面向产品的方法的平台组中，Dyploma并不是唯一的产品, 冰球突破豪华版官网也有其他人. 所以当平台领导邀请人们自愿担任这些产品领导的角色时, 因为我对我正在开发的产品有很深的参与感, 我决定直面挑战.

我把自己当成了Dyploma的产品主管，同时也是它的后端开发人员. 我会见了用户, 听到他们的愿望和抱怨, 绘制出他们需要的不同流程, 他们想要的新功能, 把它们按优先级排序，然后让“后端开发人员”来实现它们. 很有趣, 令人兴奋的, 困难, 令人满意——这就是我喜欢写代码的一切, 但不一定要写代码.

自从我开始做一些我不熟悉的事情, 我决定我应该开始学习如何成为一名产品经理. 我曾与产品经理共事过，但真正成为产品经理是另一回事, 它有(现在仍然有)它的学习曲线.

 

精益创业

I learned that there is a constant loop of 学习->Build->测量 (精益创业 任何人?).

 

对冰球突破豪华版官网来说，“学习阶段包括创建焦点小组, 会议客户, 记录他们的请求和反馈.

在内部产品上工作的最大优势之一是，你可以随时与客户见面(应该小心处理, 所以它不会成为一种痛苦…….). 我走在走廊上，人们会冲我跳过来，开始用他们的想法和问题轰炸我. 走廊聊天很好，但冰球突破豪华版官网需要更正式的沟通渠道，使沟通规模, 所以我创建了焦点小组，并定期与他们会面. 在确定特性的优先级时，我使用了这些会议的文档. 

我使用用户故事来帮助我专注于真正重要的事情, 关于最小可行产品(MVP). 然后，我和一个焦点小组的开发人员坐在一起，冰球突破豪华版官网审查这些用户故事以获得反馈和验证. 一个更特殊的文件(和书面记录)的松弛通道，天哪，它是繁忙的……

接下来, “构建” 阶段. 我认为这很简单，因为我也是开发人员. 但是与UI团队一起工作，看看后端和前端代码如何朝着一个共同的目标一起工作, 不仅仅是写代码. 它需要同步和团队合作.

一旦建成，“测量的阶段. 一开始，这似乎并不重要——“如果你构建了它，它们就会出现”的直觉是正确的. 但事实并非如此. 在实现一个特定的, 大的特征, 冰球突破豪华版官网发现了用户的接受度，但是冰球突破豪华版官网并没有得到冰球突破豪华版官网想要的价值. 部分原因是冰球突破豪华版官网没有足够清楚地定义价值，或者没有适当的kpi来度量它. 事实上，一旦冰球突破豪华版官网执行了kpi，冰球突破豪华版官网似乎就朝着相反的方向前进了!

冰球突破豪华版官网在这里学到的知识使冰球突破豪华版官网实现了“kpi第一”的方法, 哪些不是简单的或直觉的. 而不是专注于功能, 冰球突破豪华版官网将首先处理指标, 定义度量，然后才开始构建特性. 这让冰球突破豪华版官网能够在任何时候“专注于目标”，并在需要时快速改变方向. 另一组kpi将专注于特性影响(例如, 受影响用户的数量)和实现工作(高水平的评估通常就足够了). 这些反映了功能的感知 价值 和 成本, 所以冰球突破豪华版官网不仅可以测量特征是否移动了指针, 但也要了解如何优先考虑不同的特性和管理冰球突破豪华版官网的资源.

衡量kpi对于客户满意度也是正确的——冰球突破豪华版官网开始收集客户反馈, 冰球突破豪华版官网很高兴看到冰球突破豪华版官网的客户配合冰球突破豪华版官网. 他们觉得自己被倾听，并被授权影响产品方向.

为了关闭循环，在测量之后，冰球突破豪华版官网返回到 “学习” 阶段，绘制产品发展的下一步.

 

今天

一年半后，产品领导计划取得了部分成功. 不幸的是，随着时间的推移，保持附加角色的产品主管数量并不多. 它是……. 但无论冰球突破豪华版官网在哪里有产品领导，冰球突破豪华版官网都得到了冰球突破豪华版官网想要的:-). 冰球突破豪华版官网有良好的用户互动，产品路线图和定期的发布节奏. 这证明了冰球突破豪华版官网的假设. 作为一个基础设施集团，冰球突破豪华版官网开发产品! 每一个产品，无论是内部的还是外部的，都应该作为一个整体来管理.

从这一刻起，冰球突破豪华版官网决定在这个方向上投入更多. 我在平台组担任全职产品经理. 在写这些句子的时候, 我经营5种不同的产品, 由多个团队开发, 还会有更多!

回顾过去，以下是我对这次成功冒险的一些见解.  

  • 个人技能, 就像在许多情况下一样，一个优秀的人机界面可以让一切工作得更好. 能够与不同类型的客户建立良好的关系, 让他们觉得他们可以随时接近你，给你反馈. 建立这些关系还将使您能够促进不同团队之间更好的协调和协作. 
  • 做一个好的倾听者 作为一个优秀的产品经理, 你需要收集想法, 倾听问题和需求, 获得反馈——所有这些都要做好, 你需要做一个好的倾听者. 这通常需要在别人说话时保持安静🙂
  • 做一名优秀的调查员 -有时候你的顾客“太好了”. 这可能是因为他们不喜欢批评别人, 或者他们只是没有花心思去思考. 他们甚至可能没有意识到他们对你的产品的某些方面感到不舒服. 为了克服这个障碍，你需要学会如何提出困难的问题.  寻找批评，即使它感觉不太好，并关注它. 深入挖掘，倾听并寻找线索.
  • 方法 -和不同的人一起工作, 得到所有的需求, 选择正确的事情去关注——如果你想做正确的事情，你必须有一个系统. 当副总裁有一个特性请求时——它比单个开发人员的特性请求更重要吗? 制度不仅仅是优先考虑的问题, 它也是关键绩效指标, 做出合理的决定，根据数据而不是信念进行对话. 灯塔应该永远是你为产品带来的价值, 不一定是请求者的角色, 他们多久要一次, 或者其他“心理偏见因素”.

过去的一年是一段漫长的旅程——我学到了很多, 获得令人兴奋的新体验, 失败和成功无数次. 我还有很多东西要学，但有一件事我已经知道了——我喜欢做产品经理!

2020年2月10日
Avi亚Avi亚

信任的基础设施

基础设施集团面临的最大挑战之一是如何建设 信任 与他们的顾客. 如果实现, 这种信任会带来更好的工作环境，同事之间的关系很好，彼此信任.

就像任何关系一样，获得某人信任的方法之一就是透明. 透明表明你没有什么要隐藏的, 并允许信息在双方之间自由流动. 

在冰球突破豪华版官网的工程环境中, 冰球突破豪华版官网讨论的是开发团队拥有的微服务的透明度，以及基础设施组提供给它们的资源. 

即使在一个简单的系统中，为资源的使用提供透明度也是一个困难的壮举. 当资源在开发团队之间共享时，情况就更加复杂了, 因为您需要显示每个团队自己的相关使用，而不是整个物理资源的整体使用.

在Outbrain，冰球突破豪华版官网提倡全责任模式——每个开发团队对其服务拥有完全的所有权, 从开发到生产. 这个模型给了团队很大的力量, 因为他们有充分的自由和独立去做他们的工作(而且他们做得很好!)，而没有基础设施团队作为瓶颈.

这个模型使得资源(特别是共享资源)的透明度需求变得更加重要.

一点点怀旧

过去一切都很简单. 我是在80年代长大的(实际上是70年代，但冰球突破豪华版官网不需要总是准确), 冰球突破豪华版官网年轻漂亮, 一切都很好，也很简单——那时没有互联网, 没有手机，冰球突破豪华版官网和其他真人在外面的街道上玩.

甚至计算机系统也更简单了. 冰球突破豪华版官网拥有经典的3层架构:演示、应用 & 数据层. 应用层是一个巨大的单片服务器，而数据层可能是一个Oracle RDBMS. 基础设施团队完全控制所有系统——在生产中不做任何更改, 除非是他们做的.

拉回现实

八十年代已经过去了，冰球突破豪华版官网不再是孩子了(但依然美丽……). 在技术方面, 介绍了微服务体系结构, 大型单片服务器被分解成许多小型微服务, 大型数据库也遵循了同样的趋势. 如果还不够复杂的话，每个微服务都可以有自己的数据库, 每个微服务甚至可以有不同类型的数据库，这取决于它自己的特定用例.

此外，数据量和流量呈指数级增长，“大数据”一词应运而生. 以支持其发展, 系统变得越来越复杂, 在某些情况下，建筑变得如此复杂和动态，没有一个人能够描述它, 更不用说用流程图来描绘了.…

所面临的挑战

Outbrain是全球领先的内容发现平台. 冰球突破豪华版官网每个月提供超过3000亿份内容推荐, 全球超过8亿的用户. 为了支持这么大的规模, 冰球突破豪华版官网有一个后端系统，在一个基础设施上运行数百个微服务，这个基础设施分布在3个数据中心和公共云(GCP)之间的6000多台物理机器上 & AWS).

冰球突破豪华版官网的基础设施包括, 在其他方面, 多数据存储集群, 数据处理系统, 冰球突破豪华版官网推荐的ML算法使用的大数据湖, BI工程师和分析师制作业务报告, 等.

是的, 负责提供所有这些基础设施的云平台集团面临着与一开始所描述的相同的挑战——冰球突破豪华版官网如何授权冰球突破豪华版官网的用户，并向他们提供透明度，让他们知道他们正在使用多少资源，用于什么用途.

冲突

尽管这些计算机系统很复杂，但真正的复杂性实际上是人为因素. 每个公司都有两种类型的冲突:个人冲突和结构冲突. 

众所周知，个人冲突总是会使工程挑战复杂化. 而结构性冲突则发生在具有不同路线图的技术团队之间, 优先级和约束. 它们可以迅速导致个人冲突，并使工作环境充满紧张和挫折. 这种气氛将不可避免地影响计算机系统的质量。

在冰球突破豪华版官网的例子中，结构冲突是在R&D团队和基础设施团队. 例如，基础设施团队经常感觉他们被当作仓库工人对待. R&D团队有能力或特性需求，基础架构团队必须满足它们，R&D团队不知道或不关心他们的请求的影响和成本，或者它可能对与其他团队共享的资源产生的影响.

结构性冲突将永远存在, 但是，只要团队之间建立了关系，就可以有效地管理它们.

解决方案

每个关系的基础是 信任 在冰球突破豪华版官网的例子中，它的基础是提供所有使用的服务和资源的可见性.

 

可见性使基础架构团队能够知道谁在使用基础架构以及如何使用它. 同样的可见性有助于R&D团队了解他们正在使用的基础设施的能力. 事实上，通过提供这种可见性，冰球突破豪华版官网授权了R&D团队，并将基础设施团队从仓库工作人员角色中取出.

冰球突破豪华版官网认识到必须找到一个解决办法, 一个单一的地方，它将使冰球突破豪华版官网和冰球突破豪华版官网的用户能够理解所使用的各种资源的占用空间以及用于什么目的. 这也将使冰球突破豪华版官网能够利用冰球突破豪华版官网对资源的了解来估算每个特性/项目的成本.

在Outbrain，冰球突破豪华版官网创造了一个自助式服务 使用情况报告 系统, 它覆盖冰球突破豪华版官网的整个基础设施，并为每个人提供可见和透明的资源, 以便显示所需的仪表板和报告.

 

使用报告系统可以监控很多资源, 但冰球突破豪华版官网决定关注以下内容:

  •     微服务部署
  •     物理机器
  •     公共云资源
  •     数据处理利用
  •     存储
  •     网络使用情况

你们可以想象, 使用报告系统最具挑战性的部分是爬行过程, 哪些需要在所有服务和它们的用户之间相互关联. 这是通过向服务添加“所有者”标签来实现的，以便以后使用. 而使用报告系统必须支持不同类型的标签, 基于每个资源的能力.

结论

虽然并不是所有的服务都是使用报告系统的一部分, 冰球突破豪华版官网已经开始看到这个工具的好处.

在实现这个工具的过程中, 冰球突破豪华版官网添加了额外的元数据来标识每个开发团队的资源使用情况. 现在冰球突破豪华版官网可以关联每个团队的用法.

此外，通过这种可见性，冰球突破豪华版官网可以估算某个特性的成本. This can be achieved by calculating the 成本 of all the resources that it uses; in that way we can know if a feature is ROI positive or not.

但冰球突破豪华版官网得到的主要好处是 信任. 现在，冰球突破豪华版官网有了一个实时仪表板，让每个人都能了解他们的资源使用情况. 这一知识增加了R&D和基础设施团队，让每个人都更有效率，并让冰球突破豪华版官网的所有权模式向前迈进一步.

עברית

פוסטיםבעברית

类别

RSS

饲料