登录 注册

大数据网络建设过程中常遇到的几个问题

扫码咨询
发布时间:2022-01-19 14:59:12 浏览: 0 评论 : 责任编辑: 创始人

大数据网络建设过程中常遇到的几个问题


    现在很多互联网公司都在玩大数据,idc服务商机房分布着大量的网络基础设施,在将大规模和分布式架构组合在一起时,我们就能发现大数据网络有一组特殊的需求。下面是需要考虑的以下方面:


  1.网络弹性与大数据应用程序


  如果有一组分布式资源必须通过互联网络进行协调时,可用性就变得至关重要。如果网络出现故障,那么造成的后果是出现不连续的坏计算资源与数据集。


  准确地说,大多数网络架构和工程师的主要关注点是正常运行时间。但是,网络故障时间的根源又各不相同。它们可能源自于各个方面,包括设备故障(硬件与软件)、维护和人为错误。故障是不可避免的。虽然网络的高度可用性也很重要,但是想要设计完美可用性是不可能的。


  网络架构师不能用故障来逃避目标,而应该设计一些能适应故障的弹性网络。网络的弹性取决于路径多样性(资源之间设置多条路径)和故障转移(能够快速发现问题和转移到其他路径上)。除了传统的平均故障时间间隔(MTBF)方法,大数据网络的真正设计标准一定要包含这些特性。


  2.解决大数据应用中的网络拥塞问题


  大数据应用程序不仅仅是规模大,而且还有一种我称为突发性的特性。当一个作业启动之后,数据就开始流转。在高流量时间段里,拥塞是一个严重的问题。然而,拥塞可能引起更多的队列延迟时间和丢包率。此外,拥塞还可能触发重转,这可能让本身负载繁重的网络无法承受。因此,网络架构设计时应该尽可能减少拥塞点。按照可用性的设计标准,减少拥塞要求网络具有较高的路径多样性,这样才能允许网络将流量分散到大量不同的路径上。


  3.大数据中网络一致性要比迟延性更重要


  实际上,大多数大数据应用程序对网络延迟并不敏感。如果计算时间的数量级为几秒钟或几分钟,那么即使网络上出现较大延迟也是无所谓的——数量级大概为几千毫秒。然而,大数据应用程序一般具有较高的同步性。这意味着作业是并行执行的,而各个作业之间较大的性能差异可能会引发应用程序的故障。因此,网络不仅要足够高效,而且要在空间和时间上具有一致的性能。


  4.现在就要准备大数据未来的可伸缩性


  可能让人有点意外的是,大多数大数据集群实际上并不大。许多人都知道雅虎在其大数据环境中运行着超过42,000个节点,但是根据Hadoop Wizard的数据,2013年大数据集群的平均节点数量只有100个。换句话说,即使每一台服务器配置双重冗余,支持整个集群也只需要4个接入交换机(假设是分别有72个10GbE访问端口的Broadcom交换机)。


     腾佑科技是十几年的老牌idc服务商,提供服务器租用托管,全国各地都有机房资源,是百度云服务中心,提供各行业的服务器解决方案!


热门活动

  • 日本樱花云服务器黄页:云计算新选择随着云计算技术的不断发展,越来越多的企业开始将业务迁移到云端,以提高效率、降低成本。而在云计算市场中,日本樱花云服务器黄页成为了云计算新选择。首先,日本樱花云服务器黄页提供了稳定可靠的云计算服务。其服务器采......

    2023-06-07
  • 在现代社会,云计算已经成为了一个不可或缺的技术,为企业和个人提供了高速、稳定的云端服务。而在云计算领域,日本的樱花云服务器也是备受关注的一种云计算服务。樱花云服务器是一种基于日本数据中心的云计算服务,其具有高速、稳定的特点。通过使用樱花云服......

    2023-06-07
  • DNS(Domain Name System)服务器是互联网中的重要组成部分,它负责将域名转化为对应的IP地址,使得我们能够通过域名访问网站。因此,检测DNS服务器是否正常运行非常重要。本文将介绍如何检测DNS服务器是否正常运行。第一步:使......

    2023-06-19
  • 证书已安装,但网页无效?可能是这些原因!当我们在网站上看到“安全证书已安装”,却发现网页无法打开,这时候很多人会感到困惑。这种情况常常出现在我们访问银行、电商等需要安全保障的网站时。那么,为什么会出现这种情况呢?下面我们就来分析一下可能的原......

    2023-06-16
  • 在虚拟机中使用FTP连接时,有时会遇到连接被拒绝的问题。这可能是由于多种因素引起的,例如网络设置、FTP服务器配置等。下面将为您介绍一些可能的解决方法。第一步是检查网络连接设置。确保您的虚拟机和主机都连接到同一个网络,并且网络设置正确。如果......

    2023-07-14
  • 随着互联网的发展,网络已经成为了人们生活中不可或缺的一部分。然而,随着网络使用的不断增加,网络速度和带宽也成为了人们关注的焦点。在这个时代,一个好的网络带宽对于企业和个人用户来说都至关重要。那么,什么是g口大带宽呢?G口大带宽是指网络传输速......

    2023-04-24
  • 服务器是一种计算机设备,通常用于存储和处理大量数据,以便其他设备或用户可以访问它们。它们可以作为网络中心,提供文件、电子邮件、网站和其他应用程序的服务。服务器的作用是为其他设备或用户提供共享资源,如文件、印表机、数据库、电子邮件和网站。服务......

    2023-06-10
  • 在现今的互联网时代,独立服务器已经成为了很多企业和个人的必需品。而在香港地区,腾佑科技是一家非常值得信赖的云计算服务提供商。他们提供的香港云服务器,无论从哪个方面来说,都是非常优秀的,让人们可以以非常低廉的价格获得高质量、高性能的服务。首先......

    2023-04-12
  • 随着互联网技术的不断发展,云计算已成为企业信息化建设的重要组成部分。台湾作为云计算技术的重要研发和应用地区,也涌现出了众多优秀的云主机服务提供商。在这篇文章中,我们将为大家介绍几家值得推荐的台湾云主机服务提供商。首先,我们要介绍的是台湾知名......

    2023-06-26
  • 虚拟主机暂停怎么办?虚拟主机是一个网站的基础设施,它提供了存储空间、带宽和其他必要的资源,使得网站能够在互联网上正常运行。但是,有时候虚拟主机可能会因为各种原因被暂停,这时候该怎么办呢?首先,你需要了解虚拟主机暂停的原因。虚拟主机可能会因为......

    2023-07-11

专题推荐

1