구글 데이터 센터

Google data centers
네덜란드 Eemshaven에 있는 이전 Google 데이터 센터

Google 데이터 센터는 Google이 서비스를 제공하기 위해 사용하는 대규모 데이터 센터 시설로, 대형 드라이브, 랙 통로에 배치된 컴퓨터 노드, 내부 및 외부 네트워킹, 환경 제어(주로 냉각 및 가습 제어), 운영 소프트웨어(특히 부하 밸런싱 및 장애 허용)를 결합합니다.nce)

구글 데이터 센터에 있는 서버 수에 대한 공식 데이터는 없지만, Gartner는 2016년 7월 보고서에서 당시 구글이 250만 대의 서버를 보유하고 있었다고 추정했습니다.이 수치는 회사가 용량을 확장하고 하드웨어를 [1]갱신함에 따라 변화하고 있습니다.

장소

오리건주 더 댈즈에 있는 구글 데이터 센터

Google의 다양한 데이터 센터의 대륙별 위치는 다음과 같습니다.[2]

북미

  1. 사우스캐롤라이나 주(버클리 카운티)33°03°50.8【N 80°02】36.1】W/33.064111°N 80.043361°W/33.064111; -80.043361)—2007년 이후 2013년 확대, 종업원 150명
  2. 아이오와 주, Council Bluffs (41°13°17.7)【N 95°51】49.92】W/41.221583°N 95.8638667°W/41.221583;-95.8638667) 2007년 발표, 2009년 1단계 완료, 2013년 및 2014년 확장, 130명 직원
  3. 조지아주 더글러스 카운티(33°44°59.04°N 84°35°5.33°W / 33.7497333°W / 33.7497333; -84.5848139) - 2003년 이후 350명의 종업원
  4. 앨라배마주 브릿지포트(34°54°48.4)[N 85°44] 53.1 wW / 34.913444°N 85.748083°W / 34.913444 ; -85.748083) -[3][4] 2018년 착공
  5. 노스캐롤라이나주, Lenoir(35°53°54.78°N 81°32°50.58°W/35.89853833°W/35.8985500;-81.5473833) - 2007년 발표, 2009년 완료, 직원 수 110명 이상
  6. 테네시 주 몽고메리 카운티(36°37º37.7)[N 87°15] 27.7§ 가로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로/세로
  7. 미드아메리카 산업단지 오클라호마주 메이스 카운티(36°142828.1)【N 95°19】48.22▼W / 36.241139°N 95.3300611°W / 36.241139 ; -95.3300611】2007년 발표, 2012년 확대, 종업원 수 400명 이상[5]
  8. 오리건주 Dalles (45°37°57.04°N 121°12°8.16°W/45.6325667°W/45.6325111; -121.2022667)—2006년 이후 80명의 정규 직원
  9. 네바다주(Nevada) - 2018년 발표: 2017년 타호 리노 산업 [6]센터에 1,210에이커의 토지를 매입, 2018년 11월[7][8] 네바다주에 의해 프로젝트 승인
  10. Henderson, Nevada – 2019년 발표, 64에이커, 12억달러의 건축[9][10][11] 비용
    오클라호마주 메이스 카운티에 있는 구글 데이터 센터(미드아메리카 산업단지)
  11. 버지니아 주 라우던 카운티 - 2019년 발표[12][13]
  12. 캔자스시티 노스랜드 - 2019년 발표, 건설[14] 중
  13. 텍사스주 Midlothian - 2019년 375에이커, 6억달러의 건축비용[15][16] 발표
  14. 오하이오주 뉴올버니 - 2019년 발표, 400에이커, 6억달러의 건축비용[17][18]
  15. 네브래스카주 Papillion - 2019년 발표, 2억7천5에이커, 6억달러의 건축비[19][20]
  16. 유타주 솔트레이크시티 2020년 발표[citation needed]

남미

  1. 퀼리쿠라, 칠레 (33°213030.5)【S70°41】50.4© W / 33 . 358472 °S 70 . 697333 °W / - 33 . 358472 ; - 70 . 697333) - 2015년부터 온라인으로 2012년 발표, 종업원 수 20명까지 예정.퀼리쿠라에는 2018년에 [21]100만 개의 설비 투자 계획이 발표되었습니다.
  2. 칠레, Cerrillos – 2020년 발표[22]
  3. 콜로니아 니콜리치, 우루과이– 2019년 발표[23][24][25]

유럽

  1. 벨기에 생기슬랭(50°28009.6)【N 3°51】55.7© E / 50.469333°N 3.865472°E / 50.469333 ; 3.865472) — 2007년 발표, 2010년 완료, 직원 12명
  2. 핀란드 하미나 (60°32º11.68°N 27°7)[1.21] E/60.536778°N 27.1170028°E/60.536778; 27.1170028) - 2009년 발표, 2011년 1단계 완료, 확장 진행 중, 2022년 : 6개동, 직원 400명
  3. 아일랜드 더블린 (53°19°12.39°N 6°26°31.43°W / 53.3201083°W / 53.3201083; -6.4420639) - 2011년 발표, 2012년 완료, 직원 150명[27]
  4. 네덜란드 Eemshaven (53°25′32nN 6°513434eE / 53.425659nN 6.8593522e53.425659;6.8593522) - 2014년 발표, 2016년 완료, 직원 200명, 2018년 5억유로 확장
  5. 네덜란드 홀란드 크룬(아그리포트)– 2019년 발표
  6. 프레데리시아, 덴마크 (55°33°29.5)【N 9°39】20.8】E / 55.558194°N 9.655778°E / 55.558194; 9.655778)—2018년 6억유로, 2020년 11월 완료
  7. 스위스 취리히 – 2018년 발표, 2019년 완료[32]
  8. 폴란드 바르샤바 – 2019년 발표, 2021년 완료[33]

아시아

  1. 주롱웨스트, 싱가포르 (1°212104.8)§ N 103°42 35 35 . 2 e E / 1 . 351333 ° N 103 . 709778 ° E / 1 . 351333 ; 103.709778) - 2011년 발표, 2013년 완료
  2. 대만 창화현(24°08°18.6°N 120°25°32.6°E/24.138500°N 120.425722°E/24.138500;120.425722) - 2011년 발표, 2013년 완료, 직원 60명
  3. 인도 뭄바이 - 2017년 발표, 2019년 완료[34]
  4. 대만 타이난시 - 2019년 9월[35][36][37] 발표
  5. 대만 윈린현 - 2020년 9월[38] 발표
  6. 인도네시아 자카르타 - 2020년[39] 발표
  7. 인도 뉴델리 - 2020년 발표, 2021년 7월[40] 완료

하드웨어

오리지널 하드웨어

1998년경 구글 최초의 프로덕션 서버 랙

Stanford University에 있을 때 Google이 사용한 원래 하드웨어(1998년경)는 다음과 같습니다.[41]

  • Sun Microsystems Ultra II (듀얼 200 MHz 프로세서 및 256 MB RAM 탑재)이것은 원래 백러브 시스템의 메인 머신입니다.
  • 인텔이 기증한 300MHz 듀얼 Pentium II 서버 2대에는 512MB의 RAM과 10×9GB의 하드 드라이브가 포함되어 있습니다.메인 수색이 실행된 것은 이것들입니다.
  • IBM이 기증한 F50 IBM RS/6000에는 프로세서 4개, 메모리 512MB, 하드 디스크 드라이브 8개가 포함되어 있습니다.
  • 2개의 추가 박스에는 각각 3대의 9GB 하드 드라이브와 6대의 4GB 하드 디스크 드라이브가 포함되어 있습니다(백러브용 원래 스토리지).이것들은 Sun Ultra II에 부착되었다.
  • SDD 디스크 확장 상자에는 IBM이 기증한 다른 8 × 9GB 하드 디스크 드라이브가 들어 있습니다.
  • 10 × 9 GB SCSI 하드 디스크 드라이브가 들어 있는 홈메이드 디스크 박스.

실가동 하드웨어

2014년 현재, 구글은 고도로 맞춤화된 버전의 데비안 리눅스를 사용하고 있다.이들은 2013년에 [42]Red Hat 기반 시스템에서 점진적으로 마이그레이션했습니다.

커스터마이즈 목표는 절대적인 퍼포먼스가 아니라 비용당 최고의 퍼포먼스를 제공하는 CPU 세대를 구입하는 것입니다.이 측정방법은 불명확하지만 서버 전체의 가동비용을 포함할 가능성이 높기 때문에 CPU 소비전력이 큰 요인이 [43]될 수 있습니다.2009~2010년의 서버는, 2개의 프로세서(각각 복수의[44] 코어를 탑재)와 8개의 DIMM 슬롯에 걸쳐 많은 양의 RAM을 탑재해, 비표준 ATX 사이즈의 전원 [45]장치를 개입시켜 접속된 적어도2개의 SATA 하드 디스크 드라이브를 갖춘 커스텀 메이드의 오픈 탑 시스템으로 구성되어 있습니다.서버는 오픈 탑으로 되어 있기 때문에 랙에 들어갈 수 있는 서버가 많아졌습니다.씨넷과 존 헤네시의 저서에 따르면, 각 서버에는 비용을 절감하고 전력 [44][46]효율을 개선하기 위해 새로운 12볼트 배터리가 장착되었습니다.

구글에 따르면 글로벌 데이터센터 운영 전력은 500~681메가와트다.[47][48]이들 서버의 처리능력은 [49]2008년에는 20~100페타플롭에 달했을 가능성이 있습니다.

네트워크 토폴로지

구글의 전 세계 사설 네트워크에 대한 자세한 내용은 공개되지 않았지만, 구글[50][51] 출판물에서는 레벨 3에 이어 3번째로 큰 ISP로 구글을 꼽는 "Atlas Top 10" 보고서를 참조하고 있습니다.

가능한 한 적은 비용으로 가능한 한 많은 ISP에 직접 접속하여 이러한 대규모 네트워크를 운영하기 위해 구글은 매우 개방적인 피어링 [52]정책을 가지고 있습니다.

이 사이트에서 우리는 구글 네트워크에 67개의 공공 교환 지점과 69개의 다른 장소에서 접속할 수 있다는 것을 알 수 있다.2012년 5월 현재 Google은 882기가비트/초의 퍼블릭 접속을 보유하고 있습니다(Google이 가장 큰 ISP와 맺은 프라이빗 피어링 계약은 제외).이 공용 네트워크는 Google 사용자에게 콘텐츠를 배포하고 검색 인덱스를 구축하기 위해 인터넷을 탐색하는 데 사용됩니다.네트워크의 프라이빗 사이드는 비밀이지만, Google의 최근[53] 공개에 의하면, Wide Area Network에는 커스텀 빌드의 고라딕스 스위치 라우터(용량 128 × 10 기가비트이더넷 포트)가 사용되고 있습니다.데이터센터당 2대 이상의 라우터를 실행하면(용장성을 위해) Google 네트워크는 초당 테라비트 단위로 확장됩니다(완전 로드된 2대의 라우터는 양단면 대역폭이 1,280 기가비트/초에 달합니다.

이러한 커스텀 스위치 라우터는 DWDM 디바이스에 접속되어 다크 파이버를 통해 데이터센터와 Point of Presence(PoP)를 상호 접속합니다.

데이터 센터의 관점에서 네트워크는 랙 레벨에서 시작됩니다.19인치 랙은 커스텀 제조로 40~80대의 서버(양쪽에 20~40대의 1U 서버, 새로운 서버는 2U 랙마운트 시스템)[54]를 탑재하고 있습니다.각 랙에는 이더넷스위치가 있습니다.서버는 Top of Rack Switch(TOR; 탑 오브 랙 스위치)에 1 Gbit/s 이더넷 링크를 통해 연결됩니다.그런 다음 TOR 스위치를 여러 기가비트 또는 10 기가비트 [55]업링크를 사용하여 기가비트 클러스터 스위치에 연결합니다.클러스터 스위치 자체는 상호 접속되어 데이터센터 인터커넥트 패브릭을 형성하고 있습니다(대부분은 전형적인 나비형 또는 평평한 나비형[56] 레이아웃이 아닌 잠자리 설계를 사용합니다).

운영 관점에서 클라이언트 시스템이 Google에 연결하려고 하면 여러 DNS 서버가 해결합니다.www.google.com라운드 로빈 정책을 통해 여러 IP 주소로 이동합니다.또한 이것은 로드밸런싱의 첫 번째 레벨로 동작하며 클라이언트를 다른 Google 클러스터로 유도합니다.Google 클러스터에는 수천 대의 서버가 있으며 클라이언트가 서버에 연결되면 부하가 가장 적은 웹 서버로 쿼리를 보내기 위해 추가 부하 분산이 수행됩니다.따라서 Google은 가장 크고 복잡한 콘텐츠 전송 네트워크 [57]중 하나가 됩니다.

구글은 전 세계에 수많은 데이터 센터를 가지고 있다.적어도 12개의 중요한 Google 데이터 센터 설치는 미국에 있습니다.알려진 가장 큰 센터는 오리건주, 애틀랜타, 조지아주, 레스턴, 노스캐롤라이나주, 레누아르, 사우스캐롤라이나주 [58]몽크스 코너에 있습니다.유럽에서는 네덜란드의 Eemshaven과 그로닝엔, 벨기에의 [58]Mons에 가장 큰 센터가 알려져 있습니다.구글의 오세아니아 데이터 센터는 [59]호주 시드니에 있습니다.

데이터센터 네트워크 토폴로지

구글은 폴트 톨러런스 지원, 데이터센터 확장 및 저기수 스위치 수용을 위해 과거 다양한 [60]Clos 토폴로지를 수정하였습니다.

프로젝트 02

오리건주 더 댈즈에 있는 구글 데이터 센터

가장 큰 Google 데이터 센터 중 하나는 오리건주 더 댈스 시에 있으며, 콜롬비아 강변에 있으며, 포틀랜드에서 약 129km 떨어진 곳에 있습니다.코드네임 "프로젝트 02"로 명명된 이 백만[61] 개의[further explanation needed] 단지는 2006년에 지어졌으며, 4층 높이의 [62]냉각 타워가 있는 미식축구 경기장 두 개 크기입니다.이 사이트는 저렴한 수력발전을 이용하고 닷컴 붐의 잔재인 광섬유 케이블의 대규모 잉여를 활용하기 위해 선택되었습니다.이 사이트의 청사진은 [63]2008년에 등장했다.

섬마페이퍼밀

2009년 2월 Stora Enso는 핀란드 하미나에 있는 Suma 제지 공장을 구글에 4000만 [64][65]유로에 매각했다고 발표했습니다.구글은 이 사이트에 2억유로를 투자해 데이터센터를 짓고 2012년 [66][67]1억5000만유로를 추가 투자하겠다고 발표했다.구글은 재생 에너지원의 [68]가용성과 근접성 때문에 이 위치를 선택했습니다.

모듈러형 컨테이너 데이터 센터

2005년,[69] Google은 컨테이너형 모듈러 데이터 센터를 조사하고 있었습니다.구글은 2003년에 [70]이 기술에 대한 특허를 출원했다.

유동 데이터 센터

다음 항목도 참조하십시오.구글 인터럽트

2013년, 언론은 캘리포니아 주(Treasure Island's Building 3)와 메인 주(州) 연안에 구글의 부유 데이터 센터의 존재를 폭로했습니다.개발 프로젝트는 철저히 비밀에 부쳐졌다.데이터 센터는 길이 250피트, 폭 72피트, 깊이 16피트입니다.해양 데이터 센터 냉각 기술에 대한 특허는 2009년에 Google에[71][72] 의해 인수되었습니다(2008년에 파도[73][74] 동력 선박 기반 데이터 센터 특허와 함께).그 후 얼마 지나지 않아 구글은 이 두 개의 거대하고 비밀리에 건설된 인프라는 단지 [75]"사람들이 새로운 기술에 대해 배울 수 있는 인터랙티브한 학습 센터"라고 선언했다.

구글은 2013년 말 바지선 작업을 중단하고 [76][77]2014년부터 바지선 판매를 시작했다.

소프트웨어

구글이 서버에서 사용하는 소프트웨어 스택의 대부분은 [78]사내에서 개발되었습니다.잘 알려진 구글 직원들에 따르면, C++, Java, Python, 그리고 (더 최근에는) Go가 다른 프로그래밍 [79]언어보다 선호된다고 한다.예를 들어 Gmail의 백엔드는 Java로, 구글 검색의 백엔드는 C++[80]로 씁니다.구글은 Python이 처음부터 중요한 역할을 해왔으며, 시스템이 성장하고 [81]발전함에 따라 Python이 계속해서 그렇게 하고 있다는 것을 인정했다.

Google 인프라를 실행하는 소프트웨어에는 다음이 포함됩니다.[82]

  • Google Web Server(GWS) – Google이 온라인 서비스에 사용하는 Linux 기반의 커스텀 웹 서버.
  • 스토리지 시스템:
    • 구글 파일 시스템 및 그 후계자인 Colosus[83][84]
    • 빅테이블 – GFS/Colosus를[83] 기반으로 구축된 구조화된 스토리지
    • 스패너 – 외부적으로 일관된 분산 트랜잭션을[83][85] 지원하는 지구 규모의 데이터베이스
    • Google F1 – Spanner 기반의 분산형 준SQL DBMS로, [86]MySQL의 커스텀 버전을 대체합니다.
  • 통통 잠금 서비스
  • MapReduce 및 Sawzall 프로그래밍 언어
  • 인덱싱/검색 시스템:
    • TeraGoogle – 구글의 대규모 검색 인덱스 (2006년 [87]초에 출시)
    • 카페인 (Percolator)– 연속 인덱스 시스템 (2010년 [88]출시)
    • Humbird – 복잡한 검색과 음성 [89]검색을 포함한 주요 검색 색인 업데이트.
  • Borg 선언 프로세스 스케줄링 소프트웨어

Google은 대부분의 [90]데이터를 저장하는 데 사용하는 몇 가지 추상화를 개발했습니다.

  • Protocol Buffers – "Google의 데이터용 언어"[91]는 사내에서 널리 사용되는 바이너리 시리얼라이제이션 형식입니다.
  • SSTable(Sorted Strings Table) – 키에서 값으로 영속적이고 순서가 매겨진 불변의 맵.키와 값은 모두 임의의 바이트 문자열입니다.그것은 [92]또한 빅테이블의 구성 요소 중 하나로 사용된다.
  • RecordIO – 가변 크기의 일련의 레코드.[90][93][94]

소프트웨어 개발 프랙티스

대부분의 작업은 읽기 전용입니다.업데이트가 필요한 경우 일관성 문제를 단순화하기 위해 쿼리는 다른 서버로 리디렉션됩니다.쿼리는 하위 쿼리로 나뉘며, 하위 쿼리는 다른 덕트로 병렬로 전송되므로 지연 시간이 [54]단축됩니다.

피할 수 없는 하드웨어 장애의 영향을 줄이기 위해 소프트웨어는 폴트 톨러런스로 설계되었습니다.따라서 시스템이 다운되어도 다른 서버에서 데이터를 계속 사용할 수 있으므로 신뢰성이 향상됩니다.

검색 인프라스트럭처

색인

대부분의 검색 엔진과 마찬가지로 구글은 반전 색인이라고 알려진 데이터 구조를 구축하여 문서를 색인화합니다.이러한 색인은 질의어로 문서 목록을 가져옵니다.서버에 [57]저장된 문서 수 때문에 색인이 매우 큽니다.

색인은 문서 ID로 분할되어 샤드라고 불리는 여러 부분으로 분할됩니다.각 샤드는 여러 서버에 복제됩니다.처음에 인덱스는 기존의 IR(정보 검색) 시스템과 마찬가지로 하드 디스크 드라이브에서 제공되었습니다.구글은 각 샤드의 복제품 수를 늘려 서버 수를 늘림으로써 증가하는 쿼리량에 대처했다.곧 전체 인덱스의 복사본을 메인 메모리에 보관할 수 있는 충분한 서버가 있다는 것을 알게 되었고(복제가 적거나 전혀 없음), 2001년 초에 Google은 인메모리 인덱스 시스템으로 전환했습니다.이 스위치는 검색 시스템의 "많은 설계 파라미터"를 극적으로 변경함으로써 throughput을 대폭 향상시키고 [95]쿼리 레이텐시를 대폭 단축할 수 있었습니다.

2010년 6월 구글은 검색 인덱스를 지속적으로 크롤링하고 업데이트할 수 있는 차세대 인덱싱 및 서비스 시스템 "카페인"을 출시했다.이전에 구글은 일련의 MapReduce 작업을 사용하여 검색 인덱스를 일괄적으로 업데이트했습니다.인덱스는 몇 개의 레이어로 분리되었으며, 그 중 일부는 다른 레이어보다 빠르게 업데이트되었으며, 메인 레이어는 2주 동안 업데이트되지 않았습니다.카페인을 사용하면 전체 지수가 지속적으로 점진적으로 업데이트됩니다.나중에 구글은 "퍼콜레이터"[96]라고 불리는 분산 데이터 처리 시스템을 공개했는데, 이것은 카페인 색인 시스템의 [88][97]기본이라고 한다.

서버 타입

Google의 서버 인프라는 여러 가지 유형으로 나뉘며, 각각 다른 [54][57][98][99][100]목적에 할당됩니다.

  • 웹 서버는 사용자가 보낸 쿼리의 실행을 조정하고 결과를 HTML 페이지로 포맷합니다.실행은 인덱스 서버에 대한 쿼리 전송, 결과 병합, 순위 계산, 각 히트(문서 서버 사용) 요약 검색, 맞춤법 서버 제안 요청, 마지막으로 광고 서버로부터 광고 목록 가져오기 등으로 구성됩니다.
  • 데이터 수집 서버는 항상 웹을 탐색하는 데 전념합니다.구글의 웹 크롤러는 구글봇으로 알려져 있다.색인 및 문서 데이터베이스를 업데이트하고 Google 알고리즘을 적용하여 페이지에 순위를 할당합니다.
  • 각 인덱스 서버에는 인덱스 샤드 세트가 포함되어 있습니다.특정 문서 ID에 해당하는 문서에 질의어가 들어 있는 문서 ID("docid") 목록을 반환합니다.이러한 서버는 필요한 디스크 용량은 적지만 CPU 워크로드가 가장 큽니다.
  • 문서 서버는 문서를 저장합니다.각 문서는 수십 개의 문서 서버에 저장됩니다.검색을 수행할 때 문서 서버는 질의어를 기반으로 문서에 대한 요약을 반환합니다.또한 요청 시 전체 문서를 가져올 수도 있습니다.이러한 서버에는 더 많은 디스크 공간이 필요합니다.
  • 광고 서버는 AdWords나 AdSense와 같은 서비스에 의해 제공되는 광고를 관리합니다.
  • 맞춤법 서버는 쿼리의 맞춤법에 대해 제안합니다.

보안.

2013년 10월 워싱턴포스트는 미국 국가안보국이 [101][102]MUSTUL이라는 이름의 프로그램의 일환으로 구글 데이터센터 간의 통신을 가로챘다고 보도했다.이 감청은 당시 구글이 자체 네트워크로 전달된 [103]데이터를 암호화하지 않았기 때문에 가능했다.이는 2013년 [104]구글이 데이터 센터 간에 전송되는 데이터를 암호화하기 시작하면서 수정되었습니다.

환경에 미치는 영향

Google의 가장 효율적인 데이터 센터는 35°C(95°F)에서 가동되며, 외부 공기의 냉각만을 사용합니다.전기로 작동되는 에어컨은 [105]필요 없습니다.

2016년 12월, Google은 2017년부터 데이터 센터와 사무실의 에너지 사용량의 100%에 맞도록 충분한 재생 에너지를 구입할 것이라고 발표했습니다.이 약속은 구글을 "2.6기가와트(2,600메가와트)의 풍력 [106][107][108]및 태양광 에너지를 약속하는 세계 최대의 재생 에너지 기업"으로 만들 것이다.

레퍼런스

  1. ^ "How Many Servers Does Google Have?". Data Center Knowledge. March 16, 2017. Retrieved September 20, 2018.
  2. ^ "Google data centers, locations". Retrieved July 21, 2014.
  3. ^ "Jackson County, Alabama". Google.
  4. ^ "Google kicks off construction on M Alabama data center". Made in Alabama. Retrieved August 19, 2019.
  5. ^ Dawn-Hiscox, Tanwen (February 20, 2018). "Google to spend m on Pryor data center expansion". Data Centre Dynamics. Archived from the original on April 23, 2019. Retrieved April 23, 2019.
  6. ^ Tanwen Dawn-Hiscox (April 18, 2017). "Google is planning a massive data center in Nevada". Datacenterdynamics.com. Retrieved December 8, 2018.
  7. ^ Jason Hidalgo (November 16, 2018). "Nevada approves Google's M data center near Las Vegas, M in tax incentives". Rgj.com. Retrieved December 8, 2018.
  8. ^ Jason Hidalgo (September 16, 2020). "Google to invest $600 million in data center near Reno, gets tax break". Reno Gazette Journal. Retrieved October 26, 2020. With our new data center in Storey County and our expanded investment in our Henderson site, Google will have two facilities in Nevada, bringing our total investment to over $1.88 billion.
  9. ^ Torres-Cortez, Ricardo (September 16, 2020). "Google to invest additional $600M at Henderson data center – Las Vegas Sun Newspaper". lasvegassun.com. Retrieved February 12, 2021. "With this latest announcement, Google will bring their total investment in the city of Henderson to $1.2 billion," said Mayor Debra March in the release{{cite web}}: CS1 maint :url-status (링크)
  10. ^ "Henderson, Nevada – Data Centers – Google". Retrieved October 26, 2020.
  11. ^ Baxtel. "Google Henderson NV Data Center". baxtel.com. Retrieved February 12, 2021.
  12. ^ Report, Times-Mirror Staff. "Google 'caps off' $600M investment in Loudoun County". LoudounTimes.com. Retrieved February 12, 2021.
  13. ^ "Loudoun County, Virginia – Data Centers – Google". Google Data Centers. Retrieved February 12, 2021.
  14. ^ www.bizjournals.com https://www.bizjournals.com/kansascity/news/2019/08/28/google-data-center-deed-executed-for-kcmo-land.html. Retrieved February 12, 2021. {{cite web}}:누락 또는 비어 있음 title=(도움말)
  15. ^ "Google's massive $600M data center takes shape in Ellis County as tech giant ups Texas presence". Dallas News. June 14, 2019. Retrieved February 12, 2021.
  16. ^ "Midlothian, Texas – Data Centers – Google". Google Data Centers. Retrieved February 12, 2021.
  17. ^ Williams, Mark. "Google joins New Albany high-tech crowd with $600 million data center". The Columbus Dispatch. Retrieved February 12, 2021.
  18. ^ "New Albany, Ohio – Data Centers – Google". Google Data Centers. Retrieved February 12, 2021.
  19. ^ "Google confirms it is behind $600m Papillion data center project". www.datacenterdynamics.com. Retrieved February 12, 2021.
  20. ^ "Papillion, Nebraska – Data Centers – Google". Google Data Centers. Retrieved February 12, 2021.
  21. ^ "Google ha decido de invertir millones de dólares en su centro de datos en Chile". Newtechmag.net (in Spanish). September 28, 2018. Retrieved December 8, 2018.
  22. ^ "Google instalará un nuevo data center en Chile". diarioeldia.cl (in Spanish).
  23. ^ Observador, El. "Google instalará un centro de datos en Canelones". El Observador. Retrieved August 20, 2020.
  24. ^ ICNDiario. "El gigante Google confirma que instalará su centro de datos en Uruguay ICNDiario" (in Spanish). Retrieved August 20, 2020.
  25. ^ "Google confirmó la instalación de su centro de datos en el Parque de las Ciencias". Montevideo Portal (in Spanish). Retrieved August 20, 2020.
  26. ^ "Google gets green light for its sixth data center in Hamina, Finland". September 11, 2020.
  27. ^ "Dublin, Ireland – Data Centers – Google". www.google.com. Retrieved April 2, 2019.
  28. ^ "Google invests €1 billion in data centers in the Netherlands". NFIA. June 24, 2019. Retrieved February 12, 2021.
  29. ^ "Google to Spend $1.1 Billion on New Data Centers in Netherlands". Data Center Knowledge. June 24, 2019.
  30. ^ Sverdlik, Yevgeniy (November 20, 2018). "Google to Build M Data Center in Denmark". Data Center Knowledge. Archived from the original on April 16, 2019. Retrieved April 23, 2019.
  31. ^ Baxtel. "Google Fredericia Denmark Data Center". baxtel.com. Retrieved February 12, 2021.
  32. ^ << Cite web url = https://www.datacenterknowledge.com/google-alphabet/google-building-cloud-data-centers-close-swiss-banks[permanent dead link]%7Ctitle=Google 스위스 은행 근처에 클라우드 데이터 센터 구축
  33. ^ "Google to Build Cloud Data Centers in Poland". Data Center Knowledge. September 27, 2019.
  34. ^ Stiver, Dave (November 1, 2017). "GCP arrives in India with launch of Mumbai region". Google Cloud Blog. Retrieved July 30, 2019.
  35. ^ "Google purchases land for new data center in Tainan". Taipei Times. September 12, 2019. Retrieved December 20, 2019.
  36. ^ "Google to set up data center in Tainan". Focus Taiwan. September 11, 2019. Retrieved December 20, 2019.
  37. ^ "Google to set up second data center in Taiwan". Taiwan News. September 11, 2019. Retrieved December 20, 2019.
  38. ^ "Google confirms plans to build 3rd data center in Taiwan". Taiwan News. September 3, 2020. Retrieved September 3, 2020.
  39. ^ "The new Google Cloud region in Jakarta is now open". Google Cloud Blog. Retrieved September 15, 2021.
  40. ^ "Namaste, India. Our new cloud region in Delhi NCR is now live". cloudonair.withgoogle.com.
  41. ^ ""Google Stanford Hardware"". Archived from the original on February 9, 1999. Retrieved March 23, 2017.{{cite web}}: CS1 maint: bot: 원래 URL 상태를 알 수 없습니다(링크).스탠포드 대학교(인터넷 아카이브 제공).2006년 7월 10일에 취득.
  42. ^ Merlin, Marc (2013). "Case Study: Live upgrading many thousand of servers from an ancient Red Hat distribution to a 10 year newer Debian based one" (PDF). Linux Foundation. Retrieved June 9, 2017.
  43. ^ Tawfik Jelassi; Albrecht Enders (2004). "Case study 16 — Google". Strategies for E-business. Pearson Education. p. 424. ISBN 978-0-273-68840-2.
  44. ^ a b 컴퓨터 아키텍처, 제5판:정량적 접근법, ISBN 978-01238728; 6장; 6.7 "Google 웨어하우스 스케일 컴퓨터" 471 페이지 "UPS 기능이 각 서버에 연결된 표준 배터리로 공급될 수 있도록 단일 12V 전원만 필요한 메인보드 설계"
  45. ^ 구글의 유튜브 비밀 전원 공급 장치
  46. ^ 구글은 2009년 4월 1일 한때 비밀 서버 로킹을 해제했다.
  47. ^ "Google Sustainability". Google Sustainability.
  48. ^ "Analytics Press Growth in data center electricity use 2005 to 2010". Archived from the original on January 11, 2012. Retrieved May 22, 2012.
  49. ^ 구글이 슈퍼컴퓨터 커뮤니티를 넘어섰나?2008년 5월 20일
  50. ^ Lam, Cedric F.; Liu, Hong; Koley, Bikash; Zhao, Xiaoxue; Kamalov, Valey; Gill, Vijay (2010), "Fiber Optic Communication Technologies: What's Needed for Datacenter Network Operations", Research, vol. 48
  51. ^ Lam, Cedric F. (2010), FTTH look ahead — technologies & architectures (PDF), p. 4
  52. ^ "kumara ASN15169", Peering DB
  53. ^ "Urs Holzle", Speakers, Open Network Summit, archived from the original on May 10, 2012, retrieved May 22, 2012
  54. ^ a b c 행성 웹 검색: 구글 클러스터 아키텍처(Luiz André Barroso, Jeffrey Dean, Urs Hölzle)
  55. ^ 창고 크기 컴퓨터
  56. ^ Denis Abt 고성능 데이터센터 네트워크:아키텍처, 알고리즘 및 기회
  57. ^ a b c Fiach Reid (2004). "Case Study: The Google search engine". Network Programming in .NET. Digital Press. pp. 251–253. ISBN 978-1-55558-315-6.
  58. ^ a b Rich Miller (March 27, 2008). "Google Data Center FAQ". Data Center Knowledge. Archived from the original on March 13, 2009. Retrieved March 15, 2009.
  59. ^ Brett Winterford (March 5, 2010). "Found: Google Australia's secret data network". ITNews. Retrieved March 20, 2010.
  60. ^ Singh, Arjun; Ong, Joon; Agarwal, Amit; Anderson, Glen; Armistead, Ashby; Bannon, Roy; Boving, Seb; Desai, Gaurav; Felderman, Bob; Germano, Paulie; Kanagala, Anand (2015). "Jupiter Rising: A Decade of Clos Topologies and Centralized Control in Google's Datacenter Network". Sigcomm '15. doi:10.1145/2785956.2787508. S2CID 2817692.
  61. ^ Google "The Dalles, Oregon Data Center" 2011년 1월 3일 취득.
  62. ^ 마크오프, 존 핸셀, 사울"보이지 않는 곳에 숨어서 구글은 더 많은 힘을 추구합니다."뉴욕타임스.2006년 6월 14일2008년 10월 15일에 취득.
  63. ^ 스트랜드, 진저"Google 데이터 센터" Harper's Magazine.2008년 3월2008년 10월 15일에 취득.2012년 8월 30일 Wayback Machine에서 아카이브 완료
  64. ^ "Stora Enso divests Summa Mill premises in Finland for million". Stora Enso. February 12, 2009. Archived from the original on April 13, 2009. Retrieved December 2, 2009.
  65. ^ [데드링크] "Stooora yllätys: Google ostaa Summan tehtaan". Kauppalehti (in Finnish). Helsinki. February 12, 2009. Archived from the original on February 14, 2009. Retrieved February 12, 2009.
  66. ^ "Google investoi 200 miljoonaa euroa Haminaan". Taloussanomat (in Finnish). Helsinki. February 4, 2009. Retrieved March 15, 2009.
  67. ^ "Hamina, Finland". Retrieved April 23, 2018.
  68. ^ 핀란드 – 클라우드 컴퓨팅 데이터 센터 설치의 첫 번째 선택지2013년 7월 6일 2010년 8월 4일 액세스된 웨이백 머신에 보관됩니다.
  69. ^ Metz, Cade (April 10, 2009). "Google streams data center pods to world+dog". The Register.
  70. ^ "United States Patent: 7278273". Patft.uspto.gov. Retrieved February 17, 2012.
  71. ^ Rory Carroll (October 30, 2013). "Google's worst-kept secret: floating data centers off US coasts". Theguardian.com. Retrieved December 8, 2018.
  72. ^ Rich Miller (April 29, 2009). "Google Gets Patent for Data Center Barges". Datacenterknowledge.com. Retrieved December 8, 2018.
  73. ^ Martin Lamonica (September 8, 2008). "Google files patent for wave-powered floating data center". Cnet.com. Retrieved December 8, 2018.
  74. ^ "Google's ship based datacenter patent application surfaces". Datacenterdynamics.com. September 7, 2008. Retrieved December 8, 2018.
  75. ^ "Google barge mystery solved: they're for 'interactive learning centers'". Theguardian.com. November 6, 2013. Retrieved December 8, 2018.
  76. ^ Brandon Bailey (August 1, 2014). "Google confirms selling a mystery barge". San Jose Mercury News. Retrieved April 7, 2015.
  77. ^ Chris Morran (November 7, 2014). "What Happened To Those Google Barges?". Consumerist. Retrieved January 15, 2017.
  78. ^ Mark Levene (2005). An Introduction to Search Engines and Web Navigation. Pearson Education. p. 73. ISBN 978-0-321-30677-7.
  79. ^ "Python Status Update". Artima. January 10, 2006. Retrieved February 17, 2012.
  80. ^ "Warning". Panela. Blog-city. Archived from the original on December 28, 2011. Retrieved February 17, 2012.
  81. ^ "Quotes about Python". Python. Retrieved February 17, 2012.
  82. ^ "Google Architecture". High Scalability. November 22, 2008. Retrieved February 17, 2012.
  83. ^ a b c Fikes, Andrew (July 29, 2010), "Storage Architecture and Challenges", TechTalk (PDF)[영구 데드링크]
  84. ^ "Colossus: Successor to the Google File System (GFS)". SysTutorials. November 29, 2012. Retrieved May 10, 2016.
  85. ^ Dean, Jeffrey 'Jeff' (2009), "Design, Lessons and Advice from Building Large Distributed Systems", Ladis (keynote talk presentation), Cornell
  86. ^ Shute, Jeffrey 'Jeff'; Oancea, Mircea; Ellner, Stephan; Handy, Benjamin 'Ben'; Rollins, Eric; Samwel, Bart; Vingralek, Radek; Whipkey, Chad; Chen, Xin; Jegerlehner, Beat; Littlefield, Kyle; Tong, Phoenix (2012), "F1 — the Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business", Research (presentation), Sigmod
  87. ^ "Google alums rev up a new search engine". Los Angeles Times. July 28, 2008. Retrieved September 15, 2021.{{cite web}}: CS1 maint :url-status (링크)
  88. ^ a b 등록부구글 카페인이 전 세계 검색기계를 뒤흔들다
  89. ^ "Google official release note". Retrieved September 28, 2013.
  90. ^ a b "Google Developing Caffeine Storage System TechWeekEurope UK". Eweekeurope.co.uk. August 18, 2009. Archived from the original on November 15, 2011. Retrieved February 17, 2012.
  91. ^ "Developer Guide – Protocol Buffers – Google Code". Retrieved February 17, 2012.
  92. ^ http://static.googleusercontent.com/media/research.google.com/en/us/archive/bigtable-osdi06.pdf[베어 URL PDF]
  93. ^ windley on (June 24, 2008). "Phil Windley's Technometria Velocity 08: Storage at Scale". Windley.com. Retrieved February 17, 2012.
  94. ^ "Message limit – Protocol Buffers Google Groups". Retrieved February 17, 2012.
  95. ^ "Jeff Dean's keynote at WSDM 2009" (PDF). Retrieved February 17, 2012.
  96. ^ 대니얼 펑, 프랭크 데이벡입니다(2010).분산 트랜잭션 및 알림을 사용한 대규모 증분 처리.제9회 USENIX 운영체제 설계 및 구현 심포지엄 진행.
  97. ^ 등록부Google Percolator – 글로벌 검색 쇼크 및 MapReduce 다운
  98. ^ Chandler Evans (2008). "Google Platform". Future of Google Earth. Madison Publishing Company. p. 299. ISBN 978-1-4196-8903-1.
  99. ^ Chris Sherman (2005). "How Google Works". Google Power. McGraw-Hill Professional. pp. 10–11. ISBN 978-0-07-225787-8.
  100. ^ Michael Miller (2007). "How Google Works". Googlepedia. Pearson Technology Group. pp. 17–18. ISBN 978-0-7897-3639-0.
  101. ^ Gellman, Barton; Soltani, Ashkan (October 30, 2013). "NSA infiltrates links to Yahoo, Google data centers worldwide, Snowden documents say". The Washington Post. Retrieved November 1, 2013.
  102. ^ Savage, Charlie; Miller, Claire Cain; Perlroth, Nicole (October 30, 2013). "N.S.A. Said to Tap Google and Yahoo Abroad". The New York Times. Retrieved March 9, 2017.
  103. ^ Gallagher, Sean (October 31, 2013). "How the NSA's MUSCULAR tapped Google's and Yahoo's private networks". Ars Technica. Condé Nast. Retrieved March 9, 2017.
  104. ^ Miller, Claire Cain (October 31, 2013). "Angry Over U.S. Surveillance, Tech Giants Bolster Defenses". The New York Times. Retrieved March 9, 2017.
  105. ^ Humphries, Matthew (March 27, 2012). "Google's most efficient data center runs at 95 degrees". geek.com. Archived from the original on June 13, 2016. Retrieved June 13, 2016.
  106. ^ Hölzle, Urs (December 6, 2016). "We're set to reach 100% renewable energy — and it's just the beginning". The Keyword Google Blog. Retrieved December 8, 2016.
  107. ^ Statt, Nick (December 6, 2016). "Google just notched a big victory in the fight against climate change". The Verge. Vox Media. Retrieved December 8, 2016.
  108. ^ Etherington, Darrell (December 7, 2016). "Google says it will hit 100% renewable energy by 2017". TechCrunch. AOL. Retrieved December 8, 2016.

추가 정보

외부 링크