Поисковая система - Google.

ВКонтакте.

Ситуация с хранением данных выглядит достаточно размыто: с одной стороны, активно используется собственная система управления базами данных, написанная на C и созданная "лучшими умами" России, с другой — часто упоминалась MySQL в роли
основного хранилища.

Говоря о хранении данных, нельзя не упомянуть о таком важном аспекте, как кэширование часто используемой информации (расположение её в оперативной памяти для быстрого доступа). Для этого используется очень популярный продукт в этой области — memcached. Эта система позволяет осуществлять очень
простые атомарные операции, такие как расположение и получение произвольных данных по ключу. Основной фишкой является молниеносно быстрый доступ и возможность легкого объединения оперативной памяти большого количества серверов
в общий массив для временного хранения "горячих" данных.

o Debian Linux —основная операционная система

o nginx — балансировка нагрузки

o PHP XCache

o Apache +mod_php

o memcached

o MySQL

o Собственная СУБД на C, созданная "лучшими умами" России

o node.js — прослойка для реализации протокола XMPP, живет за HAProxy (haproxy.1wt.eu)

o xfs— файловая система для хранения изображений и отдачи пользователю

o ffmpeg — конвертирование видео

Источник: https://xakep.ru/2011/03/16/55052/

Instagram:

Технологии:

o UbuntuLinux 11.04 - основная операционная система

o Python - основной язык программирования серверной части

o Django - фреймворк

o EC2 - хостинг

o ELB - балансировка входящих HTTP-запросов

o Route53 - DNS

o S3 - хранение фотографий

o CloudFront - CDN

o nginx - второй уровень балансировки входящихHTTP-запросов

o gunicorn - WSGI-сервер

o HAProxy - балансировка нагрузки внутри системы

o PostgreSQL - основное хранилище данных

o postgis - поддержка гео-запросов

o pgfouine - отчеты на основе логов

o Pgbouncer - создание пула соединений

o Redis - дополнительное хранилище данных

o Memcached - кэширование

o Gearman - очередь задач

o Solr - гео-поиск

o munin, statsd, pingdom - мониторинг

o Fabric - управление кластером

o xfs - файловая система

Источники: https://instagram-engineering.tumblr.com/

https://www.insight-it.ru/highload/2012/arkhitektura-instagram/

Блог Livejournal.

• MySQL 4.0/4.1 в основном с InnoDB
• Perlbal, веб-сервер и балансировщик нагрузки
• memcached для распределенного кэширования
• MogileFS, распределенная файловая система

Источник: https://www.insight-it.ru/highload/2008/arkhitektura-livejournal/

Поисковая система - Google.

• На 2006 год система включала в себя 450000 недорогих серверов
• За 2005 год было проиндексировано 8 миллиардов страниц. На данный момент… кто знает?
• На момент написания оригинала Google включает в себя более 200 GFS кластеров. Один кластер может состоять из 1000 или даже 5000 компьютеров
• Десятки и сотни тысяч компьютеров получают данные из GFS кластеров, которые насчитывают более 5 петабайт дискового пространства. Суммарные пропускная способность операций записи и чтения между дата центрами может достигать 40 гигабайт в секунду
• BigTable позволяет хранить миллиарды ссылок (URL), сотни терабайт снимков со спутников, а также настройки миллионов пользователей
• Надежное масштабируемое хранение данных крайне необходимо для любого приложения. GFS является основой их платформы хранения информации
• GFS - большая распределенная файловая система, способная хранить и обрабатывать огромные объемы информации

o MapReduce является программной моделью и соответствующей реализацией обработки и генерации больших наборов данных. Пользователи могут задавать функцию, обрабатывающую пары ключ/значение для генерации промежуточных аналогичных пар, и сокращающую функцию, которая объединяет все промежуточные значения, соответствующие одному и тому же ключу.

• BigTable является крупномасштабной, устойчивой к потенциальным ошибкам, самоуправляемой системой, которая может включать в себя терабайты памяти и петабайты данных, а также управлять миллионами операций чтения и записи в секунду.
• BigTable представляет собой распределенный механизм хэширования, построенный поверх GFS, а вовсе не реляционную базу данных и, как следствие, не поддерживает SQL-запросы и операции типа Join.
• Она предоставляет механизм просмотра данных для получения доступа к структурированным данным по имеющемуся ключу. GFS хранит данные не поддающиеся пониманию, хотя многим приложениям необходимы структурированные данные.
• Linux, домашнее размещение серверов, материнские платы предназначенные для персональных компьютеров, дешевые средства хранения данных.

Источник: https://www.insight-it.ru/highload/2008/arkhitektura-google/