Эффективное решение для хранения сверхбольших данных представлено на HighLoad++ Foundation 2022
На XV профессиональной конференции разработчиков высоконагруженных систем, состоявшейся в Москве 13-14 мая, участники конференции представили более 150 докладов, посвящённых вопросам функциональности и особенностей архитектуры высоконагруженных приложений. Были рассмотрены актуальные проблемы эксплуатации систем хранения и управления базами данных, безопасности платёжных приложений. Проанализированы инновации в сфере менеджмента крупных проектов.
Одним из ведущих докладчиков стал генеральный директор компании Postgres Professional Олег Бартунов и её технический руководитель Федор Сигаев, которые при участии старшего разработчика Никиты Малахова представили вниманию аудитории масштабный доклад о новейших методиках хранения и обеспечения безопасности сверхкрупных атрибутов. Речь шла о системе TOAST.
Сообщение топ-менеджеров и ведущего разработчика Postgres Professional на данной конференции фактически резюмировало итоги многолетней работы над одним из ключевых векторов использования системы управления базами данных PostgreSQL. В последние годы велась работа, связанная с улучшением функционирования TOAST.
На первоначальном этапе своего существования технология TOAST предполагала работу со сверхбольшими и неделимыми проектами без учёта их «внутренней конституции». Команда Postgres Professional оптимизировала рабочие процессы. Это было сделано с учётом внутренней структуры атомарных проектов.
В результате работы появился новый pluggable TOAST patch, дающий возможность обеспечивать индивидуальные алгоритмы хранения сверхбольших проектов. Это позволяет сэкономить значительное количество ресурсов, в первую очередь — объем хранимых на диске данных и требуемой оперативной памяти, что в разы увеличивает производительность системы.