Использование разметки SQL-сервера при хранении 1000 записей в секунду


1

Я прочитал вашу статью (разбиение на SQL Server: не ответ на все вопросы) и потрясающий раздел разметки для моего дела или нет Я должен хранить около 1000 записей за один во-вторых, это данные о местонахождении мобильных узлов, эти данные делают мою базу данных слишком большой , вы думаете, я должен разбить мою базу данных или нет (у меня так много отчетов в будущем).

  0

«Ваша статья» ... предположительно направленная на Брент Озар?http://www.brentozar.com/archive/2008/06/sql-server-partitioning-not-the-answer-to-everything/ 22 фев. 092009-02-22 09:46:15

  0

Насколько велики эти записи? Это имеет большое значение. 22 фев. 092009-02-22 16:24:17

0

Это очень много данных.

Каков жизненный цикл данных, т. Е. Вам нужно хранить записи только в течение конечного времени? Например, через месяц, возможно, некоторые данные могут быть заархивированы или перенесены в хранилище данных?

Учитывая объем данных, которые вы собираетесь работать с вами, вероятно, захочет использовать архитектуру, которая легко масштабируется? По этой причине вы можете посмотреть на использование служб облачного типа, таких как Amazon Ec2 или SQL Data Services на платформе Azure.

http://aws.amazon.com/ec2/

http://www.microsoft.com/azure/data.mspx

Возможно, если вы предоставить более конкретные детали о том, что вы на самом деле хотите сделать то, что бизнес-процесс вы ищете поддержки, мы сможем предоставить более конкретную помощь ,

Без таких подробностей невозможно определить, будет ли SQL Server Partitioning подходящим подход к проектированию для вас.


1

1000 секунд не так много.

  • Является ли он каждой секундой 24/7?
  • В определенном окне?
  • Это пик 1000 в секунду, но обычно меньше?

У нас есть новейшая система, насчитывающая 20 миллионов рядов в месяц (после того, как в порядке, например, еще 50-80 миллионов), и мы не думаем ни о чем таком, как разбиение.

  0

Только если он 1000 раз в секунду. На этом уровне, конечно, у них будет MS, чтобы проектировать свою систему, а не спрашивать на открытом форуме ... Случайные мысли: у них не будет окна обслуживания. О, какая забава. 22 фев. 092009-02-22 17:00:01

+1

Я не согласен. По моему мнению, 86 миллионов записей (1000 X 60 X 60 X 24) в день - довольно значительное количество записей. В частности, данное сообщение указывает на использование пространственных типов данных. Возможно, нужна платформа, которая легко масштабируется, поэтому SQL Server может быть не лучшим выбором. 22 фев. 092009-02-22 17:03:25

  0

Также OP может предполагать разбиение на разделы для разгрузки отчетности? 22 фев. 092009-02-22 17:13:16


0

Возможно, вам придется посмотреть на другую систему RDMS. Я бы посмотрел на Vertica.


0

Предположим, что указанная таблица проиндексирована, тогда один из двух вариантов, безусловно, оправдан, когда какой-либо из индексов перерастает доступную ОЗУ. Неудивительно, что один из них - увеличение ОЗУ. Другое, конечно, вертикальное разбиение.

Ответ gbn содержит некоторые полезные моменты, которые вы не упомянули, например количество записей в месяц (или неделю или день). Комментарий Ричарда относительно того, насколько велика (средняя) запись, также значительна, особенно с точки зрения того, насколько велики средние записи для индексов, предполагая, что индексы не включают все поля из таблицы.

Ответы gbn, однако, также кажутся мне немного безрассудными. Растет в 20 миллионов строк в месяц и даже не «думает о чем-то вроде разделения». Без достаточных показателей, как указано выше, это возможный рецепт катастрофы. Вы должны, по крайней мере, думать об этом, даже просто определить, как долго вы можете поддерживать свой текущий и/или ожидаемый темпы роста, прежде чем нужно будет рассмотреть больше ОЗУ или разбиение.

  0

Мы будем думать об этом, когда нам нужно: мы удалили некоторые индексы, сузили некоторые типы данных и сбросили неиспользуемый столбец. На данный момент нам не нужно разбиение. У нас также нет окончательного ответа о том, как долго сохранить данные: мы можем просто переместить старые данные в отдельную таблицу. 10 май. 092009-05-10 05:41:11

  0

Могу сказать, что вы на самом деле думали о разделении или, по крайней мере, о проблемах, которые могут привести к этой возможности. Можно также утверждать, что перенос старых данных в отдельную таблицу является формой разделения, учитывая, что я отвечаю на это в более общем контексте, чем разбиение на SQL Server. 10 май. 092009-05-10 11:48:25