Управление данными: Основы. Анализ данных и управление данными Данные с историей

09.11.2010 Сергей Лизин

За последнее десятилетие информационные системы незаметно претерпели качественные эволюционные изменения, и сегодня каждая отдельно взятая такая система представляет собой полноценную бизнес-среду, обеспечивающую взаимодействие множества людей. Несмотря на это многие технологии их построения остаются прежними, что не всегда так безобидно, как кажется. Можно предложить ряд методов безболезненной модернизации информационных систем и изменения структур данных.

Возрастающие объемы информации требуют изменения бизнес-процессов предприятий. На смену традиционному бумажно-ориентированному взаимодействию, когда информационные системы лишь обрабатывают сведения из бумажных документов-первоисточников, приходят электронно-ориентированные системы, в которых первоисточником выступает сама информационная система, а точнее - совершаемые в ней операции пользователей. Появление технологий электронной цифровой подписи позволило придать юридическую значимость электронным документам, однако круг задач обеспечения надежного и безопасного функционирования систем подобного рода значительно шире.

Проблемы многопользовательских систем

Большинство современных корпоративных информационных систем - это многопользовательские системы на основе реляционных серверов баз данных. Пользователями таких систем могут быть работники одной или нескольких организаций, а также их клиенты (физические и юридические лица). Возможности пользователей по выполнению отдельных операций в системе (ограниченные функционально или декларативно) в каждый момент времени зависят от содержащихся в ней на тот момент данных. Возникающую здесь проблему управления конкурентным доступом к данным обычно решают с помощью технологии OLTP.

Но не все проблемы конкурентного доступа можно обойти программно за счет транзакций и дополнительных проверок. Основная проблема - человеческий фактор. Каждый пользователь работает не напрямую с данными в СУБД, а с некоторой их локальной копией, загруженной в клиентское приложение. Кроме того, программно невозможно выделить последовательность чтений и записей пользователем данных, составляющих атомарную операцию. Следовательно, нельзя и «откатить» такую транзакцию при изменении данных чтения - система просто не в состоянии определить, какое количество последних действий пользователя образуют единое целое и какие из прочитанных им данных пользователь учел при принятии решения.

В результате оказывается, что транзакции эффективны лишь в отношении серверных задач обработки данных, которые выполняются на сервере приложений или сервере баз данных в фоновом режиме по заранее заданному алгоритму и без активного участия пользователя. Конечно, можно попытаться спроектировать архитектуру системы таким образом, чтобы каждое действие пользователя представляло собой отдельную транзакцию, в рамках которой осуществлялись бы все возможные проверки согласованности данных (то есть факт запуска пользователем транзакции и переданные параметры не должны основываться на данных, прочитанных пользователем в системе, которые не проверяются в рамках транзакции). Однако не всегда и не все проверки, осуществляемые человеком, можно легко описать на языке запросов. Кроме того, это многократно увеличивает сложность, а следовательно, и стоимость разработки.

С другой стороны, обеспечение высокого уровня надежности в части согласованности данных критично лишь для нескольких наиболее значимых категорий данных, для которых как раз может быть организовано управление в режиме OLTP. Для остальных категорий данных обеспечение информационной безопасности вполне может сводиться к организации отслеживания всех изменений, производимых пользователями, причем не только последних, но и всех предшествующих.

Данные с историей

Сегодня при построении баз данных практически повсеместно используется принцип хранения только текущих данных. Этот подход, бывший весьма актуальным в условиях дефицита дискового пространства и вычислительных мощностей, сегодня в чем-то можно сравнить с использованием камеры видеонаблюдения, которая отображает на мониторе только текущую картинку, не сохраняя происходившие ранее события.

При отслеживании изменений требуется выяснение характера некорректных операций: умышленные ли это действия пользователей или проблемы, связанные с задержками в синхронизации (в силу особенностей архитектуры системы). Для этого, кроме самих измененных данных, необходимо знать их содержимое: основываясь на этом знании, пользователь мог бы поводить какие-либо изменения или же осуществлять иные фактические действия (возможно, даже вне информационной системы). Причем, поскольку в работе используются локальные копии данных, то необходимо знать содержимое данных не в самой СУБД, а в соответствующей ее локальной копии.

Еще больше ситуация усложняется тем, что наличие информации о состоянии данных в момент выполнения операций необходимо не только при изменении данных, но и при их чтении. В качестве характерного примера можно привести различного рода отчеты, формируемые на основании данных системы, существовавших в момент составления отчета. Определить в последующем источники формирования каждого сводного показателя отчета можно лишь при условии сохранения исходных данных. Дополнительной сложностью является то, что требуется отслеживать не только изменения, но и все исправления данных.

Использование информационной системы в качестве источника первичных данных практически всегда требует обеспечения юридической значимости информации, что достигается посредством электронной цифровой подписи. Сфера применения ЭЦП сегодня в основном ограничивается электронными документами, однако время требует не просто придания юридической значимости отдельным документам, передаваемым между организациями, а формирования полностью юридически значимого массива данных, любая выборка из которого также имеет юридическую силу. При этом каждое изменение данных (которое впоследствии могло служить основанием для других изменений) должно быть подписано осуществившим его пользователем.

Особенно актуальна данная проблема для государственных информационных систем, где каждый служащий имеет свои полномочия и несет соответствующую ответственность. Кроме того, трендом последних лет, особенно в сфере государственного управления, является увеличение количества функций, выполняемых без участия человека. В качестве примера здесь можно привести процесс выдачи различных выписок и справок из государственных регистров, для полноценной реализации которого решение перечисленных проблем является необходимым условием.

Отслеживание изменений данных не только становится желательным фактором, но и вызвано необходимостью соблюдать требования нормативных документов, регламентирующих порядок контроля изменений и ведения истории данных клиентов в течение длительного периода времени.

Способы управления данными

Прежде чем говорить о способах повышения эффективности управления данными в информационных системах, имеет смысл более подробно рассмотреть происходящие с ними процессы. При внимательном изучении можно обнаружить, что процесс существования данных включает в себя четыре типа жизненных циклов. Первый - это непосредственно жизненные циклы значений отдельных атрибутов объектов. Второй тип представляет собой жизненные циклы объектов в целом, описывающие такие события, как появление новых объектов и их исчезновение, а также их реорганизацию, композицию (объединение, присоединение) и декомпозицию (разделение, выделение). Третий и четвертый типы жизненных циклов - это циклы метаданных - классов объектов и их атрибутов. События, которые могут происходить с ними, аналогичны событиям, происходящим с объектами: появление, исчезновение, реорганизация, композиция и декомпозиция.

Большинство современных информационных систем строится на основе прямолинейного управления данными. При необходимости хранения информации о новой категории данных создается новая таблица, а когда такая необходимость исчезает, таблица удаляется, архивируется или просто прекращается ее использование. Когда появляется потребность хранить дополнительную характеристику об объектах, в таблицу добавляется новый столбец, а когда такая необходимость исчезает - столбец удаляется или перестает использоваться. Похожая ситуация и с хранением объектов. Операции композиции и декомпозиции реализуются посредством создания новых элементов и переноса данных. Что касается значений атрибутов объектов, то с ними все просто - они изменяются по необходимости.

При таком способе управления данными перечисленные задачи управления многопользовательским доступом к данным могут быть решены только с помощью дополнительных инструментальных средств. Причем следует отметить, что большинство современных СУБД обладают встроенным механизмом отслеживания изменений - журналом транзакций, однако доступ к его содержимому, как правило, ограничен только ядром СУБД, но даже при наличии доступа восстановление состояния на заданный момент времени, ввиду особенностей его структуры, является непростой задачей.

В качестве еще одного способа решения данной проблемы можно рассмотреть использование темпоральных (хронологических) баз данных. Но на сегодняшний день полноценные промышленные реализации таких баз, по сути, отсутствуют. Кроме того, они ориентированы на решение иных задач. Некоторые современные СУБД содержат специализированные механизмы, которые позволяют использовать фоновую версионность значений атрибутов (на основе все того же журнала транзакций), однако она далеко не всегда удобна в применении. Альтернативным вариантом является изменение самого подхода к управлению данными.

Технология хранения

Совершение любых операций пользователем в информационной системе - это поступление новой информации, которое не должно вести к уменьшению количества данных в базе данных. В этом смысле даже операция обновления далеко не безобидна, так как приводит к потере предшествующих значений, не говоря уже об операции удаления. Информационные сущности должны хранить информацию о всех указанных четырех жизненных циклах, а не повторять его.

Используя термины SQL, можно говорить, что для отражения прекращения существования объектов и изменения их характеристик недопустимо применение операторов delete и update. Эти операторы являются служебными и должны использоваться исключительно в служебных целях: для перемещения, архивации и утилизации массивов данных. Для того чтобы это стало возможным, необходимо, чтобы каждая запись базы данных представляла собой сведения о некотором событии (или его части): создании класса, разделении атрибутов, удалении объекта, изменении атрибута и т. д. Поскольку каждое такое событие будет относиться к одному из четырех перечисленных жизненных циклов, то и хранить сведения о них также имеет смысл в соответствующих четырех таблицах: Классы, Атрибуты, Объекты, Значения.

События, отражаемые в первых трех таблицах, - это сведения о переходе сущностей из одного состояния в другое. Запись, отражающая каждое такое событие, представляет собой вектор, описываемый двумя точками: предшествующим состоянием и текущим. Еще одним неотъемлемым элементом является штамп времени события, то есть это время, начиная с которого переход считается совершенным.

В качестве состояния имеет смысл использовать новый или существующий идентификатор сущности. Для обозначения пустоты, необходимой для отражения всех операций, кроме выделения, можно использовать null. Например, при создании сущности null выступает в качестве предшествующего состояния, а при удалении - в качестве текущего. Для отражения операций объединения, разделения, присоединения и реорганизации необходимо использовать несколько связанных записей событий.

В отличие от первых трех таблиц, записи таблицы Значения хранят не векторы, а лучи - значения атрибутов объектов начиная с некоторого момента времени. Столбцами данной таблицы являются: ссылка на объект, ссылка на атрибут, значение и время, начиная с которого используется данное значение.

Описанная технология позволяет упростить решение проблемы модернизации информационных систем, в частности - проблемы изменения используемых схем (структур) данных. Сегодня при их изменении существовавшие ранее данные, по сути, конвертируются в новый формат. Но, во-первых, конвертация не всегда достаточно простой процесс, а во-вторых, возникает проблема отсутствующей информации: при добавлении столбцов в таблицу, для ранее созданных записей соответствующие поля будут не заполнены, а прекращение использования столбца приводит к тому, что незаполненным данное поле будет для всех новых записей. Все это может приводить к нарушению заданных разработчиком ограничений целостности. Особенность предложенной технологии заключается в обеспечении возможности работы с данными прошлых периодов в соответствующей им схеме данных.

Управление доступом к данным

Для связи записей событий, описывающих одну операцию, имеет смысл использовать дополнительную таблицу - Транзакции, а во все остальные таблицы добавить столбец - ссылку на нее. Благодаря этому можно осуществлять связку событий (операций), составляющих с точки зрения согласованности данных единую транзакцию, а также значительно упростить корректный откат транзакций.

Следует отметить, что с учетом сказанного откат транзакций, так же как и все другие исправления, не должен проходить посредством изменения или удаления существующих записей. Для отражения операций исправления посредством операций вставки в дополнение ко времени актуальности данных (действительному времени), указываемому в записях таблиц Классы, Атрибуты, Объекты и Значения, необходимо использовать время записи данных (транзакционное время записи). Исправления фиксируются посредством добавления к существующей записи с неправильным значением новой записи с тем же временем актуальности, но с текущим временем записи данных (в связанной записи таблицы Транзакции) и исправленными значениями. Таким образом, при чтении используется запись с более поздним временем создания.

В многопользовательской среде для обеспечения полноценного отслеживания некорректных операций необходимо знать содержание данных локального кэша, то есть содержание данных на момент начала транзакции. Здесь существенной проблемой является временной разрыв между началом транзакции и ее окончанием. Под началом транзакции подразумевается чтение данных из СУБД в локальный кэш, а под ее окончанием - запись изменений. При использовании предложенной модели организации данных, для решения данной проблемы достаточно знать время чтения данных из СУБД в локальный кэш. Его целесообразно хранить в отдельном поле таблицы Транзакции.

Хранение данных в режиме «только вставка» позволяет также решить проблему отслеживания авторства всех изменений. Для этого соответствующие сведения аналогичным образом вносятся в записи таблицы Транзакции. Если при этом для всех связанных с записью транзакции на ключе пользователя рассчитать ЭЦП и сохранить ее в отдельное поле таблицы Транзакции, то можно придать юридическую значимость образуемого таким образом информационного массива, обеспечив при этом разделение ответственности между пользователями.

Описанный подход может быть применим при построении систем самого различного назначения, в первую очередь систем управления мастер-данными или нормативно-справочной информацией. В частности, использование этой технологии может решить множество проблем при построении одного из основных компонентов электронного правительства – Системы реестров государственных услуг.

Появление СУБД, анализирующих данные по колонкам, твердотельных накопителей и облачных технологий может существенно повлиять как на принципы построения баз данных, так и на дальнейшие пути развития методов бизнес-аналитики.

Сегодня к универсальным коммерческим СУБД с легкой руки некоторых видных представителей западных научных кругов прилепилось словечко legacy.

Логический уровень (формализованное/модельное описание)

Логический уровень информационной технологии представляется комплексом взаимосвязанных моделей, формализующих информационные процессы при трансформации информации в данные. Формализованное в виде моделей представление информационной технологии позволяет связать параметры информационных процессов и дает возможность реализации управления информационными процессами и процедурами. На рис. 2.12 приведена логическая модель базовой информационной технологии, которая отражает схему взаимосвязи моделей информационных процессов.

На основе модели предметной области, характеризующей объект управления, создается общая модель управления, по которой, в свою очередь, формируются модели решаемых задач. Так как для решения задач управления применяют различные информационные процессы, то необходимо строить модель их организации, которая на логическом уровне увязывает применяемые при решении задач процессы управления.

Рис. 2.12.

При обработке данных формируются все основные информационные процессы: обработка, обмен и накопление данных, преставление знаний.

Модель обработки данных включает в себя формализованное описание процедур организации вычислительного процесса (операционные системы), преобразования (алгоритмы и программы сортировки, поиска, создания и преобразования статических и динамических структур) и логического вывода (моделирования).

Модель обмена данными содержит формальное описание процедур, выполняемых в вычислительной сети: передачи (кодирование, модуляция в каналах связи), коммутации и маршрутизации (протоколы сетевого обмена) и описывается с помощью международных стандартов: OSI (взаимодействие отрытых систем), локальных сетей (IEEE 802) и спецификации сети Интернет (см. гл. 18).

Модель накопления данных описывает как систему управления базой данных (СУБД), так и саму информационную базу, которая может быть определена как база данных и база знаний. Процесс перехода от смыслового (информационного) представления к физическому осуществляется трехуровневой системой моделей информационной базы: концептуальной (какая и в каком объеме информация должна накапливаться при реализации информационной технологии), логической (структура и взаимосвязь элементов информации) и физической (методы размещения данных и доступа к ним на машинных носителях). Функции управления базами данных регламентируют (см. гл. 19): язык баз данных SQL (Structured Query Language); информационно-справочную систему IRD (Information Resource Dictionary System); протокол удаленного доступа операций RDA (Remote Data Access), PAS (Publicly Available Specifications) Microsoft на открытый прикладной интерфейс доступа к базам данных ODBC (Open Data Base Connectivity) API (Application Program Interface).

Модель представления знаний выбирается в зависимости от полноты воспроизведения и содержания предметной области, а также вида решаемых задач. В настоящее время используют такие модели представления знаний, как логические, алгоритмические, семантические, фреймовые и интегральные.

Модель получения информации строится с учетом стандартов, регламентирующих структуры данных и документов, а также форматы данных:

• o средств языка ASNl (Abstract Syntax Notation One), предназначенного для спецификации прикладных структур данных - абстрактного синтаксиса прикладных объектов;
• o форматов метафайла для представления и передачи графической информации CGM (Computer Graphics Metafile);
• o спецификации сообщений и электронных данных для электронного обмена в управлении, коммерции и транспорте EDIFACT (Electronic Data Interchange for Administration, Commence and Trade);
• o спецификации документов и их структур ODA (Open Document Architecture);
• o спецификации структур документов для производства, например SGML (Standard Generalized Markup Language);
• o языков описания документов гипермедиа и мультимедиа, например: HyTime, SMDL (Standard Music Description Language), SMSL (Standard Multimedia/Hypermedia Scripting Language), SPDS (Standard Page Description Language), DSSSL (Document Style Semantics and Specification Language), HTML (HyperText Markup Language);
• o спецификации форматов графических данных, например форматов JPEG, JBIG и MPEG.

Модель отображения информации строится с учетом стандартов X Windows, MOTIF, OPEN LOOK, VT, CGI, PHIGS, машинной графики GKS, графического пользовательского интерфейса GUI.

Модели управления информацией, данными и знаниями увязывают базовые информационные процессы, синхронизируют их на логическом уровне.

Так как базовые информационные процессы оперируют с информацией, данными и знаниям и, то управление информацией происходит через процессы получения (сбор, подготовка и ввод) и отображения (построение графики, текста и видео, синтез речи); управление данными осуществляется через процессы обработки (управление организацией вычислительного процесса преобразования), обмена (управление маршрутизацией и коммутацией в вычислительной сети, передачей сообщений по каналам связи) и накопления (системы управления базами данных), а управление знаниями - через представление знаний (управление получением и генерацией знаний).

Физический уровень (программно-аппаратная реализация)

Физический уровень информационной технологии представляет ее программно-аппаратную реализацию. На физическом уровне информационная технология рассматривается как система, состоящая из крупных подсистем: обработки, обмена, накопления данных, получения и отображения информации, представления знаний и управления данными и знаниями (рис. 2.13). С системой, реализующей информационные технологии на физическом уровне, взаимодействуют пользователь и разработчик системы.

Рис. 2.13.

Подсистемы обработки данных строятся на базе электронных вычислительных машин различных классов и отличаются как по вычислительной мощности, так и по производительности. В зависимости от потребности решаемых задач используются как большие универсальные ЭВМ (мейнфреймы) для обработки громадных объемов информации, так и персональные компьютеры (ПК). В сети используются как серверы, так и клиенты (рабочие станции).

Подсистемы обмена данными включают в себя комплексы программ и устройств (модемы, усилители, коммутаторы, кабели и др.), создающих вычислительную сеть и осуществляющих коммутацию, маршрутизацию и доступ к сетям.

Подсистема накопления данных реализуется с помощью байков и баз данных на внешних устройствах компьютера, который ими управляет. Возможна организация как локальных баз и банков, реализуемых на отдельных компьютерах, так и распределенных банков данных, использующих сети ЭВМ и распределенную обработку данных.

Подсистемы получения , отображения информации и представления знаний используют для формирования модели предметной области из ее фрагментов и модели решаемой задачи. На стадии проектирования разработчик формирует в памяти компьютера комплекс моделей решаемых задач. На стадии эксплуатации пользователь обращается к подсистеме отображения информации и представления знаний и, исходя из поставленной задачи, выбирает соответствующую модель решения, после чего через подсистему управления данными включаются другие подсистемы.

Подсистема управления данными и знаниями , как правило, частично реализуется на тех же компьютерах, на которых реализуются соответствующие подсистемы, а частично с помощью систем управления организацией вычислительного процесса и систем управления базами данных. При больших потоках информации создаются специальные службы администраторов сети и баз данных.

Большинство компаний должны управлять большими объемами информации и компьютерными ресурсами. Это требует эффективного плана управления. Управление данными является стратегией, которая используется для организации и управления данными в организации. Хороший план должен быть основан на четырех ключевых элементах управления информацией - собственности, безопасности, политике предприятия, сохранение и укрепление политики. Смена управления Совета является специальная группа, которая управляет изменениями в компании систем информационных технологий.

Всё это, как правило, отвечает за управление организацией данных. ЦКБ гарантирует, что системные изменения были одобрены и протестированы до внесения изменений в производственные системы. Этот совет собирается на регулярной основе и проверяет и обрабатывает все запросы для изменений системы для организации.

Управление данными включает, как правило, защиту информационных активов компании. Эти действия различаются в зависимости от типа данных которые поддерживаются. Данные политики безопасности обычно включают контроль доступа, шифрование процедур, а также сохранение политики.

Большинство правительственных учреждений имеют строгие процедуры управления данными. Эти шаги необходимы для обеспечения адекватной безопасности для военных технологий и государственных тайн. Безопасность данных для конфиденциальных данных может включать в себя специальные меры контроля физического доступа, что делает данные недоступными для широкой общественности. Этот тип данных обычно закрыт на секретных объектах, управляемых вооруженными охранниками.

С ростом популярности Интернета, защита конфиденциальности данных становится все более важной. Элементы управления данными, как правило, включают процедуры ограничения конфиденциальности, предназначенные для обмена данными, полученными через Интернет. Предприятиям, как правило, требуется получить разрешение от клиентов, прежде чем конфиденциальность данных может использоваться совместно с другими компаниями.

Политика хранения данных — это правила, которая регулирует длину данных которые должны осуществляться и сохранены, прежде чем их уничтожить. Эти правила варьируются в зависимости от компании и отдела, который использует эти данные. Политика управления данными, определяет требования по хранению данных для компании. Это требование хранения могут быть большими для финансовых учреждений и правоохранительных органов, и она необходима для управления данными на протяжении десятилетий.

Управление данными также включает в себя предоставление и управление паролями для компьютерных программ. Такие правила владения и управления данными имеют почти все организации. Процедуры определяют, как человек может получать доступ к данным. Это, как правило, включает формальные процедуры и процессы проверки.

Контроль доступа к данным должен включать процедуры для сотрудников, которые покидают компанию. Процесс доступа-удаления, когда сотрудник не уволен. Процедуры обеспечения безопасности данных и аудита должны включать шаги, которые обеспечивают увольняемым работникам не иметь доступа к конфиденциальным данным компании.

Управление данными – основа администрирования БД.

Основная концепция управления данными.

Организация управления данными.

Администрирование БД.

Заключение.

Управление данными – основа администрирования базами данных

Управление данными включает в себя процессы переработки данных, начиная от сбора данных и заканчивая их архивацией и доведением до пользователей. При этом рассматриваются как технологические, так и организационные вопросы сбора, обработки данных. Администрирование БД – это компонент управления данными, связанный с СУБД.

Управление данными можно рассматривать на уровне источника данных, центра данных, проекта (программы). Каждый уровень может включать предыдущие уровни управления данными. Например, управление данными на уровне центра обязательно включает сбор данных от источников данных. Крупная научная программа может включать несколько экспериментов, каждый из которых может иметь свой план управления данными.

План управления данными – это организационный документ, в котором определены все этапы переработки данных, а также средства их реализации.

Целями создания плана управления данными является улучшение сбора, доступа и использования информации; развитие БД; стандартизация процедур сбора и обмена данными.

Основная концепция управления данными

Создание плана управления данными должно учитывать долгопериодные решения по

развитию и стандартизации общих технологий сбора и обмена данными, позволяющих уменьшить временной лаг между сбором и доступом к данным;

увеличению кооперации при сборе, архивации, обработке и картированию данных;

созданию распределенных БД;

объединению новых и исторических данных для получения соответствующих временных рядов;

совместимости БД за счет использования общих протоколов форматирования и контроля качества для отдельных дисциплин;

доступу к архивным данным.

Методология управления данными должна быть основана на применении наиболее эффективных средств:

создания многоуровневых каталогов данных;

использования каталогов для поиска и оценки дубликатов;

поиска и обмена данными;

конвертирования данных в общие форматы;

контроля данными на различных этапах переработки данных;

создания новых методов обработки данных;

доступ к данным на компактных дисках, Интернет и др.

План управления данными способствует лучшему пониманию всеми участниками проекта, объединения научных интересов, общественных потребностей и правовых вопросов. Управление данными начинается с проектирования измерительной программы экспедиции или проекта, создания БД и заканчивается доступом пользователей к качественно проконтролированным и хорошо задокументированным БД. План управления данными должен быть ключевым элементом всех крупных проектов и программ. План управления данными поможет максимизировать возврат инвестиций, сделанных в проект с помощью финансирования для целей всестороннего использования получаемых данных, т.е. план управления данными есть механизм распространения и использования результатов проекта, специальная активность, выполняемая в рамках национальной и международной или корпоративной политики, основанной на лучшей практике обработки данных.

Этот план должен описывать работу, технологические требования и соответствующие результаты в проектировании измерительной активности, отчетности по сбору данных, документировании, контроле качества и создании БД, доступа к данным.

Одной из главных задач любого проекта, а особенно центра данных, является создание баз метаданных. Общие подходы в управлении данными позволяют получить пользу как специалистам, работающим в этих проектах, так и обществу в целом (более быстрое использование данных); сделать эффективнее использование большинства источников данных; хорошо задокументировать и проконтролировать данные, предназначенные для общего использования по окончании проекта.

Адекватное управление данными определяется возможностями национальных организаций политическими аспектами, техническими проблемами, условиями финансирования проектов, хорошей координацией всех участников проекта, наличием соответствующего квалифицированного штата.

• Цифровая трансформация стала основной темой обсуждений на недавней 22 ой конференции «ИТ в страховании». Участники сошлись во мнении, что внедрение и применение аналитических технологий для монетизации данных уже стало обязательным условием для качественных преобразований в отрасли.
• IoT представляет собой мощный источник данных, который в сочетании с аналитикой может дать представление обо всем, от поведения до эмоций и здоровья. И вот почему это ключ к улучшению качества обслуживания клиентов.
• Разработайте стратегию управления данными с использованием Data Lineage и дайте возможность ИИ полностью раскрыть свой потенциал.
• Нет единого плана по работе над проектом по аналитике данных. Эксперт по технологиям Фил Саймон предлагает рассмотреть эти десять вопросов в качестве руководства.
• Успешный data-driven бизнес способствует формированию целенаправленной, коллаборативной культуры; имеет лидеров, которые верят в данные и ориентированы на управление. Узнайте больше в этом кратком обзоре исследования TDWI, в котором раскрываются рекомендации для становления data-driven.
• Самое время перейти к летней практике и рассмотреть такую распространенную и понятную задачу, как планирование севооборота. Что будет, если добавить в эту задачу щепоточку искусственного интеллекта и несколько граммов математических методов?
• В конце весны SAS Россия впервые провела День стажера. Это новый формат встреч для студентов и выпускников, которые успешно прошли все этапы отбора на стажерскую программу SAS и уже начали работать в нашей команде.
• Чтобы узнать больше о понятии «персональные данные», почему об этих данных говорят в новостях и почему они жестко регулируются Общим положением о защите данных (GDPR), мы пообщались с Джеем Экзэмом, юристом по вопросам конфиденциальности в SAS.
• Как можно повысить эффективность бизнес-процессов, начиная с производства и заканчивая хранением и сбытом, с помощью информационных технологий?
• Аналитика SAS поможет страховым компаниям Как применять углубленную аналитику и машинное обучение в медицинском страховании?
• Подготовка данных - это процесс их объединения, приведения к единому формату и очистки с целью дальнейшего анализа и решения других бизнес-задач.
• Качество данных не является хорошим или плохим, высоким или низким. Это диапазон или показатель работоспособности данных, проходящих через вашу организацию.
• From cows to factory floors, the IoT promises intriguing opportunities for business. Find out how three experts envision the future of IoT.
• Что же такое озеро данных? Это просто маркетинговый хайп? И вообще, чем оно отличается от традиционного хранилища данных?
• Data profiling, the act of monitoring and cleansing data, is an important tool organizations can use to make better data decisions.