В статье рассмотрена разработка инструментов нормализации и стандартизации данных при помощи библиотек Python. Рассмотрено описание теоретических основ и формул, используемых для нормализации и стандартизации данных. Для внутренних расчетов разрабатываемого программного обеспечения были использованы библиотеки Pandas, NumPy. Внешний интерфейс был построен на основе библиотеки Streamlit, которая позволяет развертывать web-приложения без каких-либо дополнительных ресурсов. Приведены фрагменты кода, объяснены механизмы реализации. Проведено описание разработанного инструмента: подробное объяснение функциональности инструмента, интерфейса пользователя и примеров использования. Рассмотрена важность предварительной обработки данных, выбор подходящего метода и заключительные замечания о пользе интерактивных инструментов для обработки данных.

Ключевые слова: обработка данных, статистика, информационные системы, web-системы Python

2.3.1 - Системный анализ, управление и обработка информации

Разработка систем бизнес-аналитики, принятия решений и планирования ресурсов является одной из важнейших составляющих практически любого предприятия. В данном случае, предприятия и производства пенитенциарной системы не являются исключением. В работе рассмотрена проблема взаимосвязи существующих баз данных и статистических отчетных форм производственно-экономического и трудового секторов пенитенциарной системы. Установлено, что косвенно-взаимосвязанные параметры достаточно трудно сопоставить из-за разных систем учета данных, а также утвержденных статистических форм. Одной из первых ступеней в решении поставленной проблемы может стать введение обобщенной системы индексации данных. В работе рассмотрены системы индексации данных, построение их иерархических структур, а также возможность практического применения с использованием SQL. Рассмотрены примеры реализации при помощи технологии ORM и языка Pyhton.

Ключевые слова: базы данных, индексация, ORM, SQL, Python, производственный сектор, экономические показатели, пенитенциарная система

2.3.1 - Системный анализ, управление и обработка информации , 5.6.8 - Документалистика, документоведение, архивоведение

На сегодняшний день в пенитенциарной системе Российской Федерации собраны достаточно обширные базы данных для производственного сектора. Собранные данные представляют собой временные ряды. Однако, при исследовании взаимных распределений параметров возникает ряд проблем, главная из которых состоит в том, что для разных параметров ведется различная система учета данных: в некоторых случаях учет данных ведется накопительным итогом в течении года, в других случаях – учитываются фактические значения (другими словами, одни временные ряды являются трендовыми, а другие – сезонными (циклическими)). Отличаются также и периоды учета данных: помесячно, поквартально или за год. Таким образом, на первый взгляд связанные между собой параметры, практически невозможно сопоставить. В работе предлагается ряд алгоритмов, которые позволили бы решить данную проблему. Целью работы явилась разработка новых алгоритмов, позволяющих сопоставить трендовые и сезонные временные ряды на примере производственного сектора пенитенциарной системы. В качестве задач исследования можно обозначить: классификацию параметров, которые учитываются как сезонные и как трендовые временные ряды; разработка алгоритмов для их сопоставления; исследование применимости полученных результатов.

Ключевые слова: алгоритм, обработка данных, python, временной ряд, пенитенциарная система, производственный сектор

2.3.1 - Системный анализ, управление и обработка информации