Eda что это в программировании

Как событийно-ориентированная архитектура решает проблемы современных веб-приложений

Пока у нас продолжается распродажа на самые взыскательные вкусы, мы обратим ваше внимание на еще одну тему нашего творческого поиска: событийно-ориентированную архитектуру (EDA). Под катом вас ожидают красивые блок-схемы и рассказ о том, как данная инновационная парадигма помогает при разработке веб-приложений.

В этой статье будут рассмотрены некоторые проблемы, подстегивающие развитие инноваций в современной веб-разработке. Далее мы погрузимся в тему событийно-ориентированной архитектуры (EDA), призванной решить эти проблемы, по-новому трактуя архитектуру серверной части.

Веб-приложения прошли долгий путь с тех времен, когда контент, оформленный в виде статических HTML-страниц, подавался с сервера. Сегодня веб-приложения стали гораздо сложнее, в их работе используются разнообразные фреймворки, датацентры и технологии. В последние пару лет можно отметить две тенденции, определяющие развитие IT-рынка:

Перенос приложений в облако;
Внедрение микросервисной архитектуры.

Актуальные проблемы современного веба

Любая веб-технология должна справляться с теми вызовами, которым должны отвечать современные многопользовательские асинхронные приложения, рассчитанные на бесперебойную работу:

Доступность

Теперь мы работаем не с одним приложением, а с многими – десятками или даже сотнями – связанными сервисами, и каждый из них должен решать свои задачи круглосуточно, семь дней в неделю. Как этого добиться? Чаще всего сервис горизонтально масштабируют на множество инстансов, которые могут быть распределены в нескольких датацентрах – так обеспечивается высокая доступность. Все запросы, поступающие на данный конкретный сервис, маршрутизируются и равномерно распределяются по всем инстансам. В некоторых инструментах развертывания предоставляются возможности самовосстановления, поэтому при отказе одного инстанса создается другой, заступающий на его место.

Масштабируемость

Масштабируемость во многом сродни доступности. Суть доступности – обеспечить, что как минимум один экземпляр сервиса активен и работает, готов обслуживать входящие запросы. Масштабируемость, в свою очередь, связана, прежде всего, с производительностью. Если какое-либо приложение перегружено, то создаются новые экземпляры этого приложения, чтобы подстроиться к возросшему количеству запросов. Но вертикальное масштабирование приложений – нетривиальная задача, в особенности если речь идет о приложениях с сохранением состояния.

Единый источник истины

До появления микросервисов такая задача решалась довольно просто. Все данные располагались в одном местоположении, как правило, это была та или иная реляционная база данных. Но, когда множество сервисов совместно используют базу данных, могут создаваться такие проблемы, как возникающие между разными командами зависимости, касающиеся изменений схемы или проблем с производительностью. Обычно эта проблема решалась выделением своей базы данных на каждый сервис. Распределенный источник истины очень хорошо помогает соблюдать чистую архитектуру, но в такой ситуации приходится иметь дело с распределенными транзакциями и сложностью, сопряженной с поддержкой множественных баз данных.

Синхронность

При реализации типичного сценария вида «запрос-отклик» клиент дожидается, пока ответит сервер; он блокирует все действия, пока не получит ответ, либо пока не истечет заданная задержка. Если взять такое поведение и внедрить его в микросервисную архитектуру при помощи цепочек вызовов, пронизывающих всю систему, то можно легко оказаться в так называемом «микросервисном аду». Все начинается с вызова всего одного сервиса, назовем его «сервис А». Но затем сервис A должен вызвать сервис B, и начинается самое интересное. Проблема с данным поведением такова: если сам сервис связан с заблокированными ресурсами (например, висит поток), то задержки растут экспоненциально. Если у нас разрешена задержка в 500 мс на сервис, а в цепочке пять вызовов сервисов, то первому сервису понадобится задержка в 2500 мс (2,5 секунды), а последнему – 500 мс.

Вызовы современного веба

Знакомство с событийно-ориентированной архитектурой

В классических трехуровневых приложениях ядром системы является база данных. В EDA фокус смещается на события и на то, как они просачиваются через систему. Такая смена акцентов позволяет полностью изменить подход к проектированию приложений и решению вышеупомянутых проблем.

Прежде, чем рассмотреть, как именно это делается в EDA, рассмотрим, что же такое «событие». Событие – это действие, инициирующее либо некоторое уведомление, либо изменение в состоянии приложения. Свет включился (уведомление), термостат отключил обогревательную систему (уведомление), у пользователя изменился адрес (изменение состояния), у кого-то из ваших друзей изменился номер телефона (изменение состояния). Все это — события, но еще не факт, что мы должны добавлять их в событийно-ориентированное решение. Предполагается, что в архитектуру добавляются лишь события, важные с точки зрения бизнеса. Событие «пользователь оформляет заказ» важно с точки зрения бизнеса, а «пользователь съедает заказанную пиццу или обед» — нет.

Если подумать над некоторыми событиями, то по поводу некоторых сразу понятно, что они важны для бизнеса, а по поводу некоторых – нет. Особенно по поводу тех, что происходят в ответ на другие события. Для выявления событий, идущих через систему, применяется техника под названием «событийный штурм». Созываются участники разработки приложения (от программистов до разработчиков бизнес-логики и экспертов в предметной области) и общими силами картируют все бизнес-процессы, представляя их в виде конкретных событий. Когда такая карта будет готова, результат работы формулируется в виде требований, которые должны выполняться при разработке приложений.

Пример приложения для бронирования, описанного методом событийного штурма

Выявив интересующие нас события и определившись, как их идентифицировать, давайте рассмотрим, как при помощи данной парадигмы можно решить типичные проблемы, упомянутые выше.

Поток событий является однонаправленным: от производителя к потребителю. Сравните данную ситуацию с вызовом REST. Производитель событий в принципе не ожидает отклика от потребителя, тогда как в случае REST-вызова отклик будет всегда. Нет отклика – значит не необходимости блокировать выполнение кода, пока не произойдет что-то еще. В таком случае события становятся асинхронными по природе своей, что полностью исключает риск увязнуть в задержках.

События происходят в результате действия, поэтому целевой системы здесь нет; нельзя сказать, что сервис A инициирует события в сервисе B; но можно сказать, что сервис B интересуют события, порождаемые сервисом A. Правда, в этой системе могут быть и другие «заинтересованные стороны», например, сервисы C или D.

Как же нам убедиться, что событие, инициированное в некоторой системе, достигнет всех «заинтересованных» сервисов? Как правило, подобные системы решаются при помощи брокеров сообщений. Брокер – это просто приложение, действующее в качестве посредника между генератором события (приложением, создавшим это событие) и потребителем события. Таким образом, приложения удается аккуратно открепить друг от друга, позаботившись о проблеме доступности, речь о которой шла выше в этом посте. Если именно в данный момент приложение недоступно, то, вернувшись в онлайн, оно начнет потреблять события и обрабатывать их, наверстав все те события, которые успели произойти за период, пока оно оставалось недоступным.

Что насчет хранилища данных? Можно ли хранить события в базе данных, либо вместо базы данных требуется что-то иное? Определенно, события можно хранить в базах данных, но в таком случае утрачивается их «событийная» сущность. Как только событие произошло, скорректировать его мы уже не можем, поэтому события по сути своей неизменяемы. Базы данных, в свою очередь… изменяемы, после занесения данных в базу их вполне можно изменить.

Лучше хранить события в логах событий. Логи событий – не что иное, как централизованное хранилище данных, где каждое событие записано в виде последовательности неизменяемых записей, так называемого «лога». Лог можно сравнить с журналом, где каждое новое событие добавляется в конец списка. Всегда можно воссоздать наиболее актуальное состояние, воспроизведя все события лога от начала до настоящего момента.

Итак, мы затронули все вопросы, кроме масштабируемости. Сервисы, создаваемые в событийно-ориентированном ключе, всегда рассчитаны на развертывание во множестве инстансов. Поскольку состояние как таковое хранится в логе событий, сам сервис будет без сохранения состояния, что обеспечивает хирургически точное масштабирование любого интересующего нас сервиса.

Единственным исключением из этого принципа являются сервисы, предназначенные для создания материализованных представлений. В сущности, материализованное представление – это состояние, описывающее лог событий в определенный момент времени. Такой подход используется, чтобы было проще запрашивать данные. Возвращаясь к проблеме масштабирования, скажем, что материализованное представление – это просто совокупное представление событий, напоминающее по форме таблицу; но где мы храним эти таблицы? Чаще всего приходится видеть такие агрегации в памяти, и при этом наш сервис автоматически превращается в сохраняющий состояние. Быстрое и легкое решение – снабдить локальной базой данных каждый сервис, создающий материализованные представления. Таким образом, состояние хранится в базе данных, и сервис работает без сохранения состояния.

Хотя, событийно-ориентированная архитектура существует уже более 15 лет, она лишь недавно снискала серьезную популярность, и это неслучайно. Большинство компаний проходят этап «цифровой трансформации», сопровождаемый дикими требованиями. Из-за сложности этих требований инженерам приходится осваивать новые подходы к проектированию ПО, предполагающие, в частности, ослабление связанности сервисов друг с другом и снижение издержек на обслуживание сервисов. EDA — одно из возможных решений этих проблем, но не единственное. Также не рассчитывайте, что все проблемы решатся, стоит только перейти на EDA. Для реализации некоторых фич по-прежнему могут потребоваться надежные дедовские REST API или хранение информации в базе данных. Выберите наиболее подходящий для вас вариант и спроектируйте его как следует!

Что такое событийная (Event Driven) архитектура

Событийная архитектура использует события для запуска и обмена данными между разделенными службами и является обычным явлением в современных приложениях, созданных с использованием микросервисов.

Событийно-ориентированная архитектура

1. Что такое событийная архитектура

Шаблон управляемой событиями архитектуры (событийная архитектура, event-driven architecture, EDA) — это популярный шаблон распределенной асинхронной архитектуры, используемый для создания масштабируемых приложений. EDA состоит из разделенных одноцелевых компонентов, которые асинхронно получают и обрабатывают события.

2. Пример

Приведем пример событийной архитектуры — сайт электронной коммерции. Такая архитектура позволяет сайту реагировать на изменения в различных источниках во время пикового спроса без сбоев приложения или избыточного выделения ресурсов.

событийная архитектура

Пример событийной архитектуры для сайта электронной коммерции. (1) — Продюсеры событий; (2) — Начальные события; (3) — Маршрутизаторы событий; (4) — События обработки; (5) — Потребители событий.

3. Компоненты

Управляемые событиями архитектуры включают пять ключевых компонентов: продюсеры (производитель) событий, начальные события и события обработки, маршрутизаторы событий и потребители событий. Продюсер публикует начальное событие в маршрутизаторе, который фильтрует и передает событие обработки потребителям. Сервисы продюсера и потребителя разделены, что позволяет масштабировать, обновлять и развертывать их независимо.

3.1 Продюсеры мероприятий

В этом примере производители событий представлены eCommerce сайтом, мобильным приложением и торговым терминалом. В принципе, все, что регистрирует факт и представляет факт как сообщение о событии, может быть продюсером.

3.2 События

Первоначальное событие — это исходное событие, сгенерированное продюсером и полученное маршрутизатором, тогда как события обработки — это события, которые генерируются маршрутизатором событий и принимаются компонентами потребителя событий.

События могут содержать либо состояние (приобретенный товар, его цена и адрес доставки), либо события могут быть идентификаторами (уведомление о том, что заказ был отправлен).

Событие обычно состоит из двух частей: 1) заголовок события включает такую информацию, как имя события, отметка времени и тип события; 2) тело события предоставляет подробную информацию об обнаруженном изменении состояния.

3.3 Каналы

И начальные, и события обработки доставляются по каналам событий.

Первоначальные каналы событий могут быть TCP/IP-соединением или файлом (XML, JSON, электронная почта и т.д). Одновременно можно открыть несколько исходных каналов событий. Они читаются асинхронно, что позволяет обрабатывать события почти в реальном времени. События хранятся в очереди, ожидая последующей обработки маршрутизатором событий.

Каналы обработки событий обычно представлены очередями сообщений и брокерами сообщений. Брокеры сообщений наиболее широко используются, так что события могут обрабатываться несколькими потребителями событий (каждый из которых выполняет свою задачу в зависимости от полученного события обработки).

3.4 Маршрутизатор событий

Маршрутизатор событий отвечает за идентификацию начального события, а затем за выбор и выполнение шагов, содержащихся в событии. Для каждого шага в начальном событии маршрутизатор событий асинхронно отправляет событие обработки в канал событий, которое затем принимается и обрабатывается потребителем событий.

Маршрутизатор событий также может запускать ряд утверждений. Например, если событие, которое поступает в механизм обработки событий, является идентификатором продукта, запас которого на складе ограничен, это может вызвать такие реакции, как «Заказать продукт» и «Уведомить персонал».

Важно отметить, что маршрутизатор событий не выполняет бизнес-логику, необходимую для обработки исходного события — он распределяет соответствующие инструкции (= события обработки) среди потребителей событий.

3.5 Потребители событий

В этом примере потребители событий представлены управленческой базой данных, финансовой системой и отделом по работе с клиентами.

https://amdy.su/wp-admin/options-general.php?page=ad-inserter.php#tab-8

Эти компоненты содержат бизнес-логику приложения, необходимую для обработки события обработки. Потребители событий — это автономные, независимые, сильно разделенные компоненты архитектуры, которые выполняют определенную задачу в приложении или системе. Хотя степень детализации потребителей событий может варьироваться от точечной (например, расчет налога с продаж по заказу) до крупной (например, обработка страхового возмещения), важно помнить, что в целом каждый потребитель события должен выполнять одну бизнес-задачу и не полагаться на других потребителей в выполнении своей конкретной задачи.

4. Анализ шаблона

4.1 Масштабируемость: высокая

Каждый потребитель событий может масштабироваться отдельно, что обеспечивает точную масштабируемость.

4.2 Сложность разработки: высокая

Сложно из-за асинхронного характера шаблона, а также из-за создания контракта и необходимости более сложных условий обработки ошибок в коде для не отвечающих обработчиков событий и отказавших брокеров.

4.3 Производительность: высокая

Высокая производительность за счет асинхронных возможностей: возможность выполнять разделенные, параллельные асинхронные операции перевешивают затраты на постановку в очередь и удаление сообщений из очереди.

4.4 Тестируемость: низкая

Хотя индивидуальное юнит-тестирование не слишком сложно, для генерации событий требуется какой-то специализированный клиент или инструмент тестирования. Тестирование также осложняется асинхронным характером этого шаблона.

4.5 Модифицируемость: высокая

Поскольку компоненты-потребители событий являются одноцелевыми и полностью отделены от других компонентов-потребителей событий, изменения, как правило, ограничиваются одним или несколькими потребителями событий и могут быть выполнены быстро, не затрагивая другие компоненты.

5. Событийная архитектура: примеры использования

5.1 Репликация данных между аккаунтами и регионами

Системы координации между командами, работающими и развертывающимися в разных регионах и учетных записях. Используя маршрутизатор событий для передачи данных между системами, вы можете разрабатывать, масштабировать и развертывать службы независимо от других команд.

5.2 Разветвление и параллельная обработка

Если у вас много систем, которые должны работать в ответ на событие, вы можете использовать архитектуру, управляемую событиями, для разветвления события без необходимости писать собственный для отправки каждому потребителю. Маршрутизатор отправит событие в системы, каждая из которых может обрабатывать событие параллельно с разными целями.

5.3 Мониторинг состояния ресурсов и оповещение

Вместо того, чтобы постоянно проверять свои ресурсы, вы можете использовать управляемую событиями архитектуру для отслеживания и получения предупреждений о любых аномалиях, изменениях и обновлениях. Эти ресурсы могут включать сегменты хранилища, таблицы базы данных, бессерверные функции, вычислительные узлы и многое другое.

5.4 Интеграция гетерогенных систем

Если у вас есть системы, работающие в разных стеках, вы можете использовать управляемую событиями архитектуру для обмена информацией между ними без прямой связи. Маршрутизатор событий устанавливает косвенное обращение и взаимодействие между системами, поэтому они могут обмениваться сообщениями и данными, оставаясь при этом независимыми.

Exploratory Data Analysis(EDA)

Exploratory Data Analysis is a process of analyzing or understanding the data and extracting insights or main characteristics of the data. EDA is generally classified into two methods, i.e. graphical analysis and non-graphical analysis.

EDA is very essential because it is a good practice to first understand the problem statement and the various relationships between the data features before getting your hands dirty.

Exploratory Data Analysis

Technically, The primary motive of EDA is to

Examine the data distribution
Handling missing values of the dataset(most common issue with every dataset)
Handling the outliers
Removing duplicate data
Encoding the categorical variables
Normalizing and Scaling

Note — Don’t worry if you are not familiar with some of the above terms, we will get know each one in detail.

Understanding EDA

To understand the steps involved in EDA, we will use Python as the programming language and Jupyter Notebooks because it’s open source and not only it’s an excellent IDE but also very good for visualization and presentation.

First, we will import all the python libraries that are required for this, which include NumPy for numerical calculations and scientific computing, Pandas for handling data and Matplotlib and Seaborn for visualization.

Step 2

Then we will load the data into the pandas dataframe. For this analysis, we will use a dataset of “World Happiness Report”, which has the following columns: GDP per Capita, Family, Life Expectancy, Freedom, Generosity, Trust Government Corruption etc. to describe the extent to which these factors contribute in evaluating the happiness.

Step 3

We can observe the dataset by checking few of the rows using head() method, which returns the first five records from the dataset.

Step 4

Using shape , we can observe the dimensions of the data.

Step 5

info() method shows some of the characteristics of the data such as, Column Name, No. of non-null values of our columns, Dtype of the data and Memory Usage.

From this we can observe, that the data which we have doesn’t have any missing values. We are very lucky in this case, but in real life scenarios, the data usually has missing values which we need to handle for our model to work accurately.(Note — Later on, I’ll show you how to handle the data if it has missing values in it)

Step 6

We will use describe() method, which shows basic statistical characteristics of each numerical feature (int64 and float64 types): number of non-missing values, mean, standard deviation, range, median, 0.25, 0.50, 0.75 quartiles.

Step 7

Handling missing values in dataset. Luckily, this dataset doesn’t have any missing values, but the real world is not so naive like our case.

So I have removed few values intentionally just to depict on how to handle this particular case.

We can check if our data contains null value or not by the following command

As we can see that “Happiness Score” and “Freedom” features have 1 missing values each.

So, now we can handle the missing values by using few techniques, which are

Drop the missing values — If the dataset is huge and missing values are very few then we can directly drop the values, because it will not have much impact.
Replace with mean values — We can replace the missing values with mean values, but this is not advisable in case if the data has outliers.
Replace with median values — We can replace the missing values with median values, and it is recommended in case if the data has outliers.
Replace with mode values — We can do this in case of Categorical feature.
Regression — It can be used to predict the null value using other details from the dataset.

For our case, we will handle missing values by replacing it with median value.

And, now we can again check if the missing values have been handled or not.

And, now we can see that our dataset doesn’t have any null values now.

Step 8

We can check for duplicate values in our dataset as presence of duplicate values will hamper the accuracy of our ML model.

We can remove duplicate values using drop_duplicates()

As we can see that the duplicate values are now handled.

Step 9

Handling the outliers in the data, i.e. the extreme values in the data. We can find the outliers in our data using a Boxplot.

As we can observe from the above boxplot that the the normal range of data lies within the block and the outliers are denoted by the small circles in the extreme end of the graph.

So to handle it we can either drop the outlier values or replace the outlier values using IQR(Interquartile Range Method).

IQR is calculated as the difference between the 25th and the 75th percentile of the data. The percentiles can be calculated by sorting the selecting values at specific indices. The IQR is used to identify outliers by defining limits on the sample values that are a factor k of the IQR . The common value for the factor k is the value 1.5.

Now we can again plot the boxplot and check if the outliers have been handled or not.

Finally, we can observe that our data is now free from outliers.

Step 10

Normalizing and Scaling — Data Normalization or feature scaling is a process to standardize the range of features of the data as the range may vary a lot. So we can preprocess the data using ML algorithms. So for this, we will use StandardScaler for the numerical values, which uses the formula as x-mean/std deviation.

As we can see that the “Happiness Score” column has been normalized.

Step 11

We can find the pairwise correlation between the different columns of the data using corr() method. (Note — All non-numeric data type column will be ignored.)

happinessData.corr() is used to find the pairwise correlation of all columns in the dataframe. Any ‘na’ values are automatically excluded.

The resulting coefficient is a value between -1 and 1 inclusive, where:

1: Total positive linear correlation
0: No linear correlation, the two variables most likely do not affect each other
-1: Total negative linear correlation

Pearson Correlation is the default method of the function “corr”.

Now, we will create a heatmap using Seaborn to visualize the correlation between the different columns of our data:

As we can observe from the above heatmap of correlations that, there is a high correlation between —

Happiness Score — Economy (GDP per Capita) = 0.78
Happiness Score — Family = 0.74
Happiness Score — Health (Life Expectancy) = 0.72
Economy (GDP per Capita) — Health (Life Expectancy) = 0.82

Step 12

Now, using Seaborn, we will visualize the relation between Economy (GDP per Capita) and Happiness Score by using a regression plot. And as we can see that, as Economy increases, the Happiness Score increases as well denoting a positive relation.

Now, we will visualize the relation between Family and Happiness Score by using a regression plot.

Now, we will visualize the relation between Health (Life Expectancy) and Happiness Score by using a regression plot. And as we can see that, as Happiness is dependent on health, i.e. Good Health is equal to More Happiness.

Now, we will visualize the relation between Freedom and Happiness Score by using a regression plot. And as we can see that, as the correlation is less between these two parameters so the graph is more scattered and the dependency is less between the two.

I hope we all now have a basic understanding on how to perform Exploratory Data Analysis(EDA).

Hence, the above are the steps which I personally follow for Exploratory Data Analysis, but there are various other plots and techniques, which we can use to explore more into the data.

Thanks for Reading and Keep Learning.

To get the full notebook, click here.

And if you found this article useful, then please follow me on LinkedIn by clicking here.

Что такое EDA в науке о данных

Исследовательский анализ данных (EDA) — это концепция науки о данных, в которой мы анализируем набор данных, чтобы обнаружить закономерности, тенденции и взаимосвязи в данных. Если вы хотите разобраться в исследовательском анализе данных, эта статья для вас. В этой статье я расскажу вам все об исследовательском анализе данных (EDA), который вы должны знать как специалист по науке о данных.

Что такое EDA и как это помогает?

Исследовательский анализ данных (EDA) — это концепция науки о данных, в которой мы анализируем набор данных, чтобы обнаружить закономерности, тенденции и взаимосвязи в данных. Это помогает нам лучше понять информацию, содержащуюся в наборе данных, и помогает нам принимать обоснованные решения и формулировать стратегии для решения реальных бизнес-задач.

Например, предположим, что розничный бизнес столкнулся с падением продаж.

Выполняя EDA на их данных о продажах, мы можем изучить различные факторы, которые могут повлиять на снижение продаж, такие как изменения в предпочтениях клиентов, изменения рыночных тенденций или влияние рекламных кампаний.

EDA может помочь определить эти факторы, что позволит нам разрабатывать целевые маркетинговые стратегии и принимать решения, основанные на данных, для увеличения продаж.

Ниже приведены некоторые ресурсы, которым вы можете следовать, чтобы узнать о практической реализации исследовательского анализа данных:

EDA с использованием Python

Вопросы, которые вам нужно задать, исходя из данных при выполнении EDA

Когда мы проводим исследовательский анализ данных, мы задаем вопросы на основе данных, используя такие инструменты науки о данных, как питон, R или SQL. Так что было бы полезно, если бы вы всегда начинали с того, что задавали правильные вопросы из своих данных при выполнении EDA. Ниже приведены некоторые вопросы, которые вы всегда должны задавать из своих данных при выполнении EDA:

Сколько переменных/функций присутствует?
Каковы диапазон, минимум, максимум, среднее и медиана значений?
Являются ли переменные нормально распределенными или асимметричными?
Есть ли какие-либо экстремальные значения или выбросы, которые необходимо устранить?
Существуют ли сильные положительные или отрицательные корреляции между переменными?
Какие переменные оказывают наиболее значительное влияние на целевую переменную?
Есть ли какие-либо сезонные или периодические закономерности?
Есть ли тенденция к увеличению или уменьшению с течением времени?
Есть ли какие-либо кластеры или группы в данных?
Есть ли какие-то аномалии или необычные наблюдения?
Как данные различаются по разным категориям или группам?

Процесс ЭДА

Неважно, какой язык или инструмент вы используете для EDA. Ниже приведен процесс, которому вы должны следовать при выполнении исследовательского анализа данных:

Сбор данных: Соберите соответствующие данные из различных источников, обеспечив их точность и полноту.
Очистка данных. Выполняйте операции по очистке данных, чтобы исправить отсутствующие значения, управлять выбросами и устранять несоответствия.
Визуализация данных: создавайте визуальные представления данных с помощью графиков, гистограмм, диаграмм рассеяния или тепловых карт. Визуализация помогает выявить закономерности, тенденции и аномалии в наборе данных.
Описательная статистика: расчет и анализ ключевых описательных статистик, таких как среднее значение, медиана, мода, стандартное отклонение и квартили. Эти статистические данные обеспечивают понимание основных тенденций, распределения и изменчивости данных.
Корреляционный анализ: исследуйте отношения между переменными, вычисляя коэффициенты корреляции. Этот анализ помогает выявить зависимости и понять, как изменения одной переменной влияют на другие.