Пять крутых библиотек Python для науки о данных

Наука о данных, Python

Пять крутых библиотек Python для науки о данных

Удобные библиотеки Python для науки о данных

Python - лучший друг для большинства специалистов по анализу данных. Библиотеки упрощают их жизнь. Во время работы над проектом НЛП я наткнулся на пять классных библиотек Python. Это мне очень помогло, и я хотел бы поделиться тем же в этой статье.

1. Numerizer

Удивительная библиотека для преобразования текстовых чисел в int и float. Полезная библиотека для проектов НЛП. Для получения дополнительной информации, пожалуйста, проверьте PyPI и это репозиторий github.

Установка

!pip install numerizer

Пример

#importing numerize library
from numerizer import numerize
#examples
print(numerize(‘Eight fifty million’))
print(numerize(‘one two three’))
print(numerize(‘Fifteen hundred’))
print(numerize(‘Three hundred and Forty five’))
print(numerize(‘Six and one quarter’))
print(numerize(‘Jack is having fifty million’))
print(numerize(‘Three hundred billion’))

Выход

2. Missingo

Широко распространено обнаружение пропущенных значений в реальном наборе данных. Перед расчетом нам необходимо понять пропущенные значения. Missingo предлагает быстрый и полезный способ визуализировать отсутствующие значения.

Установка

!pip install missingno

использование

# importing necessary libraries
import pandas as pd 
import missingno as mi
# reading the dummy dataset
data = pd.read_excel(“dummy.xlsx”)
# checking missing values
data.isnull().sum()

В фиктивном наборе данных 11 строк и четыре столбца. Отсутствующие значения представлены в переменных Min, Temp и city. Мы можем визуализировать, используя гистограмму и матрицу. Он также поддерживает тепловую карту, дендрограмму. Для более подробной информации, пожалуйста, проверьте этот репозиторий Github.

#Visualizing using missingo
print(“Visualizing missing value using bar graph”)
mi.bar(data, figsize = (10,5))
print(“Visualizing missing value using matrix”)
mi.matrix(data, figsize = (10,5) )

Выход

Мы можем увидеть недостающие значения для темп., Мин. И города на гистограмме и матрице выше.

3. Фейкер

Мы можем столкнуться с ситуацией, когда нам нужно сгенерировать некоторые тестовые данные или использовать фиктивные данные в нашем анализе. Один из способов получить фиктивные данные - использовать библиотеку Faker. Это очень быстро сгенерирует для вас поддельные данные, когда вам нужно.

Установка

!pip install faker

Пример

# Generating fake email
print (fake.email()) 
# Generating fake country name
print(fake.country()) 
# Generating fake name
print(fake.name()) 
# Generating fake text
print(fake.text()) 
# Generating fake lat and lon
print(fake.latitude(), fake.longitude())
# Generating fake url
print(fake.url()) 
# Generating fake profile
print(fake.profile())
# Generating random number
print(fake.random_number())

Выход

Он генерирует фальшивые данные для различных категорий, пожалуйста, проверьте эту ссылку для более подробной информации.

4. ЭМОТ

Сбор и анализ данных по смайликам, а также по смайликам дает полезную информацию, особенно при анализе настроений. смайлик - это изображение, достаточно маленькое, чтобы его можно было вставить в текст, выражающий эмоцию или идею. Смайлик - это выражение человеческого лица с использованием только символов клавиатуры, таких как буквы, цифры и знаки препинания.

emot помог нам преобразовать смайлики и смайлики в слова. Для получения более подробной информации об этой библиотеке, пожалуйста, проверьте это репозиторий Github. В нем хорошая коллекция смайлов и эмодзи с соответствующими словами.

Установка

!pip install emot

использование

#Importing libraries
import re
from emot.emo_unicode import UNICODE_EMO, EMOTICONS
# Function for converting emojis into word
def convert_emojis(text):
    for emot in UNICODE_EMO:
        text = text.replace(emot, "_".join(UNICODE_EMO[emot].replace(",","").replace(":","").split()))
    return text
# Example
text1 = "Hilarious 😂. The feeling of making a sale 😎, The feeling of actually fulfilling orders 😒"
convert_emojis(text1)

Выход

‘Hilarious face_with_tears_of_joy. The feeling of making a sale smiling_face_with_sunglasses, The feeling of actually fulfilling orders unamused_face’

Смайлик в словоформу

использование

# Function for converting emoticons into word
def convert_emoticons(text):
    for emot in EMOTICONS:
        text = re.sub(u'('+emot+')', "_".join(EMOTICONS[emot].replace(",","").split()), text)
    return text# Example
text = "Hello :-) :-)"
convert_emoticons(text)

Вывод

'Hello Happy_face_smiley Happy_face_smiley'

5. Chartify

Chartify - это библиотека визуализации, цель которой - максимально упростить для специалистов по обработке данных создание диаграмм. Он имеет удобный синтаксис и последовательное форматирование данных по сравнению с другими инструментами. На создание красивых и быстрых графиков уходит меньше времени. Это было разработано лабораториями Spotify.

Здесь я показываю только гистограмму. Для получения более подробной информации и диаграмм, пожалуйста, ознакомьтесь с этой документацией и записной книжкой

Установка

!pip install chartify

использование

# importing necessary library
import numpy as np
import pandas as pd
import chartify
#loading example dataset from chartify
data = chartify.examples.example_data()
data.head()

# Calculating total quanity for each fruits
quantity_by_fruit = (data.groupby(‘fruit’)[‘quantity’].sum().reset_index())
ch = chartify.Chart(blank_labels=True, x_axis_type=’categorical’)
ch.set_title(“Vertical bar plot”)
ch.set_subtitle(“Automatically sorts by value counts.”)
ch.plot.bar(
 data_frame=quantity_by_fruit,
 categorical_columns=’fruit’,
 numeric_column=’quantity’)
ch.show()

Выход

Вы можете сохранить диаграмму, щелкнув значок сохранения в правом верхнем углу диаграммы.

Спасибо за прочтение. Если вам есть что добавить, не стесняйтесь оставлять комментарии!

Вы также можете прочитать эту статью на KDnuggets.