Python للاختبار: كيف تساعد البرامج النصية c الباندا الصغيرة في اختبار مجموعات البيانات الكبيرة

1. نحصل على ملف ببيانات بتنسيق معين (أو عدة ملفات)
2. احصل على بيانات من ملف / ملفات
3. نختار البيانات اللازمة
4. نقوم ببعض العمليات على البيانات
5. نقوم بتحميل البيانات إلى ملف Excel ، إذا لزم الأمر (عادة ما يكون هذا التنسيق هو الأكثر ملاءمة لمزيد من التحليل والتخزين)

• الباندا هي مكتبة لتحليل البيانات. يسمح لك بالعمل مع البيانات من ملفات بتنسيقات مختلفة ، وكذلك تلقي البيانات مباشرة من قاعدة البيانات باستخدام استعلام SQL. يتم تحميل البيانات من الملفات في إطارات البيانات (بشكل مرئي نفس الجداول الموجودة في Excel) ، مع البيانات التي يمكنك بالفعل تنفيذ عمليات مختلفة: دمج البيانات من إطارات البيانات المختلفة عن طريق القياس مع الانضمام / الاتحاد في SQL ، حدد البيانات اللازمة في ظل ظروف معينة ، قارن البيانات في أعمدة مختلفة من إطار البيانات ، إلخ.
• openpyxl، xlrd - مكتبات للعمل مع Excel.

#   pandas
import pandas as pd

#    csv-  -
# (        )
#       csv-     ";"
df = pd.read_csv('./csv_file.csv', sep=';', encoding='utf-8')

# 
#    json-  -
# (        )
# df = pd.read_json('./json_file.json', encoding='utf-8')

# 
#    Excel-  -,     
# (        )
# file_excel = 'Excel_file.xlsx'
# df = pd.ExcelFile(file_excel).parse('1')


#  -     -  
#    - final_df


#    Excel-,  
#          
# (      )
writer = pd.ExcelWriter('.xlsx')
final_df.to_excel(writer, '1')
writer.save()

#   pandas
import pandas as pd
#      ,     PostgreSQL
# (   -    )
import psycopg2

#    
conn = psycopg2.connect(dbname='_', host='', port='',
                        user='', password='')

#   SQL-
q = """select ... 
    from ... 
    where ..."""

#    -,  SQL-
df = pd.read_sql_query(q, conn)


#  -     -  
#    - final_df


#    Excel-,  
#          
# (      )
writer = pd.ExcelWriter('.xlsx')
final_df.to_excel(writer, '1')
writer.save()

• يمكن أن تحتوي الملفات على تكرارات حسب المعرف ، في تقرير ، يجب أخذ سجل بنفس المعرف في الاعتبار مرة واحدة فقط (في هذه الحالة ، نختار ببساطة أيًا من الصفوف التي تحتوي على هذا المعرف من البيانات).
• لا يجب حساب الصفوف التي تحتوي على بيانات مفقودة في خلية عمود reg_date.
• في الواقع ، يمكن أن يكون هناك المزيد من شروط الاختيار ، كما يمكن مقارنة البيانات بالبيانات الموجودة بالفعل في النظام وسيتم عرض البيانات المتقاطعة فقط حسب المعرّف في التقرير ، ولكن على سبيل المثال ، سنأخذ في الاعتبار الشرطين فقط المشار إليهما أعلاه.

• - csv-, - ( union SQL), id, reg_date.
• UI Excel-, , -.
• (merge) - ( outer join SQL) Excel- .
• , , - , , UI.

#   pandas
import pandas as pd

#     csv-    -
# (        )
df_from_file1 = pd.read_csv('./example1_csv_1.csv', sep=';', encoding='utf-8',
                            usecols=['id', 'name', 'email', 'reg_date'])
df_from_file2 = pd.read_csv('./example1_csv_2.csv', sep=';', encoding='utf-8',
                            usecols=['id', 'name', 'email','reg_date'])
df_from_file3 = pd.read_csv('./example1_csv_3.csv', sep=';', encoding='utf-8',
                            usecols=['id', 'name', 'email', 'reg_date'])

#    -    - 
# (   union  SQL)
df_from_csv = pd.concat([df_from_file1, df_from_file2, df_from_file3]).\
    reset_index(drop=True)
print(df_from_csv)

#       
df_from_csv.drop_duplicates(subset='id', keep='first', inplace=True)
print(df_from_csv)

#     NaN ( )   reg_date
df_from_csv = df_from_csv.dropna()
print(df_from_csv)

#    Excel-   UI  -,
#       
# (        )
file_excel = 'report_UI.xlsx'
df_from_excel = pd.ExcelFile(file_excel).parse('1')
print(df_from_excel)

#  -     - 
# -       UI
# (   outer join  SQL)
df = df_from_csv.merge(df_from_excel, left_on='id', right_on="", how='outer')
print(df)

#     Excel-
writer = pd.ExcelWriter('.xlsx')
df.to_excel(writer, '1')
writer.save()

• ( , 30 000 ).
• ( Excel) / , .

• نقوم بتحميل البيانات من جدول الأقسام إلى ملف Excel على واجهة المستخدم (إذا لم يكن ذلك ممكنًا ، يمكنك دائمًا تصدير البيانات من نتيجة استعلام SQL المستخدم في التعليمات البرمجية لإخراج البيانات إلى هذا الجدول في واجهة المستخدم) وملء البيانات منه في إطار البيانات الأول .
• نحصل على ملف json مع البيانات من المصدر الثاني وتحميله في إطار البيانات الثاني.
• (merge — outer join SQL) - - Excel-, . , , .

• ( , 30 000 ).
• json- / – /, - json- pandas /.

• نقوم بتنفيذ استعلام SQL في قاعدة البيانات ، وتصدير البيانات من نتيجة الاستعلام إلى ملف csv ، وتحميل هذه البيانات في إطار البيانات الأول.
• نقوم بحفظ البيانات من الاستجابة للطلب على API في ملف json ، وتحميل البيانات من الملف في إطار البيانات الثاني.
• نقوم بدمج البيانات (الدمج - عن طريق القياس مع الربط الخارجي في SQL) من إطارين للبيانات المستلمة في إطار بيانات جديد بواسطة معرف فريد ونفريغ البيانات منه في ملف Excel ، حيث سنقوم بالفعل بمقارنة البيانات بالأعمدة باستخدام وظائف التفوق
• أو يمكن مقارنة البيانات الموجودة على الأعمدة في إطار البيانات العام باستخدام الباندا ، أثناء تفريغ الصفوف بالبيانات نفسها / المختلفة في الأعمدة في إطار بيانات / ملف Excel جديد للتحليل.

[
    {
        "id": "16421118-4116",
        "name_json": "Tempor Consulting",
        "email_json": "Nullam.lobortis.quam@***",
        "tel_json": "1-821-805-****",
        "reg_date_json": "12-11-16",
        "city_json": "Natales"
    },
    {
        "id": "16040210-2206",
        "name_json": "Odio Etiam Incorporated",
        "email_json": "arcu@***",
        "tel_json": "1-730-291-****",
        "reg_date_json": "26-06-05",
        "city_json": "Viddalba"
    },
...
]

#   pandas
import pandas as pd

#    csv-  -
# (        )
#       csv-     ";"
df_from_csv = pd.read_csv('./example3_csv.csv', sep=';', encoding='utf-8')
print(df_from_csv)

#    json-  -
# (        )
df_from_json = pd.read_json('./example3_json.json', encoding='utf-8')
print(df_from_json)

#  -    -
# (   outer join  SQL)
df_csv_json = df_from_csv.merge(df_from_json, left_on='id', 
                                right_on="id", how='outer')
print(df_csv_json)

#    Excel-,   ,
#      -   ,
#          
# (      )
# writer = pd.ExcelWriter('.xlsx')
# df_csv_json.to_excel(writer, '1')
# writer.save()

#       
# (, name_csv  name_json) 
#       Excel-  
# (        )
unequal_data_df = df_csv_json.loc[df_csv_json['name_csv'] != 
                                  df_csv_json['name_json']]
unequal_data_df = unequal_data_df[['id', 'name_csv', 'name_json']]
print(unequal_data_df)

writer = pd.ExcelWriter('_name.xlsx')
unequal_data_df.to_excel(writer, '1')
writer.save()

• عند العمل مع الملفات التي تحتوي على عدد كبير جدًا من الأسطر ، سيتعين عليك تقسيمها إلى ملفات منفصلة (هنا تحتاج إلى المحاولة ، نادرًا ما يكون لدي ملفات تزيد عن 30000 سطر).
• إذا كان ملف json يحتوي على عدة مستويات من تداخل صفائف الكائنات / البيانات ، فمن المستويات الداخلية سيتم تحميلها في الخلية ككائن / صفيف ، وبالتالي فإن العمل مع ملفات json مع الباندا يعد ملائمًا فقط للبيانات دون تداخل مفرط للكائنات / صفائف.
• API SQL- , SQL- .

• نقوم بحفظ البيانات من الاستجابة لطلب API في ملف xml ، والحصول على البيانات اللازمة من هذا الملف باستخدام مكتبة ElementTree ، وتحميل البيانات في إطار البيانات الأول.
• نقوم بتنفيذ استعلام SQL في قاعدة البيانات ، وتصدير البيانات من نتيجة الاستعلام إلى ملف csv ، وتحميل هذه البيانات في إطار البيانات الثاني.
• نقوم بدمج البيانات (دمج - مشابه للانضمام الخارجي في SQL) من إطارين للبيانات المستلمة في إطار بيانات جديد بواسطة معرف فريد ونقوم بإلغاء تحميل البيانات منه في ملف Excel.
• بعد ذلك ، افتح الملف الناتج وقم بتحليل خطوط البيانات.

#   ElementTree
from xml.etree import ElementTree
#   pandas
import pandas as pd

#    xml-   
# (        )
tree = ElementTree.parse("example4_xml.xml")

#   
root = tree.getroot()

#  ,     
data_list = []
i = 1

#    -   id_type1  id_type2
for child in root.iter("companies"):
    for child_1 in child.iter("company"):
            data_list.append({"": i, "id": child_1.get("id_type1")
                                                or child_1.get("id_type2"), 
                              "  xml": ""})
            i += 1

#     data_list  -
df_from_xml = pd.DataFrame.from_dict(data_list, orient='columns')
print(df_from_xml)

#    csv-  -
df_from_csv = pd.read_csv('./example4_csv.csv', sep=';', encoding='utf-8')
print(df_from_csv)

#  -   -
# (   outer join  SQL)
df = df_from_csv.merge(df_from_xml, left_on='id', right_on="id", how='outer')
print(df)

#    Excel-
#          
# (      )
writer = pd.ExcelWriter('.xlsx')
df.to_excel(writer, '1')
writer.save()

• نطلب من المطورين استعلام SQL في قاعدة البيانات من الكود المسؤول عن إخراج البيانات إلى جدول الأقسام في واجهة المستخدم.
• نقوم بتنفيذ استعلام SQL هذا في قاعدة البيانات ، ونقوم بتحميل البيانات إلى ملف csv ، وتحميل البيانات منه في إطار البيانات الأول.
• نقوم بتحميل البيانات من جدول الأقسام إلى ملف Excel على واجهة المستخدم وتحميل البيانات منه في إطار البيانات الثاني.
• (merge — outer join SQL) - - Excel-, Excel.
• - pandas, / -/Excel- .

• , Excel- UI, , , .