Optimasi kode python dengan ctypes

1. Optimalisasi dasar
2. gaya
3. Kompilasi python
4. Struktur dalam Python
5. Panggil kode Anda dalam C
6. Pypy

Optimalisasi dasar

Struktur Data Built-in

Daftar ekspresi

# Slow
      mapped = []
      for value in originallist:
          mapped.append(myfunc(value))
      
      # Faster
      mapped = [myfunc(value) in originallist]

ctypes

list1 = ['My', 'name', 'is', 'Sam', 'Stevens', '!']
      list2 = ['My', 'name', 'is', 'Alex', 'Stevens', '.']
      
      common = lcs(list1, list2)
      
      print(common)
      # ['My', 'name', 'is', 'Stevens']

Kompilasi kode C dengan Python

gcc -c -Wall -Werror -fpic -O3 lcs.c -o lcs.o
      gcc -shared -o lcs.so lcs.o

• - Dinding akan menampilkan semua peringatan;
• - Werror akan membungkus semua peringatan dalam kesalahan;
• - fpic akan menghasilkan instruksi posisi-independen yang akan Anda perlukan jika Anda ingin menggunakan pustaka ini dengan Python;
• - O3 memaksimalkan optimasi;

Struktur dalam Python

struct Sequence
      {
          char **items;
          int length;
      };
      
      struct Cell
      {
          int index;
          int length;
          struct Cell *prev;
      };

import ctypes
      class SEQUENCE(ctypes.Structure):
          _fields_ = [('items', ctypes.POINTER(ctypes.c_char_p)),
                      ('length', ctypes.c_int)]
      
      class CELL(ctypes.Structure):
          pass
      
      CELL._fields_ = [('index', ctypes.c_int), ('length', ctypes.c_int),
                       ('prev', ctypes.POINTER(CELL))]

• Semua struktur adalah kelas yang diwarisi dari ctypes.Structure.
• Satu-satunya bidang _fields_adalah daftar tupel. Setiap tuple adalah ( <variable-name>, <ctypes.TYPE>).
• Ada ctypesbeberapa tipe yang mirip di c_char (char) dan c_char_p (* char) .
• Ada ctypesjuga POINTER()yang membuat pointer tipe dari setiap tipe yang diteruskan ke sana.
• Jika Anda memiliki definisi rekursif seperti dalam CELL, Anda harus melewati deklarasi awal, dan kemudian menambahkan bidang _fields_untuk mendapatkan tautan ke diri Anda nanti.
• Karena saya tidak menggunakan CELLPython dalam kode saya, saya tidak perlu menulis struktur ini, tetapi memiliki properti yang menarik di bidang rekursif.

Panggil kode Anda dalam C

def list_to_SEQUENCE(strlist: List[str]) -> SEQUENCE:
          bytelist = [bytes(s, 'utf-8') for s in strlist]
          arr = (ctypes.c_char_p * len(bytelist))()
          arr[:] = bytelist
          return SEQUENCE(arr, len(bytelist))
      
      
      def lcs(s1: List[str], s2: List[str]) -> List[str]:
          seq1 = list_to_SEQUENCE(s1)
          seq2 = list_to_SEQUENCE(s2)
      
          # struct Sequence *lcs(struct Sequence *s1, struct Sequence *s2)
          common = lcsmodule.lcs(ctypes.byref(seq1), ctypes.byref(seq2))[0]
      
          ret = []
      
          for i in range(common.length):
              ret.append(common.items[i].decode('utf-8'))
          lcsmodule.freeSequence(common)
      
          return ret
      
      lcsmodule = ctypes.cdll.LoadLibrary('lcsmodule/lcs.so')
      lcsmodule.lcs.restype = ctypes.POINTER(SEQUENCE)
      
      list1 = ['My', 'name', 'is', 'Sam', 'Stevens', '!']
      list2 = ['My', 'name', 'is', 'Alex', 'Stevens', '.']
      
      common = lcs(list1, list2)
      
      print(common)
      # ['My', 'name', 'is', 'Stevens']

• **char (daftar string) cocok langsung dengan daftar byte dalam Python.
• Ada lcs.cfungsi lcs()dengan struct urutan Sequence * lcs (struct Sequence * s1, struct Sequence * s2) . Untuk mengatur tipe pengembalian, saya menggunakan lcsmodule.lcs.restype = ctypes.POINTER(SEQUENCE).
• Untuk melakukan panggilan dengan referensi ke struktur Sequence , saya menggunakan ctypes.byref()yang mengembalikan "light pointer" ke objek Anda (lebih cepat dari ctypes.POINTER()).
• common.items- Ini adalah daftar byte, mereka dapat diterjemahkan untuk mendapatkan retdalam bentuk daftar str.
• lcsmodule.freeSequence (common) hanya membebaskan memori yang terkait dengan common. Ini penting karena pengumpul sampah (AFAIK) tidak akan secara otomatis mengumpulkannya.

Sesuatu Lebih: PyPy