Python-Code-Optimierung mit ctypes

1. Grundlegende Optimierungen
2. Stile
3. Python-Kompilierung
4. Strukturen in Python
5. Rufen Sie Ihren Code in C auf
6. Pypy

Grundlegende Optimierungen

Integrierte Datenstrukturen

Listen Sie Ausdrücke auf

# Slow
      mapped = []
      for value in originallist:
          mapped.append(myfunc(value))
      
      # Faster
      mapped = [myfunc(value) in originallist]

ctypes

list1 = ['My', 'name', 'is', 'Sam', 'Stevens', '!']
      list2 = ['My', 'name', 'is', 'Alex', 'Stevens', '.']
      
      common = lcs(list1, list2)
      
      print(common)
      # ['My', 'name', 'is', 'Stevens']

Kompilieren von C-Code in Python

gcc -c -Wall -Werror -fpic -O3 lcs.c -o lcs.o
      gcc -shared -o lcs.so lcs.o

• - Die Wand zeigt alle Warnungen an.
• - Werror wird alle Warnungen in Fehler einschließen ;
• - fpic generiert positionsunabhängige Anweisungen, die Sie benötigen, wenn Sie diese Bibliothek in Python verwenden möchten.
• - O3 maximiert die Optimierung;

Strukturen in Python

struct Sequence
      {
          char **items;
          int length;
      };
      
      struct Cell
      {
          int index;
          int length;
          struct Cell *prev;
      };

import ctypes
      class SEQUENCE(ctypes.Structure):
          _fields_ = [('items', ctypes.POINTER(ctypes.c_char_p)),
                      ('length', ctypes.c_int)]
      
      class CELL(ctypes.Structure):
          pass
      
      CELL._fields_ = [('index', ctypes.c_int), ('length', ctypes.c_int),
                       ('prev', ctypes.POINTER(CELL))]

• Alle Strukturen sind Klassen, die von erben ctypes.Structure.
• Das einzige Feld _fields_ist eine Liste von Tupeln. Jedes Tupel ist ( <variable-name>, <ctypes.TYPE>).
• Es ctypesgibt ähnliche Typen in c_char (char) und c_char_p (* char) .
• Es gibt ctypesauch einen POINTER(), der aus jedem übergebenen Typ einen Typzeiger erstellt.
• Wenn Sie eine rekursive Definition wie in haben CELL, müssen Sie die ursprüngliche Deklaration übergeben und dann die Felder hinzufügen _fields_, um später einen Link zu sich selbst zu erhalten.
• Da ich CELLPython nicht in meinem Code verwendet habe, musste ich diese Struktur nicht schreiben, aber sie hat eine interessante Eigenschaft im rekursiven Feld.

Rufen Sie Ihren Code in C auf

def list_to_SEQUENCE(strlist: List[str]) -> SEQUENCE:
          bytelist = [bytes(s, 'utf-8') for s in strlist]
          arr = (ctypes.c_char_p * len(bytelist))()
          arr[:] = bytelist
          return SEQUENCE(arr, len(bytelist))
      
      
      def lcs(s1: List[str], s2: List[str]) -> List[str]:
          seq1 = list_to_SEQUENCE(s1)
          seq2 = list_to_SEQUENCE(s2)
      
          # struct Sequence *lcs(struct Sequence *s1, struct Sequence *s2)
          common = lcsmodule.lcs(ctypes.byref(seq1), ctypes.byref(seq2))[0]
      
          ret = []
      
          for i in range(common.length):
              ret.append(common.items[i].decode('utf-8'))
          lcsmodule.freeSequence(common)
      
          return ret
      
      lcsmodule = ctypes.cdll.LoadLibrary('lcsmodule/lcs.so')
      lcsmodule.lcs.restype = ctypes.POINTER(SEQUENCE)
      
      list1 = ['My', 'name', 'is', 'Sam', 'Stevens', '!']
      list2 = ['My', 'name', 'is', 'Alex', 'Stevens', '.']
      
      common = lcs(list1, list2)
      
      print(common)
      # ['My', 'name', 'is', 'Stevens']

• **char (Liste der Zeichenfolgen) stimmt direkt mit einer Liste der Bytes in Python überein.
• Es lcs.cgibt eine Funktion lcs()mit der Signatur struct Sequence * lcs (struct Sequence * s1, struct Sequence * s2) . Um den Rückgabetyp einzurichten, verwende ich lcsmodule.lcs.restype = ctypes.POINTER(SEQUENCE).
• Um einen Aufruf mit Bezug auf die Sequenzstruktur zu tätigen , verwende ich ctypes.byref()einen, der einen „Lichtzeiger“ auf Ihr Objekt zurückgibt (schneller als ctypes.POINTER()).
• common.items- Dies ist eine Liste von Bytes, die dekodiert werden können, um retin Form einer Liste zu erhalten str.
• lcsmodule.freeSequence (common) gibt nur den mit common verknüpften Speicher frei. Dies ist wichtig, da der Garbage Collector (AFAIK) ihn nicht automatisch sammelt.

Etwas mehr: PyPy