Uitvoeren in Parallel Python voor Data Science - dummies

De meeste computers van tegenwoordig zijn multicore (twee of meer processors in een enkel pakket), sommige met meerdere fysieke CPU's. Een van de belangrijkste beperkingen van Python is dat het standaard een enkele kern gebruikt. (Het is gemaakt in een tijd waarin enkele kernen de norm waren.)

Gegevenswetenschappelijke projecten vereisen nogal wat berekeningen. In het bijzonder is een deel van het wetenschappelijke aspect van de gegevenswetenschap afhankelijk van herhaalde tests en experimenten met verschillende gegevensmatrices. Vergeet niet dat het werken met enorme hoeveelheden gegevens betekent dat de meeste tijdrovende transformaties observatie na waarneming herhalen (bijvoorbeeld identieke en niet-gerelateerde bewerkingen op verschillende delen van een matrix).

Door meer CPU-kernen te gebruiken, wordt een berekening versneld met een factor die bijna overeenkomt met het aantal kernen. Als u bijvoorbeeld vier kernen gebruikt, betekent dit dat u op zijn best vier keer sneller werkt. U krijgt geen volledige viervoudige verhoging omdat er overhead is bij het starten van een parallel proces - nieuwe actieve Python-instanties moeten worden ingesteld met de juiste informatie in het geheugen en worden gelanceerd; bijgevolg zal de verbetering minder dan mogelijk haalbaar maar nog steeds aanzienlijk zijn.

Weten hoe u meer dan één CPU moet gebruiken, is daarom een ​​geavanceerde maar ongelooflijk nuttige vaardigheid voor het vergroten van het aantal voltooide analyses en voor het versnellen van uw bewerkingen, zowel bij het instellen als bij het gebruik van uw dataproducten.

Multiprocessing werkt door dezelfde code en geheugeninhoud te repliceren in verschillende nieuwe Python-instanties (de werkers), het resultaat voor elk van hen te berekenen en de samengevoegde resultaten naar de originele hoofdconsole terug te sturen. Als uw oorspronkelijke exemplaar al een groot deel van het beschikbare RAM-geheugen in beslag neemt, is het niet mogelijk om nieuwe exemplaren te maken en heeft uw machine mogelijk onvoldoende geheugen.

Multicore-parallellisme uitvoeren

Om multicore-parallelliteit met Python uit te voeren, integreert u het Scikit-learn-pakket met het joblib-pakket voor tijdrovende operaties, zoals het repliceren van modellen voor het valideren van resultaten of voor het zoeken naar de beste hyperparameters. In het bijzonder maakt Scikit-learn multiprocessing mogelijk wanneer

• Cross-Validating: De resultaten van een machine-learning hypothese testen met behulp van verschillende training- en testgegevens

• Grid-searching: Systematisch de hyperparameters veranderen van een machine-learning hypothese en testen van de daaruit voortvloeiende resultaten

• Multilabel-voorspelling: Een algoritme meerdere keren uitvoeren tegen meerdere doelen wanneer er veel verschillende doeldomeinen zijn om tegelijkertijd te voorspellen

• Ensemble machine-learning methoden: Modellering van een groot aantal classifiers, elk onafhankelijk van elkaar, zoals bij gebruik van op RandomForest-gebaseerde modellering

U hoeft niets speciaals te doen om te profiteren van parallelle berekeningen - u kunt parallellisme activeren door instellingen in te stellen de n_jobs -parameter naar een aantal kernen van meer dan 1 of door de waarde in te stellen op -1, wat betekent dat je alle beschikbare CPU-instances wilt gebruiken.

Als u uw code niet vanaf de console of vanaf een IPython-notebook uitvoert, is het uiterst belangrijk dat u uw code van elke pakketimport of globale variabeltaak in uw script scheidt met de if __name __ == '__ main__': commando aan het begin van elke code die multicoreparallelisme uitvoert. De if-opdracht controleert of het programma direct wordt uitgevoerd of wordt aangeroepen door een reeds draaiende Python-console, waarbij verwarring of fouten worden voorkomen door het multiparallelle proces (zoals het recursief oproepen van het parallellisme).

Multiprocessing aantonen

Het is een goed idee om IPython te gebruiken wanneer u een demonstratie uitvoert van hoe multiprocessing u echt tijd kan besparen tijdens data science-projecten. Het gebruik van IPython biedt het voordeel van het gebruik van de% timeit magic-opdracht voor het uitvoeren van timings. U begint met het laden van een multiclass-gegevensverzameling, een complex algoritme voor machine-learning (de Support Vector Classifier of SVC) en een cross-validatieprocedure voor het schatten van betrouwbare resulterende scores van alle procedures.

Het belangrijkste om te weten is dat de procedures behoorlijk groot worden omdat de SVC 10 modellen produceert, die ze 10 keer elk herhaalt met behulp van kruisvalidatie, voor een totaal van 100 modellen.

van sklearn. datasets importeren load_digits digits = load_digits () X, y = cijfers. gegevens, cijfers. doelwit van sklearn. svm importeer SVC van sklearn. cross_validation importeren cross_val_score% timeit single_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = 1) Uit [1]: 1 lussen, beste van 3: 17. 9 s per lus

Na deze test, je moet de multicore parallelliteit activeren en de resultaten timen met behulp van de volgende opdrachten:

% timeit multi_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = -1) Uit [2]: 1 loops, best of 3: 11. 7 s per lus

De voorbeeldmachine laat een positief voordeel zien met behulp van multicore-verwerking, ondanks het gebruik van een kleine dataset waarbij Python het grootste deel van de tijd consoles doorbrengt en een deel van de code in elk daarvan uitvoert. Deze overhead, enkele seconden, is nog steeds van belang omdat de totale uitvoering een paar seconden duurt. Stelt u zich eens voor wat er zou gebeuren als u met grotere sets gegevens zou werken - uw uitvoeringstijd zou gemakkelijk twee of drie keer kunnen worden verkort.

Hoewel de code prima werkt met IPython, kan het neerzetten in een script en Python vragen het in een console uit te voeren of een IDE te gebruiken fouten veroorzaken vanwege de interne bewerkingen van een multicore-taak. De oplossing is om alle code onder een if-statement te plaatsen, die controleert of het programma direct is gestart en niet achteraf is gecalld. Hier is een voorbeeldscript:

van sklearn. datasets importeren load_digits van sklearn. svm importeer SVC van sklearn. cross_validation importeer cross_val_score if __name__ == '__main__': digits = load_digits () X, y = cijfers. gegevens, cijfers. target multi_core_learning = cross_val_score (SVC (), X, y, cv = 20, n_jobs = -1)