Tworzenie podstawowego Iteratora Pythona


427

W jaki sposób utworzyć funkcję iteracyjną (lub obiekt iteracyjny) w pythonie?

+3

Tutaj są dwa pytania, oba ważne. Jak sprawić, by klasa była iterowalna (tzn. I jak utworzyć funkcję, która zwraca sekwencję z leniwą oceną? 12 lip. 152015-07-12 13:26:31

+4

Dobre ćwiczenie myślę, że napisać klasę, która reprezentuje liczby parzyste (nieskończona sekwencja). 12 lip. 152015-07-12 13:30:02

+1

@ColonelPanic: Okay, dodano przykład nieskończonej liczby do [moja odpowiedź] (http://stackoverflow.com/a/7542261/208880). 04 lut. 162016-02-04 17:25:03

499

Obiekty Iteratora w pythonie są zgodne z protokołem iteratora, co w zasadzie oznacza, że ​​zapewniają dwie metody: __iter__() i next(). __iter__ zwraca obiekt iteratora i jest niejawnie wywoływany na początku pętli. Metoda next() zwraca następną wartość i jest niejawnie wywoływana dla każdego przyrostu pętli. next() podnosi wyjątek StopIteration, gdy nie ma więcej wartości do zwrócenia, która jest niejawnie przechwytywana przez zapętlenie konstrukcji w celu zatrzymania iteracji.

Oto prosty przykład licznika:

class Counter: 
    def __init__(self, low, high): 
     self.current = low 
     self.high = high 

    def __iter__(self): 
     return self 

    def next(self): # Python 3: def __next__(self) 
     if self.current > self.high: 
      raise StopIteration 
     else: 
      self.current += 1 
      return self.current - 1 


for c in Counter(3, 8): 
    print c 

ten wypisze:

3 
4 
5 
6 
7 
8 

Łatwiej to napisać przy użyciu generatora, objętych w poprzedniej odpowiedzi:

def counter(low, high): 
    current = low 
    while current <= high: 
     yield current 
     current += 1 

for c in counter(3, 8): 
    print c 

Wydrukowane wydruki będą takie same. Pod maską obiekt generatora obsługuje protokół iteratora i robi coś z grubsza podobnego do klasy Counter.

Artykuł Davida Mertza, Iterators and Simple Generators, jest całkiem niezłym wprowadzeniem.

+45

Zauważ, że funkcja 'next()' nie ma wartości 'yield',' zwraca 'je. 17 paź. 122012-10-17 07:03:44

+46

To jest nieprawidłowe w Pythonie 3 --- musi to być '__next __()'. 23 wrz. 132013-09-23 03:42:21

+2

Jest to w większości dobra odpowiedź, ale fakt, że wraca on sam, jest trochę mniej optymalny. Na przykład, jeśli użyjesz tego samego obiektu licznika w podwójnie zagnieżdżonej pętli for, prawdopodobnie nie otrzymasz takiego zachowania, jakie miałeś na myśli. 06 lut. 142014-02-06 23:33:31

+12

Nie, Iteratory POWINNY się zwrócić. Iterables zwraca iteratory, ale iterables nie powinny implementować '__next__'. 'counter' jest iteratorem, ale nie jest sekwencją. Nie przechowuje swoich wartości. Nie powinieneś używać tego licznika w podwójnie zagnieżdżonej pętli for, na przykład. 21 lut. 142014-02-21 08:42:44

+3

W przykładzie licznika, self.current powinien być przypisany w '__iter__' (oprócz w' __init__'). W przeciwnym razie obiekt może być iterowany tylko raz. Np. Jeśli mówisz 'ctr = Counters (3, 8)', to nie możesz użyć 'dla c in ctr' więcej niż raz. 05 kwi. 162016-04-05 23:00:00

  0

czy kod \ _ \ _ iter \ _ \ _ nie powinien ustawiać wartości self.current? 13 mar. 172017-03-13 02:01:54

  0

@Curt: Absolutnie nie. 'Counter' jest iteratorem, a iteratory powinny być iterowane tylko raz. Jeśli zresetujesz 'self.current' w' __iter__', to zagnieżdżona pętla nad 'Counterem' będzie całkowicie zepsuta, a wszelkiego rodzaju założone zachowania iteratorów (że wywołanie' iter' na nich jest idempotent) są naruszone. Jeśli chcesz móc iterować 'ctr' więcej niż raz, to musi to być iterator bez iteracji, gdzie zwraca on zupełnie nowy iterator za każdym razem, gdy' __iter__' jest wywoływany. Próba miksowania i dopasowywania (iterator, który jest niejawnie resetowany po wywołaniu '__iter__') narusza protokoły. 24 lut. 182018-02-24 01:16:43

  0

Na przykład, jeśli 'Counter' miałby być iteratorem bez iteracji, całkowicie usunąłbyś definicję' __next__'/'next' i prawdopodobnie przedefiniowałbyś' __iter__' jako funkcję generatora w tej samej postaci co generator opisana na końcu tej odpowiedzi (z wyjątkiem zamiast tego granic pochodzących z argumentów na '__iter__', będą one argumentami dla' __init__' zapisanymi na 'self' i dostępnymi z' self' w '__iter__'). 24 lut. 182018-02-24 01:19:21

  0

BTW, użyteczną rzeczą do zrobienia, jeśli chcesz napisać przenośne klasy iteratora, jest zdefiniowanie 'next' lub' __next__', a następnie przypisanie jednej nazwy do drugiej ('next = __next__' lub' __next__ = next' w zależności od nazwa podałeś metodę). Posiadanie obu nazw oznacza, że ​​działa zarówno na Py2, jak i Py3 bez zmian kodu źródłowego. 24 lut. 182018-02-24 01:43:52


97

Przede wszystkim itertools module jest niezwykle przydatna dla wszystkich rodzajów spraw, w których iterator byłyby użyteczne, ale tutaj jest wszystko, czego potrzeba, aby utworzyć iteracyjnej w python:

wydajność

Czy to nie jest fajne? Wydajność może być użyta w celu zastąpienia zwykłej funkcji powrotu. Zwraca obiekt tak samo, ale zamiast niszczyć stan i wychodzić, zapisuje stan, gdy chcesz wykonać następną iterację. Oto przykład jak to działa wyciągnął bezpośrednio z itertools function list:

def count(n=0): 
    while True: 
     yield n 
     n += 1 

Jak podano w opisie funkcji (jest to count() funkcji z modułu itertools ...), to powoduje, że iterator zwraca kolejne liczby całkowite zaczynające się od n.

Generator expressions to cała inna puszka robaków (niesamowite robale!). Mogą być użyte zamiast List Comprehension, aby zaoszczędzić pamięć (spisane listy tworzą listę w pamięci, która jest zniszczona po użyciu, jeśli nie jest przypisana do zmiennej, ale wyrazy generatora mogą tworzyć obiekt generatora ... który jest fantazyjnym sposobem powiedzenia Iterator). Oto przykład określenia ekspresji generatora:

gen = (n for n in xrange(0,11)) 

ta jest bardzo podobna do iteracyjnej naszą definicją powyżej, z wyjątkiem pełnego zakresu jest ustalona na poziomie między 0 a 10.

właśnie się XRange() (zaskoczony, że nie widziałem go wcześniej ...) i dodałem go do powyższego przykładu. xrange() to iterowalna wersja zakresu (), która ma tę zaletę, że nie jest przygotowana do utworzenia listy. Byłoby bardzo przydatne, gdybyś miał gigantyczny korpus danych do iteracji i miał tylko tyle pamięci, aby to zrobić.

+17

od python 3.0 nie ma już xrange() i nowy range() zachowuje się jak stary xrange() 18 gru. 082008-12-18 17:30:08

+6

Powinieneś używać xrange w 2._, ponieważ 2to3 tłumaczy to automatycznie. 22 lip. 112011-07-22 18:03:40


305

Istnieją cztery sposoby tworzenia iteracyjne funkcję:

Przykłady:

# generator 
def uc_gen(text): 
    for char in text: 
     yield char.upper() 

# generator expression 
def uc_genexp(text): 
    return (char.upper() for char in text) 

# iterator protocol 
class uc_iter(): 
    def __init__(self, text): 
     self.text = text 
     self.index = 0 
    def __iter__(self): 
     return self 
    def __next__(self): 
     try: 
      result = self.text[self.index].upper() 
     except IndexError: 
      raise StopIteration 
     self.index += 1 
     return result 

# getitem method 
class uc_getitem(): 
    def __init__(self, text): 
     self.text = text 
    def __getitem__(self, index): 
     result = self.text[index].upper() 
     return result 

żeby zobaczyć wszystkie cztery metody w akcji:

for iterator in uc_gen, uc_genexp, uc_iter, uc_getitem: 
    for ch in iterator('abcde'): 
     print ch, 
    print 

co skutkuje:

A B C D E 
A B C D E 
A B C D E 
A B C D E 

Uwaga:

Dwa generatora typy (uc_gen i uc_genexp) nie mogą być reversed(); zwykły iterator (uc_iter) wymagałby magicznej metody (która musi zwracać nowy iterator, który cofa się); a GetItem iteracyjnych (uc_getitem) musi mieć metodę __len__ Magic:

# for uc_iter 
    def __reversed__(self): 
     return reversed(self.text) 

    # for uc_getitem 
    def __len__(self) 
     return len(self.text) 

Aby odpowiedzieć na pytanie wtórnego pułkownika panika jest o nieskończonej leniwie ocenianego iterator, tutaj są te przykłady, używając każdej z czterech powyższych metod:

# generator 
def even_gen(): 
    result = 0 
    while True: 
     yield result 
     result += 2 


# generator expression 
def even_genexp(): 
    return (num for num in even_gen()) # or even_iter or even_getitem 
             # not much value under these circumstances 

# iterator protocol 
class even_iter(): 
    def __init__(self): 
     self.value = 0 
    def __iter__(self): 
     return self 
    def __next__(self): 
     next_value = self.value 
     self.value += 2 
     return next_value 

# getitem method 
class even_getitem(): 
    def __getitem__(self, index): 
     return index * 2 

import random 
for iterator in even_gen, even_genexp, even_iter, even_getitem: 
    limit = random.randint(15, 30) 
    count = 0 
    for even in iterator(): 
     print even, 
     count += 1 
     if count >= limit: 
      break 
    print 

co powoduje (przynajmniej dla mojego biegu próbek):

0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 
+4

Podoba mi się to podsumowanie, ponieważ jest kompletne. Te trzy sposoby (wydajność, ekspresja generatora i iterator) są zasadniczo takie same, chociaż niektóre są wygodniejsze niż inne. Operator yield przechwytuje "kontynuację", która zawiera stan (na przykład indeks, do którego jesteśmy uprawnieni). Informacje są zapisywane w "zamknięciu" kontynuacji. Sposób iteracji zapisuje te same informacje w polach iteratora, który jest w zasadzie tym samym co zamknięcie. Metoda __getitem__ jest trochę inna, ponieważ indeksuje zawartość i nie ma charakteru iteracyjnego. 05 lip. 132013-07-05 01:04:22

  0

Nie zwiększasz indeksu w twoim ostatnim podejściu, 'uc_getitem()'.Właściwie podczas refleksji nie powinien zwiększać indeksu, ponieważ go nie obsługuje. Ale to także nie jest sposób na abstrakcyjną iterację. 05 lis. 132013-11-05 15:25:55

+2

@metaperl: Właściwie to jest. We wszystkich czterech powyższych przypadkach możesz użyć tego samego kodu do iteracji. 05 lis. 132013-11-05 16:37:21


79

Widzę niektórych z was robi return self w __iter__. Chciałem tylko zwrócić uwagę, że sama __iter__ może być generator (usuwając w ten sposób potrzebę __next__ i podnoszenie StopIteration wyjątkami)

class range: 
    def __init__(self,a,b): 
    self.a = a 
    self.b = b 
    def __iter__(self): 
    i = self.a 
    while i < self.b: 
     yield i 
     i+=1 

Oczywiście tutaj jeden równie dobrze może bezpośrednio dokonać generator, ale w przypadku bardziej skomplikowanych klas to możliwe być przydatnym.

+5

Świetnie! To takie nudne pisanie właśnie 'return self' w' __iter__'. Kiedy miałem zamiar spróbować użyć 'yield' w tym pliku znalazłem twój kod robiący dokładnie to, co chcę wypróbować. 05 lut. 132013-02-05 19:32:35

+2

Ale w takim przypadku, w jaki sposób można wdrożyć 'next()'? 'return iter (self) .next()'? 05 kwi. 132013-04-05 19:52:12

+4

@Lenna, jest już "zaimplementowana", ponieważ iter (self) zwraca iterator, a nie instancję zasięgu. 07 kwi. 132013-04-07 17:31:31

  0

@Manux 'iter (zakres (5,10)). Next()' jest nieco kłopotliwy. Wprawdzie zły przykład zachowania "następnego". Nadal jestem zainteresowany tym, jak nadać instancji range atrybutowi "next". 24 kwi. 132013-04-24 19:06:36

+2

Jest to najprostszy sposób robienia tego i nie wymaga śledzenia np. '' self.current'' lub dowolny inny licznik. To powinna być najlepsza odpowiedź! 31 mar. 142014-03-31 13:35:53

  0

Różnica: '__iter__' będący generatorem jest innym obiektem niż instancja' range() '. Czasami to się liczy, czasami tak nie jest. 09 lis. 142014-11-09 19:42:19

  0

Nie powinieneś używać 'iter (range (5,10)). Next()' anyway. Prawidłowy sposób to 'next (iter (range (5,10))). Wbudowany 'next' jest dokładnie taki, że nie musisz się martwić, czy' self' zostanie zwrócony w tej sytuacji. 14 mar. 162016-03-14 20:41:59

  0

up-voted - ta metoda działa również bardziej jak oczekiwano (w stosunku do zaakceptowanej odpowiedzi) dla czegoś takiego jak 'r = range (5); list_of_lists = lista ([ri, list (r)] dla ri in r) ' 17 wrz. 162016-09-17 16:09:23

  0

Ciekawe, że' __iter__' nie musi podnosić StopIteracji. Problem z definiowaniem tylko '__iter__' jest taki, że' next (myiterator) 'nie działa, jeśli' __next__' nie 'zwraca' poszczególnych elementów. Konieczność użycia 'next (iter (myiterator))' nie jest mądrym zamiennikiem. 18 kwi. 172017-04-18 14:42:52

  0

Aby było jasne, to podejście sprawia, że ​​klasa * iterowalna *, ale nie * iterator *. Otrzymujesz świeże iteratory * za każdym razem, gdy wywołujesz 'iter' na instancjach klasy, ale nie są one instancjami klasy. 24 lut. 182018-02-24 01:25:07

  0

@MadPhysicist: On Python 2, 'iter (zakres (5,10)) next()' i 'next (iter (range (5,10))' są już dokładnie równoważne. Przewaga "następnego" jako funkcji nie ma nic wspólnego z tym, czy '__iter__' zwróci' self' (zachowanie jest identyczne dla obu fragmentów kodu). Zaletami wbudowanej funkcji 'next' są: 1. Działa to samo na Py2 i Py3, nawet jeśli metoda zmienia nazwy między nimi a 2. W stosownych przypadkach można podać drugi argument, aby powrócić w przypadku że iterator jest już wyczerpany, zamiast podnoszenia "StopIteration". 24 lut. 182018-02-24 01:27:54


3

Jest to funkcja iteracyjna bez yield. To sprawi, że korzystanie z funkcji iter i zamknięcia, który utrzymuje, że to państwo w sposób zmienny (list) w zamykającym zakres python 2.

def count(low, high): 
    counter = [0] 
    def tmp(): 
     val = low + counter[0] 
     if val < high: 
      counter[0] += 1 
      return val 
     return None 
    return iter(tmp, None) 

dla Pythona 3, stan zamknięcia jest przechowywany w niezmiennym w zakresie osłaniającego i nonlocal jest używany w zakresie lokalnym, aby zaktualizować zmienną stanu.

def count(low, high): 
    counter = 0 
    def tmp(): 
     nonlocal counter 
     val = low + counter 
     if val < high: 
      counter += 1 
      return val 
     return None 
    return iter(tmp, None) 

Test;

for i in count(1,10): 
    print(i) 
1 
2 
3 
4 
5 
6 
7 
8 
9 
  0

Zawsze doceniam sprytne użycie dwóch argumentów 'iter', ale dla jasności: jest to bardziej złożone i mniej wydajne niż użycie funkcji generującej opartej na" wydajności "; Python ma mnóstwo interpreterów wspierających funkcje generujące 'yield', których nie można tu wykorzystać, co znacznie spowalnia ten kod. Wciąż przegłosowywany. 24 lut. 182018-02-24 01:30:05


7

To pytanie dotyczy obiektów iteracyjnych, a nie iteratorów. W języku Python sekwencje są również iterowalne, więc jednym ze sposobów utworzenia klasy iterowalnej jest sprawienie, aby zachowywała się jak sekwencja, tj. Nadawanie jej metod. Przetestowałem to na Pythonie 2 i 3.

class CustomRange: 

    def __init__(self, low, high): 
     self.low = low 
     self.high = high 

    def __getitem__(self, item): 
     if item >= len(self): 
      raise IndexError("CustomRange index out of range") 
     return self.low + item 

    def __len__(self): 
     return self.high - self.low 


cr = CustomRange(0, 10) 
for i in cr: 
    print(i)