1 Wstęp

Za pomocą wyrażeń regularnych (ang. regular expressions albo w skrócie regexp) można opisywać pewne skomplikowane wzorce wyszukiwania na przykład treści dokumentów.

Przykładowo, za pomocą wzorca

[a-zA-Z0-9._-]+@[a-zA-Z0-9-]+\.[a-zA-Z]{2,4}

można próbować sprawdzać poprawność wpisanego w formularz adresu e-mail [Piszę „próbować sprawdzać”, bo w istocie sprawdzenie poprawności adresu email to wyzwanie, że ho-ho. Format adresu email regulowany jest RFC 822 i choć z pozoru opis wydaje się prosty, to wyrażenie regularne, które sprawdza poprawność tegoż proste nie jest] . Część pierwsza wzorca, [a-zA-Z0-9._-]+ „wyłapie” pierwszy człon, adresu, [a-zA-Z0-9-]+ nazwę domeny, a \.[a-zA-Z]{2,4} domenę najwyższczego rzędu, czyli .pl, com lub .info. Już ten przykład pokazuje — mam nadzieję — jak bardzo wyrafinowanym narzędziem są wyrażenia regularne. I uwierz mi, że ich znajomość — wcześniej czy później — zaoszczędzi Ci, drogi czytelniku, wielu godzin żmudnej pracy. Nie ma nic bardziej deprymującego od konieczności dokonania jednakowych, powtarzalnych czynności na dużym pliku tekstowym. Wyrażenia regularne umożliwiają czynności tych zautomatyzowanie.

Uwaga porządkowa: jeśli nie będzie prowadziło to do niejednoznaczności — a nie powinno — to miejscami, zamiast „wyrażenia regularne”, będę pisał WR.

1.1 Programy i języki programowania ze wsparciem wyrażeń regularnych

Wszystkie porządne języki programowania mają zaimplementowany mechanizm wsparcia dla WR. Dotyczy to Perla, PHP, JavaScriptu, Javy, Ruby’ego, Pythona i zapewne wielu innych języków, których nie sposób wszystkich utaj wymienić.

Podobnie, wiele narzędzi — ze szczególnym wskazaniem na narzędzie systemów typu POSIX — wspiera lub nawet jest przeznaczonych wyłącznie do operacji na wyrażenia regularnych. Mowa tu przede wszystkim o narzędziach typu grep, edytorze wsadowym sed oraz edytorach wywodzących się z systemu Unix vim i emacs. Wyrażenia regularne są intensywnie wykorzystywane w module mod_rewrite w Apache’u.

Również i dla systemu Windows stworzono kilka dedykowanych narzędzi, za pomocą których można przetwarzać tekst przy użyciu wyrażeń regularnych. W szczególności należy tu wymienić edytory tekstu, takie jak Edit Pad Pro, Textpad, Crimson Editor. Ten ostatni zresztą służyć będzie do obrazowania niektórych opisywanych na stronie przykładów (swoją drogą: polecam ten edytor gorąco, jest szybki, udostępnia wiele przydanych rzeczy, jak na przykład łączenie plików w projekty i do tego jest darmowy).

do góry ↑

2 Smaki i notacja

Wspomniałem wyżej o różnych językach programowaniach, wspierających wyrażenia regularne; otóż z dużym przybliżeniem można powiedzieć, że składni wyrażeń regularnych jest tyle, ile języków programowania. Rzecz jasna, różnice są w tych malutkich tyciuśkich szczegółach-szczególikach, na które przeciętny amator wyrażeń regularnych nigdy nie natrafi, ale, podkreślam, różnice są.

Z drugiej jednak strony, równie dobrym przybliżeniem będzie stwierdzenie, że, owszem, standard istnieje. Żeby było śmieszniej, to istnieją co najmniej dwa — albo cztery, zależy, jak patrzeć — standardy.

Pierwszy z nich to, opracowany przez IEEE, standard POSIX; definiuje on rzy rodzaje wyrażeń regularnych — proste (Simple Regular Expressions, SRE), podstawowe (Basic Regular Expressions, BRE) i rozszerzone (Extended Regular Expressions, ERE). Proste WR odszeszły w zapomnienie i używane są tylko pozostałe dwa.

Drugim standardem — choć nigdzie nie udokumentowanym — jest standard zaimplementowany w języku Perl. Historycznie, Perl wyrósł na kanwie POSIX-owych wyrażeń regularnych właśnie, a potem inkorporował kolejne ulepszenia, ustanawiając ostatecznie niepisany — niepisany, podkreślam — standard. Standard na tyle jednak znaczący, że jego obsługa została zaimplementowana w wielu różnych językach programowania — włączając Javę, JavaScript, Ruby’ego i Pythona. W międyczasie powstała również biblioteka, napisana w języku C, o nazwie PCRE, co rozwija się w Perl Compatible Regular Expressions; biblioteka ta została włączona do języka Perl w wersji 5.10 — swoista inkarnacja Uroborosa w świecie teleinformatyki. Wspominam o tym dlatego, że przez PCRE będę oznaczał właśnie smak WR występujących w Perlu.

W niniejszym dokumencie opiszę wszystkie — to znaczy BRE, ERE i PCRE-owe wyrażenia regularne. Cały powyższy wstęp miał na celu to jedynie, bo uczulić szanownego Czytelnika na to, że standardy WR różnią się między sobą; w niniejszym dokumencie chciałbym móc wyraźnie zaznaczać, które elementy WR przynależą do którego standardu. Długo myślałem nad tym, jak oznaczać wyrażenia z konkretnego standardu i wyszło mi, że nie ma opcji nad po prostu pisanie — słowami, co i jak.

do góry ↑

3 Metaznaki

Wyrażenia regularne mogą składać się ze znaków (na przykład: a lub Litwo! Ojczyzno moja!) i metaznaków. Metaznaki wyglądają jak zwykłe znaki, jednak o ile zwykłe znaki interpretowane są dosłownie (lub — z angielskiego — literalnie; literał to sposób zapisywania wartości w kodzie programu, w naszym przypadku programem jest mechanizm dopasowywania wzorców, a wartością — dopasowywany tekst), co oznacza mniej więcej tyle, że litera P dopasowana jest do P, to metaznaki nie są dopasowywane w ten sposób; dodatkowo, mogą one — te metaznaki — wpływać na zachowania sąsiadujących z nimi znaków.

Metaznakami są:

. + ? * ^ $ [ ( ) \ | {

czyli, mówiąc po ludzku: kropka, plus, znak zapytania, asterysk, karetka, dolar, nawias kwadratowy otwierający, nawiasy zwykłe, backslash, kreska pionowa (alternatywa), klamra otwierająca.

3.1 Uciekanie metaznaków

Specjalne znaczenie metaznaków najlepiej wytłumaczyć na przykładzie: jeśli chciałbyś napisać wyrażenie regularne, które dopasowuje ciąg znaków *.txt, to poprawnym wyrażeniem będzie \*\.txt, a nie *.txt. Dzieje się tak dlatego, że zarówno kropka ., jak i asterysk \* są właśnie metaznakami i nie są dopasowywane „literalnie” (o czym dowiesz się już za moment).

W powyższym przykładzie widać jeszcze jedną cechę metaznaków: chcąc dopasować metaznak należy poprzedzić go backslashem. Z angielska nazywa się to to escape a character, co można — ale nie należy — tłumaczyć jako „uciec znak”. Mi się to tłumaczenie podoba, nie wiem, jak Tobie. Ale uwaga: operacji tej należy dokonywać tylko w przypadku metaznaków, bo, przykładowo, w PCRE \s nie dopasowuje litery s, a znaki odstępu (np. spacje).

Tutaj ważna dygresja: w standardzie BRE znaki ( ) oraz { } muszą być uciekane, jeśli mają być traktowane jako metaznaki. Innymi słowy — standardowo znak ( traktowany jest literalnie, tj. jako nawias okrągły otwierający, przez WR o smaku BRE.

Gwoli kompletności, należy wspomnieć w tym miejscu, że prawie wszystkie metaznaki tracą swoje specjalne znaczenie, jeśli wziąć je w nawiasy kwadratowe […], w celu wyróżnienia pewnego zakresu znaków. Wówczas traktowanie są one literalnie. O tym, które znaki nie tracą swego specjalnego znaczenia oraz o samych nawiasach kwadratowych możesz przeczytać gdzie indziej.

do góry ↑

4 Jak to działa

To, jak w ogóle działają wyrażenia regularne i czym się je je, najlepiej zobaczyć na przykładzie. W tym celu weźmy sobie tekst:

Matko, w lesie są maliny
Niechaj idą w las dziewczyny,
Która więcej malin zbierze,
Tę za żonę pan wybierze.

Załóżmy, że chcemy dopasować wzorzec liny. Mechanizm dopasowywania wzorca bierze sobie ten wzorzec i zaczyna go dopasowywać:

Matko, w lesie są maliny,
liny

Wzorzec nie pasuje, więc porównywany jest następny znak wyrazu Matko, a potem następny, aż mechanizm natrafi na literę l:

Matko, w lesie są maliny,
         liny

Ponieważ litera ta odpowiada pierwszej literze wzorca, mechanizm sięgnie po jego kolejną literę, nie zostanie dopasowana:

Matko, w lesie są maliny,
         liny

Mechanizm działa słowo po słowie, aż do napotkania ostatniego wyrazu:

Matko, w lesie są maliny,
                    liny

Następna litera wzorca również zgadza się z przeszukiwanym tekstem, mechanizm więc posuwa się dalej:

Matko, w lesie są maliny,
                    liny

i dalej

Matko, w lesie są maliny,
                    liny

i dalej, aż do ostatniego znaku wzorca:

Matko, w lesie są maliny,
                    liny

Gdybyś, drogi Czytelniku, pod kątem wystąpienia tego samego wzorca chciał przeszukać linijkę trzecią

Która więcej malin zbierze,

rzecz wyglądałaby następująco. Krok pierwszy:

Która więcej malin zbierze,
               liny

Drugi:

Która więcej malin zbierze,
               liny

Trzeci

Która więcej malin zbierze,
               liny

I zonk:

Która więcej malin zbierze,
               liny

Sam rozumiesz, spacja to nie jest y.

Z tej lekcji należy wyciągnąć dwa wnioski:

• mechanizm dopasowywania wzorców dopasowuje cały wzorzec, a nie jego fragment;
• i jest mu całkowicie obojętne, w którym miejscu tekstu dopasowanie wystąpi, nie musi to być ani na początku, ani na końcu tekstu (chyba, że explicite to mechanizmowi wskażemy, o czym później).

do góry ↑

5 Kropka

Znak kropki . pełni specjalną rolę w mechaznizmie wyrażeń regularnych — odpowiada on bowiem (prawie) dowolnemu znakowi.

Zmieniając więc rozpatrywane wcześniej wyrażenie na lin., dopasowalibyśmy nie tylko cztery ostatnie litery słowa maliny, ale również fragment słowa malin w trzecim wierszu strofki oraz następującą po nim spację:

Która więcej malin zbierze,
               lin.

Jedyne, czego kropka nie dopasowuje, to znak końca wiersza.

Przykład Gdyby więc przeszukiwany przez nas tekst wyglądał następująco

Matko, w lesie są maliny,
Niechaj idą w las dziewczyny,
Która więcej malin
zbierze,
Tę za żonę pan wybierze.

to mechanizm wyszukiwania wzorca działałby następująco

Która więcej malin<CR><LF>
               lin.

Podsumowując: kropka dopasowuje dowolny znak poza znakiem końca wiersza.

do góry ↑

6 Klasy znakowe

Klasy znakowe służą do wyszukiwania znaków, które spełniają (bądź nie spełniają, ale o tym później) pewien warunek; można powiedzieć, że klasy znakowe są pewnym szczególnym – uszczegółowionym – rodzajem kropki.

Chcąc użyć klasy znakowej możemy podać zakres, odwołać się do jednej z predefiniowanych klas znakowych, odwołać się do jednej z predefiniowanych klas POSIX albo użyć jednej z właściwości Unicode (do zrobienia, tego jest naprawdę sporo, chwilowo jedynie link do oficjalnej strony Unicode o właściwościach właśnie).

Ponieważ ta część strony jest stosunkowo długa, poniżej jest mały spis reści, który umożliwia skakanie po poszczególnych sekcjach niniejszej strony:

• zakresy;
• predefiniowane klasy znakowe;
• predefiniowane klasy POSIX;
• negacja;
• metaznaki a zakresy.

6.1 Zakresy

Zakres definiujemy za pomocą nawiasów kwadratowych, w których umieszczamy znaki, które chemy dopasować: [znaki]. I tak, wyrażenie regularne ko[cs] dopasuje słowa koc i kos (jak również skoczek i koszyczek), zaś [abcdefghijklmnopqrstuvwxyz] dopasuje dowolną (małą!) literę z alfabetu łacińskiego; w tym konkretnym przypadku, zamiast pracowicie wypisywać wszystkie znaki można napisac [a-z], osiągając ten sam efekt. Cyfrę szesnastkową dopasujemy, wpisując wzorzec [0-9A-Fa-f].

6.2 Predefiniowane klasy znakowe

W celu zaoszczędzenia czasu programistów (i zwykłych użytkowników również!) w PCRE wprowadzono następujące predefiniowane klasy znakowe, używanie których znakomicie ułatwia życie i zwiększa czytelność wyrażenia regularnego, co również nie jest bez znaczenia:

Przykład 1. Klasy znakowe a maliny

Przykładowo, weźmy tekst Która więcej malin zbierze oraz wzorzec malin\w. Mechanizm dopasuje pierszą część wzorca malin, by następnie zakończyć wyszukiwanie niepowodzeniem po napotkaniu znaku spacji. Z kolei wzorzec malin\s zostanie dopasowany do wspomnianego tekstu.

6.3 Predefiniowane klasy POSIX

Standard POSIX, zaimplementowany w BRE i ERE, definiuje własne klasy znakowe. Zapewniają one poprawną obsługę języków innych niż angielski (to miło, że twórcy standardu pomyśleli o innych narodach).

Poniżej umieściłem zestawienie wszystkich klas POSIX:

Zaletą klas jest, że dostosowują się one do ustawień lokalnych. I tak — przynajmniej teoretycznie — [[:word:]] dopasowuje nie tylko litery od a do z, ale również ą, ć i inne znaki diakrytyczne.

Warto w tym miejscu nadmienić, że klasy POSIX zawsze są wzięte w nawiasy kwadratowe, przez co, chcąc ich użyć jako wnętrze zakresu, musimy otoczyć je dodatkowymi nawiasami np. [[:word:]].

Przykład 2. Klasy znakowe a maliny — ale inaczej

Wzorzec malin\w może zostać zapisany jako malin[[:word:]], zaś wzorzec malin\s jako malin[[:space:]].

A dopasowanie cyfry szesnastkowej przy użyciu klas POSIX jest naprawdę bardzo proste :-)

6.4 Negacja

A co jeśli nie chcemy dopasować litery a? Proste. Wystarczy użyć znaku negacji, czyli daszka ^ w połączeniu z podaniem zakresu.

I tak [^a] dopasuje wszystkie znaki różne od litery a, [^\d] wszystko, co nie jest cyfrą (czyli odpowiada dokładnie wyrażeniu \D), zaś [^\da-fA-F] wszystko, co nie jest cyfrą szesnastkową.

6.5 Negowanie predefiniowanych klas znakowych

Ważna rzecz: wyrażenie [^\d\w] to nie to samo, co [\D\W]. Przykładowo, bowiem, pierwsze wyrażenie nie dopasuje znaku podkreślenia _ (ze względu na zanegowaną klasę \w), ale [\D\W] taki znak dopasuje. Dlaczego? Powiedzmy, że zostawiam to jako ćwiczenia dla Czytelnika (podpowiedź).

6.6 Metaznaki a zakresy

W tym miejscu dwie uwagi — ze względu na to, że zarówno -, ], jak i ^ mają specjalane znaczenie, jeśli umieścić je w nawiasach kwadratowych, dlatego też chcąc dopasować daszek ^ nie należy umieszczać go na początku; chcąc dopasować minus - najbezpieczniej umieścić go jako ostatni znak w zakresie, a zamykający nawias kwadratowy jako… pierwszy. I tak, []^-] dopasuje ], albo \^, albo -. Ewentualnie, jeśli ktoś ma życzenie, może uciec każdy z tych znaków. Slesz również musi być uciekany, zarówno w zakresie, jak i poza nim. Chcąc dopasować znak \ używamy wzorca \\.

Przykład 3. Klasy znakowe — to samo, ale inaczej

I tak, [-ac], [a\-c] oraz [ac-] są równoważnymi wzorcami, ale takie [a-c] już nie :-)

Pozostałe metaznaki traktowane są literalnie, to jest dosłownie. [.] nie dopasowuje zatem dowolnego znaku, a znak kropki.

do góry ↑

7 Powtórzenia

Znaki powtórzeń fachowo nazywają się kwantyfikatorami wyrażeń regularnych, co wcale nie oznacza, że tej ostatniej nazwy należy się rzymać. Ten rozdział miał pierwotnie być zatytułowany „Kwantyfikatory”, ale już podczas pisania przyszło mi na myśl, że ta nazwa bardziej odstraszy niż zachęci czytelników.

Znaki powtórzeń umożliwiają nam dopasowywanie dopasowywanie wielokrotnych wystąpień danego elementu wzorca. By dopasować liczbę czterocyfrową napiszemy \d\d\d\d, ale o wiele wygodniej — i bardziej elegancko — jest skrócić to wyrażenie do \d{4}, co tłumaczy się jako „dopasuj cyfrę dokładnie cztery razy”.

Znaki powtórzeń swym zasięgiem obejmują poprzedzający je znak lub ostatnią grupę znaków (grupa znaków to, hm, grupa znaków, która przez mechanizm wyrażeń regularnych traktowana jest jako całość i oznacza się ją za pomocą nawiasów (grupa znaków) [Podkreślam, że to wyrażenie w standardzie ERE albowiem ponieważ, w BRE należy uciekać nawiasy i klamry, pamiętasz?] ; wzięcie części wyrażenia regularnego w nawias oznacza (poza innymi konsekwencjami, o których dowiesz się później), że traktowana ona — ta część — będzie jako całość. Co to oznacza jest wyjaśnione poniżej.

Ograniczając się do samego mięsa, można powiedzieć, że są trzy podstawowe znaki powtórzeń: asterysk *, plus + i znak zapytania ? (smak BRE jest wyjątkowo ograniczony w tym kontekście i uznaje tylko symbol *). Dopasowują one, odpowiednio: 0 albo więcej razy, 1 albo więcej razy oraz 0 albo 1 razy.

7.1 Przykłady

Teraz są dość ważne rzeczy, więc tym razym przykłady stanowią osobną część rodziału.

Przykład 4. Kropka gwiazdka

Wyrażenie .* dopasowuje dowolny ciąg znaków. Kropka, jak wiesz, odpowiada (prawie) dowolnemu znakowi. Gwiazdka, jako znak powtórzenia, „łączy” się z poprzedzającym ją znakiem; innymi słowy wyrażenie o oznacza: „dopasuj (prawie) dowolne znaki dowolną liczbę razy”. „[D]owolną liczbę razy” oznacza w tym przypadku tak zero, jak i wiele razy. W szczególności do tego wzorca pasują linie puste, jak i te, które zawierają dowolne znaki.

Przykład 5. Słowa, słowa, słowa

Wyrażenie [\w._]+ wyłapuje słowa (jedno- lub więcej -literowe) , składające się cyfr, liter, podkreślenia i kropki. Uważny czytelnik zwróci uwagę na jeden istotny detal — kropka umieszczona w zakresie […] swoje specjalne znaczenie i nie rzeba jej uciekać.

Przykład 6. OŚ

Za pomocą ość? dopasujemy słowa oś oraz ość (jak również kość, koś, skośny i tak dalej). Znak zapytania ? możemy interpretować jako oznaczenie, że dany poprzedzający go znak (grupa znaków) jest opcjonalna, to jest może występować, ale niebo nie spadnie nikomu na głowę, jeśli w dopasowywanym wzorcu się nie pojawi.

Przykład 7. Wracamy do Balladyny

Grupa znaków wzięta w nawiasy traktowana jest jako całość i to do niej właśnie odwołuje się następujący po niej znak powtórzenia; przykładowo, wyrażenie maliny? dopasuje słowa malin, jak również mailny (pamiętasz? znak ? oznacza powtórzenie zero- lub jednokrotne). A wyrażenie mali(ny)? dopasuje słowa mali i maliny (ale nie malin!). Albowiem ponieważ znak ? w pierwszym przykładzie odwołuje się jedynie do litery y, a w drugim do całej grupy znaków ny.

7.2 Powtarzanie zakresu

Znak powtórzenia postawiony za zakresem obejmuje swoim działaniem cały zakres, a nie znak przez ten zakres dopasowany. Mówiąc po ludzku, [a-z]+ dopasuje zarówno kot, jak i ccc.

7.3 Klamerki

O powtórzeniach z góry zadaną liczbę razy już wspomniałem – to te oznaczane klamrami {liczba powtórzeń}. Można używać także klamerek o nieco bardziej ogólnym charakterze, pamiętając, że w BRE należy je uciekać:

<p>To jest kod <abbr>HTML</abbr> taki sobie↵
<em>tam</em>.</p>

A dokąd? A dokąd? A dokąd? Na wprost!