What is faceted search?

Faceted search is a technique for searching through a set of products or items with the help of specific filters. Every product in a catalog has certain properties on which these filters are based. Large websites such as amazon.com and bol.com use faceted search. The exact implementation on these websites differs (Amazon sometimes doesn’t show the number of products that can be found by applying the filter), but the main technique is the same.

Implement a faceted search on your own website

So how can you implement the faceted search technique on your website? Before we will dive into this technique, let’s identify some challenges first:

1. Performance with many products. Visitors don’t want to wait too long to view the result of applying filters

2. Clean URL-structure. Instead of getting URLs like ../?cat=3124&brand=2411&memory=321, it would be better to have URLs like .../tablets/apple/16gb/...

3. SEO friendly. You don’t want to make every filter indexable by Google.

OK, let’s start. As an example we will use a simple webshop that is selling electronic devices, such as tablets. In their catalog every product has properties which belong to a single property-type:

• Brand (Apple, Samsung, HTC, etc)
• Memory size (8GB, 16GB, 32GB, etc)
• Colour (White, Black, etc)
• Ram (512mb, 1GB, 2GB, etc)
• Webcam (1MP, 2MP, 3,2MP)

In this example the PropertyTypes are: brand, memory, colour, ram and webcam. The properties itself are Apple, Samsung, 8GB, White, etc. To store the products with their properties, we will use the following tables:

Products (id, productname)
 PropertyTypes (id, name)
 Properties (id, name, propertytype_id)
 ProductsProperties (product_id, property_id)

Searching the catalog for products

Getting all products from the catalog is quite easy: just select all products:

SELECT * FROM products;

But, what will happen if three filters are selected (for instance: 16GB, Black, 3,2MP)? The most straightforward solution is to join products with properties three times (for every filter once!). However, when the number of resulting products is large, such a query can be painfully slow because the intermediate result of joining ProductsProperties can be very, very big! Instead of joining ProductsProperties for every selected filter we will use a trick here: we will select all rows in ProductsProperties which has one of the selected filters. Next, we will group the resulting rows on product_id and select the sum of this grouping. The query will be something like:

SELECT SUM(product_id) as total, product_id FROM ProductsProperties JOIN properties ON properties.id = productsproperties.property_id WHERE properties.name = ‘16GB’ OR properties.name=’Black’ OR properties.name = ‘3,2MP’ GROUP BY product_id;

The result:

The column ‘total’ expresses how many filters are matched with our search. So, only the products who have a total of 3 are the products we are looking for. This query is substantially faster because there is only one join which cannot make the intermediate result any bigger than the ProductsProperties table already is (N:1 relation)!

So, our first challenge is solved! Getting the appropriate products from the database is quite easy now! In the next part we will cover our second challenge and explain how you can implement the filters on your website.

Waarom?

Sinds jaar en dag zorgen wij ervoor dat onze klanten meegaan met de tijd. HTML5, responsive designs, API integratie en noem het maar op. Het werd tijd dat we onze eigen website ook eens zouden opfrissen. Vanaf nu is dus ook onze eigen website voorzien van de nieuwste technieken.

Waar moet ik zijn?

De structuur van de website is heel eenvoudig geworden. Alles over wat wij doen en wie wij zijn is te vinden onder over ons. De projecten waar we in meer dan vijf jaar aan hebben gewerkt zijn te vinden in de portfolio. Tevens hebben we enkele projecten uitgelicht, lees bijvoorbeeld alles over The Perfect Wedding. Mocht je nog niet weten waar we te vinden zijn, bezoek dan snel onze contactpagina.

Na zoeken bleek Shopp een aantal modellen die werden aangeroepen niet meer te gebruiken. Shopp heeft deze modellen echter wel laten staan, waardoor het lastig werd om het probleem te vinden. Om de plugin weer goed te laten werken zul je een aantal aanroepen moeten doen naar nieuwe API-functies van Shopp. Om de plugin werkend te maken, dienen de volgende handelingen te worden verricht in het bestand iDealMollie.php:

$Shopp->Order->transaction($_['transaction_id'],'CHARGED');

dient vervangen te worden door de volgende regels code:

if(empty($Purchase->id)){        
    shopp_add_order_event(false, 'purchase',
      array(
        'gateway' => $this->module,
        'txnid' => $_GET['transaction_id']
      )
    );            

    $Purchase = new Purchase($_GET['transaction_id'],
       'txnid');        

    shopp_add_order_event($Purchase->id,'captured',
      array(
        'txnid' => $_GET['transaction_id'],
        'amount' => $Purchase->total,
        'fees' => $this->fees,
        'gateway' => $Purchase->gateway
      )
    );

    $Shopp->Order->notify();
    $Shopp->Order->success();

}

De nieuwe ThePerfectWedding.nl is gebouwd op de fundamenten van Zend Framework. Alle functionaliteit is door ons vanaf scratch geschreven. Het blog, de bedrijvengids, fotogalerijen, merkenpagina's,  bedrijfsprofielen en ga zo maar door...Wat te denken van automatisch op kleur getagde foto's? Of op de kilometer nauwkeurig zoeken in de bedrijvengids? Het zit er al-le-maal in.

Gedurende de hele ontwikkeling hebben we nauw overlegd met Sarah en Lodewijk van ThePerfectWedding. We hebben dan ook niet alleen de frontend aangepakt. Ook de gehele backend is herschreven en vormt nu een solide geheel met de frontend en maakt bovendien de dagelijkse werkzaamheden van TPW een beetje makkelijker. Zo zijn er koppelingen gemaakt tussen de software van 37signals en het door ons geschreven Zend CMS om de dagelijkse administratie net dat beetje handiger en sneller te maken.

Bovendien zijn alle duizenden blogs en bedrijven van de oude TPW-site overgezet in het nieuwe systeem. ThePerfectWedding.nl staat dus nu al boordevol interessante content. Wij wensen het team van ThePerfectWedding ontzettend veel plezier met de nieuwe site en kijken uit naar toekomstige samenwerkingsverbanden. Bekijk de site zelf eens. Wat vind je ervan?

#!/bin/bash
if [[ $1 == "" ]]; then
        echo $0 " "
        exit -1
fi

tocompress=`cd $1/cur/ && find . -iname '*,S=*[^Z]'`

for mail in $tocompress; do
        echo "gzipping $1/cur/$mail to $1/tmp/${mail}Z"
        gzip -S Z "$1/cur/$mail" -c > "$1/tmp/${mail}Z"
        echo "setting mtime"
        touch -r "$1/cur/$mail" "$1/tmp/${mail}Z"
done

echo "aquiring maildirlock"
if PID=`/usr/lib/dovecot/maildirlock $1/cur 20`; then
        #locking successfull, moving compressed files
        for mail in $tocompress; do
                mv $1/tmp/${mail}Z $1/cur/
                rm $1/cur/${mail}
        done
        kill $PID
else
        echo "lock failed"
        exit -1
fi

Make sure you enable the zlib plugin in your Dovecot config (as described in the wiki).