Le narguilé se compose de plusieurs parties : la cheminée, le bol supérieur, le corps (ou réservoir), la pipe immergée et le tuyau. Le narguilé peut également posséder un plateau situé entre la cheminée et le bol supérieur .
Le bol (aussi appelé foyer) contient le tabac (qui est en partie humidifié) et le charbon, qui est posé par dessus. Le bol se pose au sommet de la cheminée. Le corps du narguilé est rempli d'eau à moitié de sa hauteur, et de l'eau de rose ou d'autres additifs destinés à donner du gout peuvent être ajoutés. La pipe immergée est ensuite placée dans le réservoir, et reliée à la cheminée et au tuyau. La fumée du tabac passe par l'eau et est filtrée dans celle-ci avant d'atteindre la bouche du fumeur, qui aspire dans le tuyau prévu à cet effet. L'eau est changée régulièrement pour en retirer les résidus de tabac[1].
Le tabac utilisé dans les narguilés est un mélange spécialement conçu à cet effet : le mélange utilisé a l'apparence d'une pâte humide, composé d'environ 30 % de tabac, qui est fermenté avec environ 70 % de mélasse, de miel et de la pulpe de différents fruits, qui sont destinés à donner une saveur et un arôme fruité au tabac fumé dans le narguilé[2]. On trouve des tabacs à tous les goûts: de la pomme à la cerise, de la menthe aux multifruits, et même le capuccino ou le cola[réf. nécessaire]. Le tabac brûle dans le narguilé à la température d'environ 450 °C [3],[2].
Les réservoirs sont de formes diverses (en forme de noix de coco ou autres) et peuvent être ouvragés en métal, en cristal, en verre, en cuivre ou en poterie[1].. Certains sont réhaussés de dorures ou de parties argentées. Les parties métalliques du narguilé sont le plus souvent finement ciselées. Certains tuyaux sont également décorés. Enfin, le plateau du narguilé est lui aussi richement décoré (avec des perles, comme en Syrie) et ciselé. Les formes des narguilés sont très diverses et les décorations (qui vont de la plus "touristique" à la plus raffinée) reflètent les influences décoratives de la région où ils sont fabriqués. Le mécanisme du narguilé permet d'envisager une utilisation simultanée du même appareil par plusieurs fumeurs, comme cela se voit parfois en dehors des sociétés où son usage est traditionnel et où l'instrument peut être au cœur d'une pratique sociale commune.