Ce sont trois lettres de femmes, trois regards sur un homme qu’elles ont connu à divers titres. La première, la « Lettre de Shoko », lui a été envoyée par la fille d’une femme qu’il a aimée en secret. Le jour où celle-ci est morte, en cachette, Shoko a lu le Journal que sa mère lui demandait de brûler. Elle espérait y trouver la raison du divorce de ses parents, sur lequel sa mère n’avait jamais voulu s’expliquer. La découverte de leur liaison la bouleverse. Que tout cela se soit passé à son insu, mais aussi à l’insu de Midori, la cousine et l’amie de sa mère, l’épouse de Josuke, la scandalise.
La « Lettre de Midori » éclaire tout autrement la situation. « Quand nous jetons un regard sur le passé, notre mariage, qui n’existe que de nom, semble avoir duré très longtemps, n’est-ce pas ? Alors, n’as-tu pas envie d’en finir une fois pour toutes ? Certes, il est assez triste d’en arriver là, mais, si tu n’y vois pas d’objection, prenons tous deux les mesures propres à recouvrer notre liberté. » Midori elle-même s’est entichée d’autres hommes, avec insouciance. Sans faux-fuyant, elle compose une lettre d’adieu et demande le divorce. Elle raconte à son mari sa dernière entrevue cruciale avec Saïko, sans rien épargner à l’homme qui se tint entre elles deux.
Saïko est l’auteur de la troisième missive, « Lettre de Saïko », un message posthume. « Comme si tu entendais ma voix, cette lettre te dira mes pensées, mes sentiments, des choses que tu ignores. Ce sera comme si nous bavardions, comme si tu entendais ma voix. Tu vas être bien étonné, et sans doute affligé, et tu vas m’en vouloir. » La maîtresse de Josuke dit à quel point l'ont obsédée les mots « amour », « péché » et « mort ».
La force du roman, dont l’intensité croît de lettre en lettre, réside dans le biais choisi pour raconter cette tragédie d’amour. Chacune des femmes y exprime ce qu’elle ressent mais pas seulement. Chaque lettre évoque des moments forts, des lieux précis, des vêtements particuliers, des gestes uniques, avec poésie bien que dans une langue économe. A travers ces confidences, le lecteur entre dans l’intimité des personnages, qu’ils aient choisi de vivre pleinement leurs sentiments ou d’y renoncer.
Le titre, Le fusil de chasse, semble éloigné du sujet, mais ce fusil a sa place dans le récit, et on comprend finalement pourquoi Josuke Misugi, le destinataire des trois lettres, affirme dans le prologue sa conviction d’être le personnage du poème éponyme : « Que diriez-vous si je vous avouais que l’homme dont vous avez parlé dans votre poème n’est personne d’autre que moi ? »