Ja, die sind noch zu retten - zumindest das "Herz" (die Mitte) sieht gut aus. Die Läuse die du beschreibt, dürften Schildläuse gewesen sein und warum die einfach verschwunden sind, kann ich dir nicht sagen. Zumindest legen sie keine Eier in die Blätter.
Agaven sind für gewöhnlich einfach handzuhaben. Ich stelle meine im Frühjahr raus und hole sie im Herbst wieder rein und stell sie in den Keller. Sie werden weder gedüngt, noch gegossen (auch nicht im Winterquartier). Sie bekommen eben soviel Wasser, was der Himmel hergibt.
Ich vermute, dass du deine zuviel gießt. Jetzt im Winter würde ich ihnen vielleicht einmal im Monat einen Schluck Wasser geben. Am besten beachtest du die beiden den ganzen Winter nicht mehr.
Im Frühjahr könntest du ihnen mal ein frisches Erde/Sandgemisch verpassen. Die Töpfe sind nämlich noch groß genug. Zieh dir aber Handschuhe und ein langärmeliges T-Shir an, ausser du willst aussehen, als hättest du mit einer Katze gekämpft.

Lass den Ableger ruhig drinnen. Den kannst du rausholen, wenn du ihnen das frische Erde/Sandgemisch im Frühjahr gibst. Düngen im Winter auf keinen Fall, erst wenn die Zwei wieder draußen sind. Da kannst du herkömmlichen Flüssigdünger verwenden. Im Winter vielleicht einmal im Monat gießen, die Agaven speichern sehr viel Wasser in den Blättern und können sich gut eine Weile selbst versorgen. Falls sie wirklich durstig sind, merkst du es daran, dass die Blätter runzelig werden. Der Kaffeesatz hat sie sicherlich nicht vergiftet, aber der Schimmel der sich darauf gebildet hat. Hoffe, du hast alles wieder entfernt.
Generell gilt für Pflanzen, dass man weiß, wo sie in der Natur in etwa wachsen. Die Agave ist zB eher im Süden anzutreffen, d.h. viel Sonne, wenig Wasser, sandiger Boden mit wenig Nährstoffen, trockene Luft, ... und solche Bedingungen musst du ihr bei dir zuhause so gut wie möglich auch schaffen. Hättest du eine tropische Pflanze wie zB eine Helikonie die im Regenwald beheimatet ist, dann würde das ganz anders aussehen. D.h. keine direkte Sonne, nährstoffreiche Erde, hohe Luftfeuchtigkeit,...
Im Prinzip ist das große "Geheimnis" bzw. der angebliche grüne Daumen. Man kennt die Bedürfnisse seiner Pflanzen, stellt diese her und somit wachsen sie auch gut.
Und wenn du jetzt genauer darüber nachdenkst, weißt du auch, was du alles falsch gemacht hast.