Σε ένα μεγάλο τηγάνι βάζουμε το ελαιόλαδο και το κρεμμύδι και την πιπεριά και σιγομαγειρεύουμε για 4-5 λεπτά. Μετά προσθέτουμε τα μύδια, το σκόρδο, αλάτι, πιπέρι, ρίγανη, μαϊντανό και μαγειρεύουμε 2-3 λεπτά ακόμη. Έπειτα προσθέτουμε το κρασί και τη μουστάρδα και συνεχίζουμε το μαγείρεμα για όση ώρα χρειαστεί μέχρι να δέσει η σάλτσα μας. 1 λεπτό πριν βγάλουμε από τη φωτιά, προσθέτουμε τη φέτα και το λεμόνι, ανακατεύουμε και σερβίρουμε.