Wegen der französischen Besetzung Hamburgs zog die Familie 1811 nach Berlin. Hier erhielten Felix und Fanny den ersten Musikunterricht von ihrer Mutter. Später erhielten sie auch Unterricht in Komposition bei Carl Friedrich Zelter, in Klavier bei Ludwig Berger und auf der Violine bei Carl Wilhelm Henning; ihre allgemeine Ausbildung erhielten sie von Karl Wilhelm Ludwig Heyse, dem Vater des Schriftstellers Paul Heyse.
In der Öffentlichkeit trat Felix erstmals am 24. Oktober 1818 auf, als Neunjähriger. Im April des darauf folgenden Jahres trat er als Altsänger in die Sing-Akademie zu Berlin ein, wo er unter Zelters Leitung ernste ältere Kirchenmusik studierte. Im Jahr darauf begann er mit außergewöhnlicher Schnelligkeit zu komponieren. Allein in jenem Jahr schrieb er fast sechzig Sätze, darunter Lieder, Klaviersonaten, ein Klaviertrio, eine Sonate für Violine und Klavier, Orgelstücke und sogar ein kleines dramatisches Stück in drei Szenen. 1821 schuf er, um nur einige Werke zu nennen, fünf dreisätzige Streichersinfonien, vierstimmige Motetten, die einaktigen Singspiele Soldatenliebschaft und Die beiden Pädagogen, sowie Teile des Singspiels Die wandernden Komödianten.
1821 besuchte Mendelssohn als Zwölfjähriger zusammen mit Zelter erstmals Goethe, mit dem er sechzehn Tage in Weimar verbrachte. Ebenfalls in das Jahr 1821 fällt seine erste Bekanntschaft mit Carl Maria von Weber, der in Berlin die Aufführung seines Freischütz leitete. 1822 traf er in Kassel Ludwig Spohr. Während dieses Jahres war er noch produktiver und schrieb die Oper Die beiden Neffen oder der Onkel aus Boston und ein Klavierkonzert.
1825 reiste Felix mit seinem Vater nach Paris. Bei der Gelegenheit kam er mit Cherubini, Rossini und Meyerbeer zusammen. Felix kehrte mit seinem Vater im Mai 1825 nach Berlin zurück und unterbrach seine Reise für einen zweiten Besuch bei Goethe, in dessen Haus er sein Quartett in h-Moll vorführte, das Goethe gewidmet war und für das er viel Beifall erhielt.
Bald nach der Rückkehr aus Paris zog Abraham Mendelssohn in die Leipziger Straße 3 um, ein geräumiges, altmodisches Haus mit einem hervorragenden Musikzimmer und einem Gartenhaus, in dem bei den sonntäglichen Konzerten mehrere hundert Personen zuhören konnten. Im Herbst des folgenden Jahres kam es hier zur ersten Aufführung der Sommernachtstraum-Ouvertüre. Die Partitur dieser berühmten Komposition ist mit „Berlin, 6. August 1826“ datiert; Mendelssohn war zu dem Zeitpunkt also siebzehn Jahre alt. Mendelssohn gründete einen Chor zum Studium der Chorwerke Johann Sebastian Bachs (der große Thomaskantor war damals der Öffentlichkeit nahezu unbekannt); bereits 1823 hatte er von seiner Großmutter Babette Salomon eine Abschrift der Matthäuspassion geschenkt bekommen. Vor allem Carl Friedrich Zelter hatte Mendelssohn das bachsche Opus mit seinem Unterricht und der Probenarbeit nahe gebracht. Gemeinsam mit Eduard Devrient setzte Mendelssohn gegen Zelters anfänglichen Widerstand 1829 bei der Sing-Akademie eine öffentliche Aufführung der gekürzten und für diesen Anlass bearbeiteten Matthäuspassion unter seiner Leitung durch. Es war die erste Wiederaufführung der Passion seit Bachs Tod. Zelter hatte früher schon mit der Sing-Akademie einzelne Teile der Passion einstudiert, hatte eine Gesamtaufführung jedoch für undurchführbar gehalten. Die Aufführung war so erfolgreich, dass sie noch zweimal wiederholt werden musste. Nach neueren Erkenntnissen aus der Analyse der Aufführungspartitur handelte es sich keineswegs um eine „stark romantisierende“ Aufführung. Allerdings strich Mendelssohn einige Rezitative, Choräle und Arien, um Ausführende und Publikum nicht zu überfordern. Auch mussten einige Instrumente umbesetzt werden, die nicht zur Verfügung standen: Mendelssohn selbst spielte den Basso continuo auf dem Hammerflügel, die Oboen d'amore wurden durch Klarinetten, die Oboen da caccia durch Violinen ersetzt. Devrient sang die Partie des Jesus.
Im April 1829 reiste Mendelssohn erstmals nach London und wurde enthusiastisch aufgenommen. Seinen ersten Auftritt vor englischem Publikum hatte er bei einem der Konzerte der Philharmonic Society, bei dem er am 25. Mai seine Sinfonie c-Moll vom Klavier aus dirigierte. Am 30. Mai spielte er Webers Konzertstück, am 25. Juni Beethovens Klavierkonzert Es-Dur (das vorher noch nicht in England aufgeführt worden war) und erstmals die Sommernachtstraum-Ouvertüre. Bei der Rückkehr vom Konzert nach Hause wurde die Partitur der Ouvertüre in einer Droschke liegen gelassen, woraufhin Mendelssohn sie aus der Erinnerung ohne Fehler noch einmal zu Papier brachte. Bei einem weiteren Konzert spielte er mit Moscheles sein noch unveröffentlichtes Konzert in E-Dur für zwei Klaviere und Orchester.
Nach dem Abschluss der Saison reiste Mendelssohn mit Klingemann durch Schottland, wo er zu seiner Hebriden-Ouvertüre und der Schottischen Sinfonie inspiriert wurde. Ende November kehrte er nach Berlin zurück.
Der Besuch in England bildete den ersten Teil eines umfassenden Reiseprogramms, das ihn sein Vater in alle wichtigen Kunstzentren Europas durchführen ließ. Nachdem er eine Professur in Berlin abgelehnt hatte, machte er sich im Mai 1830 wieder nach Italien auf.
Als er während seiner Rückkehr im Oktober 1831 durch München kam, komponierte und spielte er sein Klavierkonzert g-Moll und nahm einen (nie erfüllten) Auftrag für eine Oper am Münchner Theater an. Nachdem er in Stuttgart, Frankfurt am Main und Düsseldorf Halt gemacht hatte, kam er im Dezember nach Paris. Hier verbrachte er vier Monate, frischte die alten Bekanntschaften von 1825 wieder auf und hatte engen Kontakt mit Liszt und Chopin. Am 19. Februar 1832 wurde die Sommernachtstraum-Ouvertüre am Conservatoire gespielt und viele seiner anderen Kompositionen der Öffentlichkeit vorgestellt. Am 23. April 1832 war er wieder in London, wo er bei den Philharmonic Concerts zweimal sein Konzert g-Moll gab, an der Orgel in St. Paul’s spielte und den ersten Band seiner Lieder ohne Worte veröffentlichte. Er kehrte im Juli nach Berlin zurück und führte im Winter seine Reformationssinfonie, sein Konzert g-Moll und seine Walpurgisnacht öffentlich auf.
Felix Mendelssohn wollte in den nächsten Jahren keine feste, bindende Stellung annehmen. Auf Drängen seines Vaters bewarb er sich trotzdem auf die durch den Tod Zelters freigewordene Position des Direktors der Sing-Akademie zu Berlin. Bei der Abstimmung der Mitglieder unterlag er aber dem langjährigen Vizedirektor Carl Friedrich Rungenhagen.
Im Frühjahr 1833 stattete er London einen dritten Besuch ab, um seine Italienische Sinfonie zu leiten, die erstmals am 13. Mai von der Philharmonic Society gespielt wurde. Am 26. des gleichen Monats dirigierte er die Aufführungen beim Niederrheinischen Musikfest in Düsseldorf mit so großem Erfolg, dass ihm sogleich die Ernennung zum Generalmusikdirektor der Stadt angeboten wurde. Das Amt umfasste die Leitung der Musik in den Hauptkirchen, am Theater und in den Räumen zweier musikalischer Vereinigungen.
Seine Arbeit machte bei der Kirchenmusik und im Konzertsaal einen guten Eindruck, aber seine Beziehungen zum Management des Theaters, das er gemeinsam mit Immermann leiten sollte, waren wenig erfreulich. Vielleicht wegen dieser Umstände begann er sich von der Oper ab- und mehr der Kirchenmusik zuzuwenden.
Mendelssohn leitete in diesen Jahren auch die Chorvereinigung des Frankfurter Cäcilien-Vereins. Er war diesem Chor und seinem Leiter Johann Nepomuk Schelble seit vielen Jahren sehr verbunden und fühlte sich deshalb verpflichtet, den Proben- und Konzertbetrieb, der seit einer schweren Erkrankung Schelbles darniederlag, baldmöglichst fortzuführen. Auf Ersuchen des Cäcilien-Vereins komponierte er die Ouvertüre Das Märchen von der schönen Melusine und plante einige weitere wichtige Werke. Der Aufenthalt in Frankfurt verhalf Mendelssohn auch zu einer persönlichen freundschaftlichen Begegnung mit dem bedeutenden Opernkomponisten Gioacchino Rossini, der dort für einige Tage logierte.
In Düsseldorf entwarf er das berühmte Oratorium Paulus nach dem Leben des heiligen Paulus. Er mochte sein Amt und hätte es wahrscheinlich wesentlich länger behalten, wenn ihm nicht die permanente Leitung der Gewandhauskonzerte in Leipzig angeboten worden wäre, die ihn in eine der höchsten Stellungen brachte, die man damals in der deutschen Musikwelt erreichen konnte.
Im August 1835 ging Mendelssohn nach Leipzig und gab am 4. Oktober das erste Konzert im Gewandhaus mit seiner Ouvertüre Meeresstille und Glückliche Fahrt, die verglichen mit seinen anderen Ouvertüren heutzutage wenig Beachtung findet.
Inzwischen kam er mit seinem ersten Oratorium (dem Paulus) voran und führte es am 22. Mai 1836 beim Niederrheinischen Musikfest in Düsseldorf erstmals auf. Am 3. Oktober wurde es in Liverpool von Sir George Smart erstmalig in der englischen Fassung dirigiert und am 16. März 1837 wiederum von Mendelssohn in Leipzig.