تأسست جمعية العلماء المسلمين الجزائريين يوم 5 مايو 1931 في (نادي الترقي) بالعاصمة جزائر إثر دعوة وجهت إلى كلعالم من علماء الإسلام في الجزائر, من طرف (هيئة مؤسسة) مؤلفة من أشخاص حياديينينتمون إلى نادي الترقي غير معروفين بالتطرف, لا يثير ذكرهم حساسية أو شكوكا لدىالحكومة, ولا عند الطرقيين. أعلنوا : أن الجمعية دينية تهذيبية تسعى لخدمة الدينوالمجتمع, لا تتدخل في السياسة ولا تشتغل بها.
لبّى الدعوة وحضر الاجتماعالتأسيسي أكثر من سبعين عالما, من مختلف جهات الجزائر ، ومن شتى الاتجاهات الدينيةوالمذهبية : (مالكيين واباضيين, مصلحين وطرقيين, موظفين وغير موظفين), وانتخبوامجلسا إداريا للجمعية من أكفأ الرجال علما وعملا, يتكون من ثلاثة عشر عضوا برئاسةالشيخ ابن باديس, الذي لم يحضر إلا في اليوم الأخير للاجتماع وباستدعاء خاص مؤكد, فكان انتخابه غيابيا.
لم يكن رئيس الجمعية ولا معظم أعضاء مجلسها الإداري منسكان العاصمة, لذلك عينوا (لجنة للعمل الدائم) ممن يقيمون بالعاصمة, تتألف من خمسةأعضاء برئاسة عمر إسماعيل, تتولى التنسيق بين الأعضاء, وتحفظ الوثائق, وتضبطالميزانية, وتحضر للاجتماعات الدورية للمجلس الإداري.
لم يحضر ابن باديسالاجتماع التأسيسي للجمعية من الأول, وكان وراء ذلك هدف يوضحه الشيخ خير الدين أحدالمؤسسين الذي حضر الجلسات العامة والخاصة لتأسيس الجمعية, يقول : "كنت أنا والشيخمبارك الميلي في مكتب ابن باديس بقسنطينة يوم دعا الشيخ أحد المصلحين (محمد عبابسةالاخضري) وطلب إليه أن يقوم بالدعوة إلى تأسيس (جمعية العلماء المسلمين الجزائريين) في العاصمة وكلفه أن يختار ثلة من (جماعة نادي الترقي) الذين لا يثير ذكر أسمائهمشكوك الحكومة, أو مخاوف أصحاب الزوايا, وتتولى هذه الجماعة توجيه الدعوة إلىالعلماء لتأسيس الجمعية (في نادي الترقي بالعاصمة) حتى يتم الاجتماع في هدوء وسلام, وتتحقق الغاية المرجوة من نجاح التأسيس. ويقول الشيخ خير الدين : "وأسر إلينا ابنباديس أنه سوف لا يلبي دعوة الاجتماع ولا يحضر يومه الأول حتى يقرر المجتمعوناستدعاءه ثانية بصفة رسمية, لحضور الاجتماع العام, فيكون بذلك مدعوا لا داعيا, وبذلك يتجنب ما سيكون من ردود فعل السلطة الفرنسية وأصحاب الزوايا, ومن يتحرجون منكل عمل يقوم به ابن باديس".
وهكذا تأسست الجمعية, وتشكل مجلسها الإداري المنبثقعن الاجتماع العام, وانطلق نشاط الجمعية في تنفيذ برنامجها الذي كان قد ضبط محاورهالإمام ابن باديس في الاجتماع الذي عقد عام 1928 مع صفوة من العلماء الذين رجعوا منالمشرق ومن تونس, والذي سبق ذكره, واستجاب الشعب لهذا البرنامج, وبدا يؤسس المساجدوينشئ المدارس والنوادي بأمواله الخاصة, ويستقبل العلماء ويُيَسر لهم الاضطلاعبمهمتهم.
وحتى يسهل الإشراف على متابعة العمل الإصلاحي, وتنشيط العمل التربوي, الذي يقدم في المدارس الحرة, التي بدأت تنتشر في أرجاء القطر, كلف الإمام عبدالحميد بن باديس باقتراح من الجمعية الشيخ الطيب العقبي بأن يتولى الإشراف علىالعمل الذي يجري في العاصمة وما جاورها, وكلف الشيخ البشير الإبراهيمي بأن يتولىالعمل الذي يجري بالجهة الغربية من البلاد, انطلاقا من تلمسان, وأبقى بقسنطينة وماجاورها تحت إشرافه شخصيا, وهكذا تقاسم الثلاثة العمل في القطر كله.
وتنفيذا لماتضمنهالقانون الأساسي للجمعية تم إحداث فروع لها (شعب) في جهات مختلفة من القطر, ففي السنة الأولى تم تأسيس 22 شعبة, وفي سنة 1936 كان عدد الشعب 33 شعبة, أما فيسنة 1938 فقد تطور العدد إلى 58 شعبة, واستمر هذا الجهد التعليمي والإصلاحي رغمالعراقيل والاضطهاد الذي كان العلماء والمعلمون عرضة له, ولكن الملاحظة التي يجبتسجيلها هنا هي أن الشعب أقبل على التعليم الحر بكيفية خارقة للعادة, لذلك انتشرتالمدارس في جميع مدن الجزائر وقراها
وبعد مضي ست سنوات من عمر الجمعية, بادرالإمام عبد الحميد بن باديس بوضع إطار حرّ وشامل للجمعية وهو أشبه بميثاق أو دستوروضعه لتسير على هديه الجمعية في نشاطها الإصلاحي والتعليمي, فحدد من خلال هذاالإطار ما اسماه "بدعوة جمعية العلماء وأصولها" ونشره في مجلة الشهاب العدد الرابع, المجلد الثالث عشر في جوان 1937 ثم طبع ووزع على العموم.
