Uşak’ta doğdu, ilk ve orta öğrenimini burada yaptı. On bir yıl kadar medreseye devam ettikten sonra 1905’te İstanbul’a gitti. Şehzade Camii’nde iki yıl Çarşambalı Hacı Ahmed Efendi’nin derslerini takip etti. Daha sonra imtihanla Dârülmuallimîn’e girdi, 1908’de buradan mezun oldu. Bu arada medrese derslerine de devam etti ve Ahmed Efendi’den icâzet aldı (1909). 1909-1919 yılları arasında sırasıyla Konya Muallim Mektebi’nde öğretmenlik, Trabzon ve Ankara Muallim mekteplerinde müdürlük, İstanbul’da Dârüşşafaka’da öğretmenlik, Konya Muallim Mektebi’nde müdürlük yaptı. Maraş, İçel, Niğde ve tekrar İçel’de Millî Eğitim müdürlüğü görevlerinde bulundu. Millî Mücadele yıllarında bazı siyasî faaliyetlere de katılan Atalay, 1919’da Silifke’de Müdâfaa-i Hukuk Cemiyeti’nin kurulmasında önemli rol oynadı. Uşak’ta İstiklâl Savaşı’nı destekleyen çalışmalar yaptı. 1920’de Maarif Vekâleti hars müdürü oldu; aynı yıl I. Büyük Millet Meclisi’ne Kütahya milletvekili olarak girdi. Daha sonra üç devre Aksaray, üç devre de Kütahya milletvekili seçildi. 12 Temmuz 1932’de kurulan Türk Dili Tetkik Cemiyeti’nin 26 Eylül 1932’de gerçekleştirdiği I. Türk Dil Kurultayı’nda merkez heyeti muhasibi seçildi. Adı sonradan Türk Dil Kurumu olarak değiştirilen bu müessesede on sekiz yıl merkez heyeti üyesi olarak çalıştı. Sonraları bu kurumun çalışmalarını beğenmeyerek karşı çıktı ve 1949’da kendi isteğiyle Türk Dil Kurumu’ndan ayrıldı. 1937-1942 yılları arasında Dil ve Tarih-Coğrafya Fakültesi ile Polis Enstitüsü’nde Farsça dersleri okuttu. Bazı nâdir yazmaları da ihtiva eden kütüphanesini Millî Kütüphane’ye, Türk folkloruna ait pek çok eşya ile levhalarını ise Etnografya Müzesi’ne bağışladı. 7 Kasım 1965’te Ankara’da öldü.
     Asıl şöhretini Türk dili sahasında yayımladığı tercüme ve telif eserlerle yapan Besim Atalay’ın faaliyetleri arasında en önemlisi Dîvânü lugati’t-Türk tercümesidir (bk. DÎVÂNÜ LUGATİ’t-TÜRK). Kur’ân-ı Kerîm’i Türkçe’ye tercüme eden ve bazı dinî eserler de kaleme alan Atalay’ın diğer eserlerinin bazıları Türk dili için faydalı çalışmalardır.
     Belli başlı eserleri şunlardır:
1. Maraş Tarihi ve Coğrafyası (Ankara 1339),
2. Bektâşilik ve Edebiyatı (İstanbul 1340),
3. Müslümanlara Öğütler (Trabzon 1342),
4. Türk Dili Kuralları (Ankara 1931),
5. Türk Dilinde Ekler ve Kökler Üzerine Bir Deneme (Ankara 1941),
6. Divanü lûgati’t-Türk Tercümesi (I-III, Ankara 1939-1941),
7. Divanü lûgati’t-Türk Dizini (Ankara 1943)