Воссоздаваемому вермахту в 1934 году понадобился лёгкий танк с противотанковым вооружением в качестве замены PzKpfw I с пулемётным вооружением. Разработка такого танка была поручена фирмам «Krupp», «Henschel» и «MAN». Из соображений внешней политики танк поначалу скрывали под «гражданским» названием «сельскохозяйственный трактор LaS 100».

Первые прототипы были изготовлены в октябре 1935 года. С мая 1936 по февраль 1937 года было изготовлено 75 танков. Ходовая часть танка состояла из шести опорных катков малого диаметра, которые были сгруппированы в три тележки на борт. Эта первая модификация, запущенная в опытную серию, делилась на три подмодификации — a/1, a/2 и a/3, в каждой из которых было изготовлено по 25 машин. Эти модификации по сути являлись испытательными стендами для проверки отдельных технических решений. Так, PzKpfw II Ausf a/2 имел сварной ленивец и противопожарные стенки моторного отделения. В танках PzKpfw II Ausf a/3 был увеличен радиатор системы охлаждения и усилены пружины подвески. Боевая масса танка составила 7,6 т.

Весной 1937 года была произведена доработка танка (усовершенствована трансмиссия и ходовая часть, получившая новое направляющее колесо, широкие опорные катки и поддерживающие ролики; установлен более мощный двигатель с усовершенствованной системой охлаждения). В результате появилась модификация PzKpfw II Ausf b. Масса танка составила 7,9 т. Фирма «Хеншель» изготовила третью опытную модификацию — PzKpfw II Ausf с. Ходовая часть получила пять опорных катков среднего диаметра на индивидуальной подвеске в виде четвертьэллиптических рессор. Всего было произведено по 25 танков модификаций b и c.