Что ты будешь в дальнейшем делать с символами и числами: как - то обрабатывать или просто выведешь на консоль и программа завершиться? Смотря для чего эта матрица - я скажу как можно сделать.
а почему бы просто не сделать динамический массив из типа чар? По-другому не получится. если массив будет int то чар ты в него никак не запишешь на стадии готовой программы разумеется. На стадии разработки, даже если у тебя будет шаблонная функция по созданию массива, то создав массив типа инт ты все равно не сможешь записать в него чар переменную... Точнее в массив будет поступать его числовое значение. Если массив будет типа чар - таких проблем не возникнет. так как легально хранить в таком массиве любые символы аски.