سلام مجدد، بالاخره تونستم با راهنمایی شما مشکل رو حل کنم البته کدها رو به این شکل تغییر دادم (به عنوان مثال برای عمل جمع)
BigInt result;
result = previousVal + currentVal;
ui->resultdisplay->setText(result.to_string().c_str());
و دستور زیر رو حذف کردم:
//ui->resultdisplay->setText(ui->resultdisplay->text()+QString::number(currentVal)+"="+QString::number(previousVal + currentVal));
سپاس از شما