📚KdNet 实验代码记录📝

最近在研究知识蒸馏（Knowledge Distillation）相关的内容时，我搭建了一个小项目——KdNet。这是一个专注于轻量级模型优化与高效训练的小型框架。✨

首先，我在 Jupyter Notebook 中完成了基础环境配置，包括安装必要的依赖库如 PyTorch 和 TensorFlow。接着，我设计了一个简单的实验流程：从数据预处理开始，逐步构建教师模型和学生模型。🔍📈

实验中使用了经典的 MNIST 数据集进行测试，通过调整超参数来观察不同网络结构对模型性能的影响。值得注意的是，在知识蒸馏过程中，软目标（Soft Targets）确实能有效提升学生模型的表现！🌟

目前，我已经初步实现了模型压缩的目标，并记录下每一步的代码细节与运行结果。后续计划进一步探索自定义损失函数以及动态蒸馏策略，期待带来更惊艳的效果！🚀

深度学习 机器学习 知识蒸馏 实验记录