📘 Model Master Bootcamp · Mentorship Notes (No.3)

日本語>>

Theme: Advanced Optimization: Visual Quality, Consistency & Adaptability

In this final edition of the [Model Master Bootcamp] Mentorship Notes, we tackle the "refining" stage.

How do you make your lines as silky as a masterpiece? How do you ensure your character doesn't "change faces" across different generations? Mentors @grayman and @shishu will share their secrets on decoupling, style retention, and model stability. Let's push your LoRA to its absolute limit!

IV. Art Style and Image Control

Q1: What is the secret to successfully replicating a specific art style? — プリオケ空野みなもプリンセスリップル

Mentor @grayman: 

It's mostly about your dataset. If you want to recreate a style, your dataset should include various images of that exact same style. For example, if all of your images are just female portraits, it wouldn't be a good style LoRA unless you use it to generate female portraits. You should add many type composition to teach the style to AI. Also you should have good captionings for images and have good parameters for style LoRA.

Mentor @shishu:

• Dataset Unity: Your source materials must be highly unified; do not mix multiple art styles.
• Tag Reinforcement: Strengthen style-specific tags, such as sketch, line art, or watercolor.
• Base Model Selection: Train with a base model that matches the target style (e.g., use anime models for 2D styles and realistic models for photorealistic styles).

Q2: Secrets to keeping images clean: How to denoise and achieve silky-smooth lines? — Yo K, Md Saddam Hossain, [email protected]

Mentor @grayman: 

Dataset images must be sharp and they have to be in correct resolution in most cases you won't get blurry images if LoRA is not undertrained. Parameters are also great factor at "how clean will results be?" You need to learn what parameter does what and set them up for your needs. Someone already asked so i have them answer for standart recommended parameters and wrote explanations. You can ask team to give it to you or directly ask to me.

Mentor @shishu:

• Overall Cleanliness: Clean source materials + simple backgrounds + concise tagging + strictly avoid overtraining.
• Denoising: Incorporate high-quality tags during training and completely exclude low-resolution or blurry images from your dataset.
• Silky Lines: 1. Dataset Choice: Use high-quality vector art or HD illustrations with clear lines and no aliasing (jagged edges). 2. Training Parameters: Lower the learning rate (e.g., 1e-5) and increase the Epochs (30+) to allow the model to fully refine line details. 3. Model Match: Select base models known for strong line performance (such as specialized anime checkpoints).

V. Character Consistency

Q1: How to maintain high consistency for character faces and features? — felix213_12326

Mentor @grayman: 

Consistency of characters usually related to how you tag your dataset images. If it's a part you want to be consistent: Let's take Frieren for example. You shouldn't add tags like "white hair, green eyes, elf ears" so AI will learn that these parts of images are related to trigger word and when you write your trigger word "frieren" it will generate all of these details alonside it. Of course we are considering a scenerio you succesfully trained. If it's a part you want to be inconsistent and adjustable, you can add them as tags. For example her clothes. So AI will not take her cloth details inside of trigger word.

Mentor @shishu:

• Diverse Angles, Unified Features: Ensure your dataset has a wide range of  angles, but maintain consistent  features and include different expressions.
• Precise Tagging: Keep  tags (eye color, eyebrow shape, face shape) as accurate and consistent as possible.
• Weighted Tags: Tag key features individually to allow for weight adjustments during generation.

Q2: Learning how to perform Decoupling training (e.g., separating hair from face, body from clothes, handling heterochromia, etc.)? — Md. Saddam Hossain#2Y3g68

Mentor @grayman: 

Although decoupling optimization is commonly used for pre-training large-scale language models and foundational image models, it is rarely the right tool for adding specific styles or details. I hardly ever use it, as fine-tuning is more effective for refining checkpoints. For models like Illustrious XL, it’s definitely not worth the effort; you’re better off sticking with standard fine-tuning to improve the model’s output.

Mentor @shishu (Dataset Splitting Approach):

• Hair & Face: Prepare separate sets for "face only" and "with hair," using clear tag distinctions (e.g., face_only, with_hair).
• Body & Clothes: Prepare "base body" and "clothed" images, using tags like body_base and dress_A.
• Heterochromia: Explicitly tag features like heterochromia, left_eye_blue, and right_eye_green, while including close-up shots of the eyes.
• Layered Triggers: Assign independent trigger words to different elements (e.g., hair_style, outfit_red) to combine them as needed during generation.

VI. Model Stability and Adaption

Q1: How to make the model more stable and obedient to instructions? — Kayung,  Saddam Hossain

Mentor @grayman: 

Good Dataset, accurate tagging, correct resolution, good parameters and a little bit of luck. Basically you need to train a good model so it will already good. Of course you have to select a good base model to train because if the base model you trained over is problematic, you can get same problems on your LoRA too.

Mentor @shishu:

• High-Quality Dataset: Data quality determines the model's ceiling. Ensure images are sharp and tags are accurate.
• Parameter Optimization:
  • Learning Rate: Avoid high rates that lead to instability; start at 1e-4 and adjust based on the Loss curve.
  • Rank/Alpha: Rank determines capacity, Alpha controls weight. We recommend a Rank = 2 × Alpha ratio (e.g., 32/16).
• Prompt Engineering: Use clear, structured prompts and include negative prompts to filter out interference (e.g., blurry, deformed).
• Checkpoint Matching: Pair your LoRA with a base model that aligns with your training goal (e.g., realistic character LoRA with a realistic checkpoint).

Q2: How should different types of LoRA models be paired with base models (Checkpoints)? — Safygo

Mentor @grayman: 

If you want to train a character LoRA, prefer a model has no style, basically just aesthetic anime model so your character won't be influenced by style. (If you want to use it on a spesific model, of course you can train it with that model.) 

If you want to train a style LoRA, find a model that is close to what you want to train. For example, you want to create Disney style mode...

Mentor @shishu:

• Character LoRA: Prioritize using a checkpoint of the same style or the exact one used during training.
• Style LoRA: You must match the major style category (Realistic/Anime/Ink/CG—do not mix them randomly). Alternatively, pairing a style LoRA with a high-quality model of the same genre (e.g., anime style with an anime base) can yield unique results.
• General Rules: The closer the checkpoint is to the training base, the more stable the result. When using across different checkpoints, lower the LoRA weight (0.3–0.6).

Mentor grayman's answers are mostly based on IL 0.1 and IL 1.0.

📢 Live Now: [Model Master Bootcamp] Practical Training Phase! 

Check details & tasks: [Activity Link] 

Real-time Mentor Q&A: [Discord Channel Link]