Merge branch 'core-rcu-for-linus' of git://git.kernel.org/pub/scm/linux/kernel/git...
[muen/linux.git] / kernel / sched / core.c
index 3e673703417571b31ee58e07bc560f0871307a2f..e27034bd954ea4e8dd8ad1780df1fccf856c3e3f 100644 (file)
@@ -881,6 +881,33 @@ void check_preempt_curr(struct rq *rq, struct task_struct *p, int flags)
 }
 
 #ifdef CONFIG_SMP
+
+static inline bool is_per_cpu_kthread(struct task_struct *p)
+{
+       if (!(p->flags & PF_KTHREAD))
+               return false;
+
+       if (p->nr_cpus_allowed != 1)
+               return false;
+
+       return true;
+}
+
+/*
+ * Per-CPU kthreads are allowed to run on !actie && online CPUs, see
+ * __set_cpus_allowed_ptr() and select_fallback_rq().
+ */
+static inline bool is_cpu_allowed(struct task_struct *p, int cpu)
+{
+       if (!cpumask_test_cpu(cpu, &p->cpus_allowed))
+               return false;
+
+       if (is_per_cpu_kthread(p))
+               return cpu_online(cpu);
+
+       return cpu_active(cpu);
+}
+
 /*
  * This is how migration works:
  *
@@ -938,16 +965,8 @@ struct migration_arg {
 static struct rq *__migrate_task(struct rq *rq, struct rq_flags *rf,
                                 struct task_struct *p, int dest_cpu)
 {
-       if (p->flags & PF_KTHREAD) {
-               if (unlikely(!cpu_online(dest_cpu)))
-                       return rq;
-       } else {
-               if (unlikely(!cpu_active(dest_cpu)))
-                       return rq;
-       }
-
        /* Affinity changed (again). */
-       if (!cpumask_test_cpu(dest_cpu, &p->cpus_allowed))
+       if (!is_cpu_allowed(p, dest_cpu))
                return rq;
 
        update_rq_clock(rq);
@@ -1476,10 +1495,9 @@ static int select_fallback_rq(int cpu, struct task_struct *p)
        for (;;) {
                /* Any allowed, online CPU? */
                for_each_cpu(dest_cpu, &p->cpus_allowed) {
-                       if (!(p->flags & PF_KTHREAD) && !cpu_active(dest_cpu))
-                               continue;
-                       if (!cpu_online(dest_cpu))
+                       if (!is_cpu_allowed(p, dest_cpu))
                                continue;
+
                        goto out;
                }
 
@@ -1542,8 +1560,7 @@ int select_task_rq(struct task_struct *p, int cpu, int sd_flags, int wake_flags)
         * [ this allows ->select_task() to simply return task_cpu(p) and
         *   not worry about this generic constraint ]
         */
-       if (unlikely(!cpumask_test_cpu(cpu, &p->cpus_allowed) ||
-                    !cpu_online(cpu)))
+       if (unlikely(!is_cpu_allowed(p, cpu)))
                cpu = select_fallback_rq(task_cpu(p), p);
 
        return cpu;