]> err.no Git - linux-2.6/blobdiff - arch/x86/mm/fault_64.c
x86: make sure initmem is writable
[linux-2.6] / arch / x86 / mm / fault_64.c
index e82832961d7246519169ad706f2545f36e4478c6..dd26e680a43166ca9abe0ced6390989edddf4349 100644 (file)
@@ -84,7 +84,6 @@ static int is_prefetch(struct pt_regs *regs, unsigned long addr,
        unsigned char *max_instr;
 
 #ifdef CONFIG_X86_32
-       unsigned long limit;
        if (unlikely(boot_cpu_data.x86_vendor == X86_VENDOR_AMD &&
                     boot_cpu_data.x86 >= 6)) {
                /* Catch an obscure case of prefetch inside an NX page. */
@@ -93,30 +92,23 @@ static int is_prefetch(struct pt_regs *regs, unsigned long addr,
        } else {
                return 0;
        }
-       instr = (unsigned char *)get_segment_eip(regs, &limit);
 #else
        /* If it was a exec fault ignore */
        if (error_code & PF_INSTR)
                return 0;
-       instr = (unsigned char __user *)convert_rip_to_linear(current, regs);
 #endif
 
+       instr = (unsigned char *)convert_ip_to_linear(current, regs);
        max_instr = instr + 15;
 
-#ifdef CONFIG_X86_64
        if (user_mode(regs) && instr >= (unsigned char *)TASK_SIZE)
                return 0;
-#endif
 
        while (scan_more && instr < max_instr) {
                unsigned char opcode;
                unsigned char instr_hi;
                unsigned char instr_lo;
 
-#ifdef CONFIG_X86_32
-               if (instr > (unsigned char *)limit)
-                       break;
-#endif
                if (probe_kernel_address(instr, opcode))
                        break;
 
@@ -158,10 +150,7 @@ static int is_prefetch(struct pt_regs *regs, unsigned long addr,
                case 0x00:
                        /* Prefetch instruction is 0x0F0D or 0x0F18 */
                        scan_more = 0;
-#ifdef CONFIG_X86_32
-                       if (instr > (unsigned char *)limit)
-                               break;
-#endif
+
                        if (probe_kernel_address(instr, opcode))
                                break;
                        prefetch = (instr_lo == 0xF) &&
@@ -234,6 +223,7 @@ KERN_ERR "******* Your BIOS seems to not contain a fix for K8 errata #93\n"
 KERN_ERR "******* Working around it, but it may cause SEGVs or burn power.\n"
 KERN_ERR "******* Please consider a BIOS update.\n"
 KERN_ERR "******* Disabling USB legacy in the BIOS may also help.\n";
+#endif
 
 /* Workaround for K8 erratum #93 & buggy BIOS.
    BIOS SMM functions are required to use a specific workaround
@@ -241,10 +231,12 @@ KERN_ERR "******* Disabling USB legacy in the BIOS may also help.\n";
    A lot of BIOS that didn't get tested properly miss this.
    The OS sees this as a page fault with the upper 32bits of RIP cleared.
    Try to work around it here.
-   Note we only handle faults in kernel here. */
-
+   Note we only handle faults in kernel here.
+   Does nothing for X86_32
+ */
 static int is_errata93(struct pt_regs *regs, unsigned long address)
 {
+#ifdef CONFIG_X86_64
        static int warned;
        if (address != regs->ip)
                return 0;
@@ -260,9 +252,9 @@ static int is_errata93(struct pt_regs *regs, unsigned long address)
                regs->ip = address;
                return 1;
        }
+#endif
        return 0;
 }
-#endif
 
 static noinline void pgtable_bad(unsigned long address, struct pt_regs *regs,
                                 unsigned long error_code)
@@ -289,6 +281,26 @@ static noinline void pgtable_bad(unsigned long address, struct pt_regs *regs,
  */
 static int vmalloc_fault(unsigned long address)
 {
+#ifdef CONFIG_X86_32
+       unsigned long pgd_paddr;
+       pmd_t *pmd_k;
+       pte_t *pte_k;
+       /*
+        * Synchronize this task's top level page-table
+        * with the 'reference' page table.
+        *
+        * Do _not_ use "current" here. We might be inside
+        * an interrupt in the middle of a task switch..
+        */
+       pgd_paddr = read_cr3();
+       pmd_k = vmalloc_sync_one(__va(pgd_paddr), address);
+       if (!pmd_k)
+               return -1;
+       pte_k = pte_offset_kernel(pmd_k, address);
+       if (!pte_present(*pte_k))
+               return -1;
+       return 0;
+#else
        pgd_t *pgd, *pgd_ref;
        pud_t *pud, *pud_ref;
        pmd_t *pmd, *pmd_ref;
@@ -332,6 +344,7 @@ static int vmalloc_fault(unsigned long address)
        if (!pte_present(*pte) || pte_pfn(*pte) != pte_pfn(*pte_ref))
                BUG();
        return 0;
+#endif
 }
 
 int show_unhandled_signals = 1;
@@ -366,6 +379,8 @@ asmlinkage void __kprobes do_page_fault(struct pt_regs *regs,
 
        si_code = SEGV_MAPERR;
 
+       if (notify_page_fault(regs))
+               return;
 
        /*
         * We fault-in kernel-space virtual memory on-demand. The
@@ -391,8 +406,6 @@ asmlinkage void __kprobes do_page_fault(struct pt_regs *regs,
                        if (vmalloc_fault(address) >= 0)
                                return;
                }
-               if (notify_page_fault(regs))
-                       return;
                /*
                 * Don't take the mm semaphore here. If we fixup a prefetch
                 * fault we could otherwise deadlock.
@@ -400,9 +413,6 @@ asmlinkage void __kprobes do_page_fault(struct pt_regs *regs,
                goto bad_area_nosemaphore;
        }
 
-       if (notify_page_fault(regs))
-               return;
-
        if (likely(regs->flags & X86_EFLAGS_IF))
                local_irq_enable();
 
@@ -454,8 +464,11 @@ asmlinkage void __kprobes do_page_fault(struct pt_regs *regs,
        if (!(vma->vm_flags & VM_GROWSDOWN))
                goto bad_area;
        if (error_code & PF_USER) {
-               /* Allow userspace just enough access below the stack pointer
-                * to let the 'enter' instruction work.
+               /*
+                * Accessing the stack below %sp is always a bug.
+                * The large cushion allows instructions like enter
+                * and pusha to work.  ("enter $65535,$31" pushes
+                * 32 pointers and then decrements %sp by 65535.)
                 */
                if (address + 65536 + 32 * sizeof(unsigned long) < regs->sp)
                        goto bad_area;
@@ -501,6 +514,17 @@ good_area:
                tsk->maj_flt++;
        else
                tsk->min_flt++;
+
+#ifdef CONFIG_X86_32
+       /*
+        * Did it hit the DOS screen memory VA from vm86 mode?
+        */
+       if (v8086_mode(regs)) {
+               unsigned long bit = (address - 0xA0000) >> PAGE_SHIFT;
+               if (bit < 32)
+                       tsk->thread.screen_bitmap |= 1 << bit;
+       }
+#endif
        up_read(&mm->mmap_sem);
        return;
 
@@ -536,10 +560,16 @@ bad_area_nosemaphore:
                if (show_unhandled_signals && unhandled_signal(tsk, SIGSEGV) &&
                    printk_ratelimit()) {
                        printk(
-                      "%s%s[%d]: segfault at %lx ip %lx sp %lx error %lx\n",
-                                       tsk->pid > 1 ? KERN_INFO : KERN_EMERG,
-                                       tsk->comm, tsk->pid, address, regs->ip,
-                                       regs->sp, error_code);
+#ifdef CONFIG_X86_32
+                       "%s%s[%d]: segfault at %lx ip %08lx sp %08lx error %lx",
+#else
+                       "%s%s[%d]: segfault at %lx ip %lx sp %lx error %lx",
+#endif
+                       task_pid_nr(tsk) > 1 ? KERN_INFO : KERN_EMERG,
+                       tsk->comm, task_pid_nr(tsk), address, regs->ip,
+                       regs->sp, error_code);
+                       print_vma_addr(" in ", regs->ip);
+                       printk("\n");
                }
 
                tsk->thread.cr2 = address;
@@ -578,7 +608,7 @@ no_context:
        else
                printk(KERN_ALERT "Unable to handle kernel paging request");
        printk(" at %016lx RIP: \n" KERN_ALERT, address);
-       printk_address(regs->ip);
+       printk_address(regs->ip, 1);
        dump_pagetable(address);
        tsk->thread.cr2 = address;
        tsk->thread.trap_no = 14;
@@ -623,10 +653,12 @@ LIST_HEAD(pgd_list);
 
 void vmalloc_sync_all(void)
 {
-       /* Note that races in the updates of insync and start aren't
-          problematic:
-          insync can only get set bits added, and updates to start are only
-          improving performance (without affecting correctness if undone). */
+       /*
+        * Note that races in the updates of insync and start aren't
+        * problematic: insync can only get set bits added, and updates to
+        * start are only improving performance (without affecting correctness
+        * if undone).
+        */
        static DECLARE_BITMAP(insync, PTRS_PER_PGD);
        static unsigned long start = VMALLOC_START & PGDIR_MASK;
        unsigned long address;