]> err.no Git - linux-2.6/blob - include/asm-i386/pgtable-2level.h
[PATCH] i386: pte xchg optimization
[linux-2.6] / include / asm-i386 / pgtable-2level.h
1 #ifndef _I386_PGTABLE_2LEVEL_H
2 #define _I386_PGTABLE_2LEVEL_H
3
4 #define pte_ERROR(e) \
5         printk("%s:%d: bad pte %08lx.\n", __FILE__, __LINE__, (e).pte_low)
6 #define pgd_ERROR(e) \
7         printk("%s:%d: bad pgd %08lx.\n", __FILE__, __LINE__, pgd_val(e))
8
9 /*
10  * Certain architectures need to do special things when PTEs
11  * within a page table are directly modified.  Thus, the following
12  * hook is made available.
13  */
14 static inline void native_set_pte(pte_t *ptep , pte_t pte)
15 {
16         *ptep = pte;
17 }
18 static inline void native_set_pte_at(struct mm_struct *mm, unsigned long addr,
19                                      pte_t *ptep , pte_t pte)
20 {
21         native_set_pte(ptep, pte);
22 }
23 static inline void native_set_pmd(pmd_t *pmdp, pmd_t pmd)
24 {
25         *pmdp = pmd;
26 }
27 #ifndef CONFIG_PARAVIRT
28 #define set_pte(pteptr, pteval)         native_set_pte(pteptr, pteval)
29 #define set_pte_at(mm,addr,ptep,pteval) native_set_pte_at(mm, addr, ptep, pteval)
30 #define set_pmd(pmdptr, pmdval)         native_set_pmd(pmdptr, pmdval)
31 #endif
32
33 #define set_pte_atomic(pteptr, pteval) set_pte(pteptr,pteval)
34 #define set_pte_present(mm,addr,ptep,pteval) set_pte_at(mm,addr,ptep,pteval)
35
36 #define pte_clear(mm,addr,xp)   do { set_pte_at(mm, addr, xp, __pte(0)); } while (0)
37 #define pmd_clear(xp)   do { set_pmd(xp, __pmd(0)); } while (0)
38
39 static inline void native_pte_clear(struct mm_struct *mm, unsigned long addr, pte_t *xp)
40 {
41         *xp = __pte(0);
42 }
43
44 /* local pte updates need not use xchg for locking */
45 static inline pte_t native_local_ptep_get_and_clear(pte_t *ptep)
46 {
47         pte_t res;
48
49         res = *ptep;
50         native_pte_clear(NULL, 0, ptep);
51         return res;
52 }
53
54 #ifdef CONFIG_SMP
55 static inline pte_t native_ptep_get_and_clear(pte_t *xp)
56 {
57         return __pte(xchg(&xp->pte_low, 0));
58 }
59 #else
60 #define native_ptep_get_and_clear(xp) native_local_ptep_get_and_clear(xp)
61 #endif
62
63 #define pte_page(x)             pfn_to_page(pte_pfn(x))
64 #define pte_none(x)             (!(x).pte_low)
65 #define pte_pfn(x)              (pte_val(x) >> PAGE_SHIFT)
66 #define pfn_pte(pfn, prot)      __pte(((pfn) << PAGE_SHIFT) | pgprot_val(prot))
67 #define pfn_pmd(pfn, prot)      __pmd(((pfn) << PAGE_SHIFT) | pgprot_val(prot))
68
69 /*
70  * All present user pages are user-executable:
71  */
72 static inline int pte_exec(pte_t pte)
73 {
74         return pte_user(pte);
75 }
76
77 /*
78  * All present pages are kernel-executable:
79  */
80 static inline int pte_exec_kernel(pte_t pte)
81 {
82         return 1;
83 }
84
85 /*
86  * Bits 0, 6 and 7 are taken, split up the 29 bits of offset
87  * into this range:
88  */
89 #define PTE_FILE_MAX_BITS       29
90
91 #define pte_to_pgoff(pte) \
92         ((((pte).pte_low >> 1) & 0x1f ) + (((pte).pte_low >> 8) << 5 ))
93
94 #define pgoff_to_pte(off) \
95         ((pte_t) { (((off) & 0x1f) << 1) + (((off) >> 5) << 8) + _PAGE_FILE })
96
97 /* Encode and de-code a swap entry */
98 #define __swp_type(x)                   (((x).val >> 1) & 0x1f)
99 #define __swp_offset(x)                 ((x).val >> 8)
100 #define __swp_entry(type, offset)       ((swp_entry_t) { ((type) << 1) | ((offset) << 8) })
101 #define __pte_to_swp_entry(pte)         ((swp_entry_t) { (pte).pte_low })
102 #define __swp_entry_to_pte(x)           ((pte_t) { (x).val })
103
104 #endif /* _I386_PGTABLE_2LEVEL_H */