Use ttl=0 as a "invalid TTL" flag.

Mark objects with ttl=0 uncachable.

Add cacheable objects to the expiry heap

Start an expiry thread which polls the root element once per second

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@231 d4fa192b-c00b-0410-8231-f00ffab90ce4

Truncate TTLs in the past to now.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@230 d4fa192b-c00b-0410-8231-f00ffab90ce4

Autogenerate prototypes for method calling functions

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@229 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a "timeout" method to VCL, it can return "fetch" or "discard".

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@228 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a token type "METHOD", we use it for reference counting.

Add a reference to the first backend {} we encounter, it is the default.
Add a reference to all backends assigned explicitly.
Add a reference to all methods.

Enable reference check, complain if: backend, function or acl is defined
but not used, or used but not defined.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@227 d4fa192b-c00b-0410-8231-f00ffab90ce4

Collapse multiline Fc and Fh calls where they fit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@226 d4fa192b-c00b-0410-8231-f00ffab90ce4

More printf sanitation:  Create to convenience functions for output to the
fh and fc sbufs.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@225 d4fa192b-c00b-0410-8231-f00ffab90ce4

Cave in and use printf format extensions for printing tokens.
Both Linux and FreeBSD supports them anyway.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@224 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add more shmemlog tags:
one for each VCL method to record the return
one for errors
one for linking a client session to a backend connection
Use them sensibly.
Put VCL name of backend into struct backend to improve log messages

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@223 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve the VCL compiler in various ways:

Generate the methods and their legal returns with the tcl script.

Add consistency checks to make sure methods don't use illegal returns,
and also check called subrourtines.

Add consistency check to complain about recursive subroutine calls.

Add consistency check to complain about unused or undefined subroutines.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@222 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add (empty) source file for expiry/pretech code

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@221 d4fa192b-c00b-0410-8231-f00ffab90ce4

Start to respect TTL

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@220 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add "-t default_ttl" option.  120 seconds by default.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@219 d4fa192b-c00b-0410-8231-f00ffab90ce4

Quench some debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@218 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a binary heap implementation for keeping track of objects expiry time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@217 d4fa192b-c00b-0410-8231-f00ffab90ce4

typo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@216 d4fa192b-c00b-0410-8231-f00ffab90ce4

FlexeLint files

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@215 d4fa192b-c00b-0410-8231-f00ffab90ce4

FlexeLint cleanups

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@214 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish things to silence FlexeLint a bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@213 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename vcl_lang.h to vcl.h and include practically nowhere.

Remove #include bogohandling in vcl_gen_fixed_token.tcl

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@212 d4fa192b-c00b-0410-8231-f00ffab90ce4

At the expense of some complexity and a small runtime overhead,
isolate the compiled code from the internal structures of the cache
process through of VRT functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@211 d4fa192b-c00b-0410-8231-f00ffab90ce4

Work towards making struct sess opaque to the generated code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@210 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename the VCL compilers public functions to VCC prefix

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@209 d4fa192b-c00b-0410-8231-f00ffab90ce4

Get rid of VCL_FARGS and VCL_PASS_ARGS macros.

Generate VGC prefixes instead of VCL.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@208 d4fa192b-c00b-0410-8231-f00ffab90ce4

Start putting some structure in the sources relating to VCL handling:

Split the runtime support for compiled varnish programs out and give it the
prefix "VRT".

Start using the prefix "VGC" for generated code.

Prefix "VCC" will be for the compiler and "VCL" for calling the compiled and
loaded functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@207 d4fa192b-c00b-0410-8231-f00ffab90ce4

Output line+pos for counts.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@206 d4fa192b-c00b-0410-8231-f00ffab90ce4

Insert a count-point after each conditional.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@205 d4fa192b-c00b-0410-8231-f00ffab90ce4

Get the sense of string compares right.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@204 d4fa192b-c00b-0410-8231-f00ffab90ce4

debug printf for max-age

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@203 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement req.request properly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@202 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pass if we spot an Authenticate or Cookie header

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@201 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VCL function for getting HTTP header

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@200 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add support for investigating random HTTP headers.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@199 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add wrappers around VCL methos so logging and checking of returned handling
can be centralized.

Remove old handling callbacks.

Call hit/miss methods instead of lookup method.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@198 d4fa192b-c00b-0410-8231-f00ffab90ce4

add explicit "lookup" to recv method

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@197 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correctly handle \ sequences in .h files in vcl_gen_fixed_token.tcl

Make handling a named enum, and use it as a bitmap.

Add "lookup" reserved word

Add VCL_done() macro to use in compiled code to set handling and drop
the per-handling callbacks (apart from VCL_error())

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@196 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add "deliver" keyword to VCL compiler.

Split vcl_lookup() in vcl_hit() and vcl_miss()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@195 d4fa192b-c00b-0410-8231-f00ffab90ce4

Initial http_GetHdrField() function.

Improve chunked encoding, allocate big storage chunks and trim the
last one at the end, instead of one storage chunk for each chunk
the remote server sends.

Call RFC2616 policy code.

Store headers from backend in cache and return to client.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@194 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add header field to object

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@193 d4fa192b-c00b-0410-8231-f00ffab90ce4

Supress Transfer-Encoding

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@192 d4fa192b-c00b-0410-8231-f00ffab90ce4

The beginnings of rfc2616 policy implemenation.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@191 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add trim method to storage backends so chunked encoding can be
stored efficiently.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@190 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add time parse/format functions to libvarnish

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@189 d4fa192b-c00b-0410-8231-f00ffab90ce4

less noise

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@188 d4fa192b-c00b-0410-8231-f00ffab90ce4

Less noise

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@187 d4fa192b-c00b-0410-8231-f00ffab90ce4

start examining HTTP status codes from backend

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@186 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add vca_write_obj() which writes an sbuf (as) HTTP header and the
object from the sessions to the client.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@185 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clean up session messages a bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@184 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add HttpError tag

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@183 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sanitize close/recycle session logic a bit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@182 d4fa192b-c00b-0410-8231-f00ffab90ce4

Initialize the cache_acceptor.c/VCA in the same manner as other parts.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@181 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give storage backends a "send" method.

Let storage_file use sendfile(2) for it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@180 d4fa192b-c00b-0410-8231-f00ffab90ce4

Complete the storage_file method.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@179 d4fa192b-c00b-0410-8231-f00ffab90ce4

Default to "file" stevedore from now on.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@178 d4fa192b-c00b-0410-8231-f00ffab90ce4

Be more aggressive about mmap'ing memory.  The size_t thing is a bogus
constraint in FreeBSD and we shouldn't really listen to it.

On my laptop I can mmap 2422MB file this way.

This may be so aggressive that it leaves insufficient address space for
malloc/threadstacks and other issues.

If we find a way to pick up a platform/architecture specific limit, we
can enforce that along the way.

For now people can just specify a saner and smaller "-sfile" size.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@177 d4fa192b-c00b-0410-8231-f00ffab90ce4

mmap as much as the file as we are able to when the cache process opens
the stevedore.

This should probably be (fine-)tuned later on as it might be too aggressive
when faced with user errors.

Also, might it be possible to mmap() more than MAX_SIZE_T bytes if
it is done in multiple calls ?

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@176 d4fa192b-c00b-0410-8231-f00ffab90ce4

Calculate the size of the backing store file.

A size can be specified in absolute terms (suffix: k, m, g, t supported),
but also as a percentage of the filesystems free space (suffix '%').

If the specified size is larger than an off_t can cope, we bisect
repeatedly until it can.

If the size exceeds the available space of the filesystem, we truncate
to 80% of the free space.

Then round down to an integral number of blocks, sized by the larger
of the filesystem blocksize and the pagesize.

This was tricker than I'd expected...

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@175 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clone the stevedore before calling its init function and be more precise
about any optional arguments.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@174 d4fa192b-c00b-0410-8231-f00ffab90ce4

After having a strong cup of tea: don't name files with leading underscore
even though that's how FreeBSD's kernel does it.  In my private world
a leading underscore means "junk file, remove at your pleasure".

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@173 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clone the malloc stevedore to the file stevedore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@172 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remember to tell getopt about -s

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@171 d4fa192b-c00b-0410-8231-f00ffab90ce4

Put more meat on the stevedore (storage backend) interface:

Pull the struct definition into _stevedore.h and include this from
cache.h and mgt.h, they both need to be able to see it.

Add the stevedore pointer as an argument to the stevedore alloc function
so multiple stevedores is possible later on.

Add the stevedore pointer to the storage object, so freeing it again is
possible.

Add -s argument processing to select a given stevedore, call it's ->init
method and pass the stevedore in the heritage.

In the cache process pick stevedore out from heritage, call its open method.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@170 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use NULL init method

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@169 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow for NULL init methods for hash and stevedore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@168 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use vca_write/vca_flush

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@167 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use vca_write/vca_flush

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@166 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use vca_write/vca_flush

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@165 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add vca_write() and vca_flush(), two functions which will attempt to
use writev() if possible.

vca_flush() must be called before any memory previosly given to
vca_write is overwritten, and after the last call to vca_write()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@164 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add FlexeLint files

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@163 d4fa192b-c00b-0410-8231-f00ffab90ce4

bandaid for name-clash

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@162 d4fa192b-c00b-0410-8231-f00ffab90ce4

Keep track of how many connections we have open

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@161 d4fa192b-c00b-0410-8231-f00ffab90ce4

add missing extern

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@160 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add INCOMPL() macro to mark missing code.

Add http_HdrIs() to check if we have a given header and if we do
if it has a given value.

Use it.

Ignore SIGPIPE since SO_NOSIGPIPE doesn't work reliably, (but set
it on accepted TCP connections anyway).

Update passing to match fetching, including a chunked encoding method.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@159 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add yet another thread with an event engine to monitor idle backend
connections and clean them out if the backend closes.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@158 d4fa192b-c00b-0410-8231-f00ffab90ce4

Centralize "Connection: close" handling from the backend.

Loop until we have the entire chunk in chunked encoding

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@157 d4fa192b-c00b-0410-8231-f00ffab90ce4

test backend connections at allocation time.

General bush-wacking in the fetch code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@156 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix argument to http_BuildSbuf

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@155 d4fa192b-c00b-0410-8231-f00ffab90ce4

Keep alive often enough

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@154 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make width colum wider and decimal

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@153 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add new shmlog tags and handling states

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@152 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement a rudimentary chunked Transfer-Encoding

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@151 d4fa192b-c00b-0410-8231-f00ffab90ce4

reset header count before we dissect

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@150 d4fa192b-c00b-0410-8231-f00ffab90ce4

Track backend connections in shmem log

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@149 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an end pointer so allocation size can be changed on the fly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@148 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move shmlog entry, remove debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@147 d4fa192b-c00b-0410-8231-f00ffab90ce4

Redo http header storage and processing

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@146 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an indecisive comment

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@145 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sort and annotate

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@144 d4fa192b-c00b-0410-8231-f00ffab90ce4

Loop until we have read it all

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@143 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement enough of FetchSession and DeliverSession that we can actually
deliver a cached object.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@142 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add busyflag and strorage link to objects.

Initialize default hasher and stevedore.

Give each workerthread an object pointer to be kept populated with
a template object for when lookups miss and need to insert one.

Add libmd to get MD5, (choice of hash-algorithm to be revisited later)

Implement lookup, begin on fetch.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@141 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add trivial malloc backed storage backend.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@140 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement the three function VCL model in the compiler.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@139 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add ETag: header

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@138 d4fa192b-c00b-0410-8231-f00ffab90ce4

Beginnings of the object lookup stuff:  A simple list based
implementation to get things moving.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@137 d4fa192b-c00b-0410-8231-f00ffab90ce4

Close or recycle backend connections as appropriate

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@136 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VBE_RecycleFd() function to recycle backend connections

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@135 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pass Content-Encoding header

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@134 d4fa192b-c00b-0410-8231-f00ffab90ce4

Output the fd in decimal instead of hex.

Do Id Keyword

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@133 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename hdr_end to a more sensible rcv_ptr which points to the first
unaccounted for character in the buffer.

Do Id Keyword

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@132 d4fa192b-c00b-0410-8231-f00ffab90ce4