Add cache_acceptor.h to noinst_HEADERS.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@883 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add strndup() to libcompat.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@882 d4fa192b-c00b-0410-8231-f00ffab90ce4

Flexelint inpired cleanups

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@881 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give VBE_ClosedFd() an argument to tell if the fd has already
been closed.

Pipe does this and would panic otherwise.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@880 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix these two up to current standard.

Poll is tested, epoll isn't.

While the three implementations share a lot of identical code
right now, I will wait a bit before unifying more of them, at
least until performance proves that this is the right way for
kqueue.

XXX: they're really not acceptors any more, they're herders.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@879 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it easier to experiement with acceptors by having a single
pointer to the one in use.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@878 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused #includes

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@877 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add asserts.

Return if we pass on directly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@876 d4fa192b-c00b-0410-8231-f00ffab90ce4

Overhaul kqueue acceptor in light of todays learnings.

Use the pipe trick to inject sessions into the system, as far as I
can tell it is cheaper because of the low rate it happens and the
high rate of mutex operations avoided.

Ignore the timer event, but purge the list every time we wake up
to reduce lumpyness of timeout'ing.

Centralize the polling of a session so we don't have the same two
messages spread out all over the place.

Centralize the acceptor thread and send things directly to the worker
thread, leaving only the session-herder in the split out files.

poll & epoll not yet updated accordingly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@875 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bandaid until Dag Erling does what's necessary

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@874 d4fa192b-c00b-0410-8231-f00ffab90ce4

Retire sessions if the workspace size changes, properly cache the
workspace size so we do not get caught unaware when it changes.

Implement flip-flop free queue where SES_New() can read from
one of them without a lock, which frees happen to the other one
under lock.  If the lock-less queue is empty, SES_New() flips
the two queues under lock and tries again.  If that queue is
also empty call malloc(3).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@873 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename open_tcp() to TCP_open() and modify it to open only one socket of
the appropriate type for the address that was passed in.

Introduce TCP_parse(), which extracts an address and port from a string of
the form "hostname:port", "i.p.v.4:port" or "[i:p:v:6]:port" (where "port"
can be either a decimal number or a service name).

Use TCP_parse() to parse the argument to -a (listen address), -b (backend
address) and -T (telnet address).  Eliminate -p (listen port).

While there, rename a bunch of "fooflag" variables which aren't flags to
"foo_arg".

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@872 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add n_sess_mem

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@871 d4fa192b-c00b-0410-8231-f00ffab90ce4

Increase client hash to 1k

Cache used sessmem chunks on a private list and recycle from there,
no point in bothering malloc all the time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@870 d4fa192b-c00b-0410-8231-f00ffab90ce4

When writing to a file, open it with O_APPEND rather than O_TRUNC.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@869 d4fa192b-c00b-0410-8231-f00ffab90ce4

Set properties.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@868 d4fa192b-c00b-0410-8231-f00ffab90ce4

Set properties.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@867 d4fa192b-c00b-0410-8231-f00ffab90ce4

Create the possiblity for the the acceptor to send the session directly
to the workerpool instead of taking the detour around the session-herder.

This saves a context switch and is presumabley a good idea because the
majority of sessions will have requst already in the pipeline.

For accept filters it makes even more sense because we know this to
be the case.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@866 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split the accepting and session-herding functionality into two threads,
this is totally free from a locking point of view, but will cost
in context switches.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@865 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add file

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@864 d4fa192b-c00b-0410-8231-f00ffab90ce4

various cleanups.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@863 d4fa192b-c00b-0410-8231-f00ffab90ce4

Break the acceptors out into their own files.

The intent here is to compile in all acceptors supported on the
operating system and allow the user to select one at startup time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@862 d4fa192b-c00b-0410-8231-f00ffab90ce4

Adjusments to scale.

Refresh 1/sec max

Put more in the rolling buffer.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@861 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't hose TIMER kevent with READ kevent

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@860 d4fa192b-c00b-0410-8231-f00ffab90ce4

This assert is not warranted, a connection might disappear before
we get to it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@859 d4fa192b-c00b-0410-8231-f00ffab90ce4

Close another tiny race.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@858 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give the kevent acceptor another overhaul.

On a number of fine points the kevent API behaves different from
what I would have expected.

For instance EV_DISABLE/EV_ENABLE on a timer does not reset the
timer.

This is a very defensive version and if that works, it can be optimized
some more.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@857 d4fa192b-c00b-0410-8231-f00ffab90ce4

Heavy-duty work on kqueue acceptor.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@856 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add some debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@855 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused variable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@854 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use TxHeader for pipe backend.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@853 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't chat up non-running childs.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@852 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure the returns have some value.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@851 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert that the cli status is valid

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@850 d4fa192b-c00b-0410-8231-f00ffab90ce4

pid -1 is not our child

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@849 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix malloc bug.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@848 d4fa192b-c00b-0410-8231-f00ffab90ce4

New defaults:
5 sec session timeout
60 sec thread pool timeout

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@847 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make autostart a tweakable parameter, this is useful for debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@846 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pull out up to 20 kevents at time instead of just one.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@845 d4fa192b-c00b-0410-8231-f00ffab90ce4

Respect lower pool limit dynamically

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@844 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remember to open the shmlog

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@843 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add varnishhist(1) a program that shows the responsetime as a curses
histogram.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@842 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add note that send_timeout has DELAYED effect

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@841 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure we have predictable column numbers by printing '-' if it
is neither classified as client or backend.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@840 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make the session timeout and send timeout tweakables.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@839 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement the first load of tweable parameters

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@838 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add two new CLI commands: param.set and param.show.

Eliminate requirement that "help" be first, I was just lazy I guess.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@837 d4fa192b-c00b-0410-8231-f00ffab90ce4

cleanup

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@836 d4fa192b-c00b-0410-8231-f00ffab90ce4

We have a number of adjustable parameters, things like "default TTL" which
should be adjustable at runtime.

We need to make adjustments in such a way that a restart of the child also
uses the new paramters.

We can either do this by parsing the CLI in both mgt+child and have both
update their private copy, or we can parse it only in one of them and
update a shared copy.

We opt for the latter method.

Add a "struct params" which holds the adjustable parameters and put on
in the shmlog segment, between struct shmloghead and the round-robin
buffer.

Move parameters from heritage to params.

We put it there without exposing it in struct shmloghead which is
the public view of the shared memory because we do not want to make
it a public API or even to tempt people to think that it is one.

Now I just need to add the CLI functions to actually twiddle the
parameters.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@835 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't re-mmap the shmlog in the child, we already did it in the management
process and the inherited copy is perfectly fine to use.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@834 d4fa192b-c00b-0410-8231-f00ffab90ce4

Respect and clear TAG also on flush

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@833 d4fa192b-c00b-0410-8231-f00ffab90ce4

Do a better job on Connection: header processing in client requests.

Add a flag field for each HTTP header and define a bit HDF_FILTER
to mean "filter this out", and initialize to zero all relevant
places.

If HDF_FILTER is set, do not copy the header across when filtering.

Run through Connection: header (if present) and set HDF_FILTER on
any header that matches a word in the contents.

If we are not HTTP/1.1 and have no Connection header, we close
the session when this reqest is done.

If we have a Connection header, we respect that.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@832 d4fa192b-c00b-0410-8231-f00ffab90ce4

Set REG_NOSUB for speed

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@831 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remember to clear match bit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@830 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it possible to select which requests we want to see in
ordered mode.  For instance
./varnishlog -o rxurl foo
will only show requests that match the regexp "foo" on the rxurl field

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@829 d4fa192b-c00b-0410-8231-f00ffab90ce4

Turn the "invcl" array into a flag array so we can put more stuff there.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@828 d4fa192b-c00b-0410-8231-f00ffab90ce4

Deeper listenqueue for HTTP sockets

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@827 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correct inverted test in If-Modified-Since logic.  This should fix the
"stale front page" problem that has plagued VG.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@826 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a bug in previous commit: an extra CR LF was inserted after the Date
header in a 304 response.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@825 d4fa192b-c00b-0410-8231-f00ffab90ce4

Better 304 responses: include a Date header, and send the correct
Last-Modified value.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@824 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement the "error" VCL keyword:

 - add fields to struct sess where VRT_error can store the error code and
   message
 - modify cnt_error() to pass these fields to RES_Error(), then clear them
 - modify RES_Error() (and the entire chain) to accept a third argument
   giving an explanation of the error.
 - have RES_Error() reset the worker before writing the error document, to
   make sure wfd is set.

fixes: #4

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@823 d4fa192b-c00b-0410-8231-f00ffab90ce4

When -b and -c given, supress "other" messages.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@822 d4fa192b-c00b-0410-8231-f00ffab90ce4

fix formatting glitches in -o mode

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@821 d4fa192b-c00b-0410-8231-f00ffab90ce4

Also mark as client on ReqStart

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@820 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make lack of -d option work as expected.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@819 d4fa192b-c00b-0410-8231-f00ffab90ce4

Drop the -h option, it never really worked out.

Use the new libvarnishapi facilities to structure code better.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@818 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve the shmlog facilities.

Move the sleeping and timing out into the library so we do not
have to repeat it in all apps.  Should we ever find an app
that needs something else, we will cater for it then.

Add VSL_Dispatch() which calls a (supplied) function (pointer) for each
record.  Additional useful information is passed as arguments, such
as classification (backend/client/other) etc.

Add a default handler for printing a record.

Add VSL_Select() where the application can specify tags that are mandatory
and which should not be subject to -i/-x/-I/-X/-b/-c filtering.

Be more frugal with memory.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@817 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dirty hack: strip the leading "::ffff:" from v4-to-v6-mapped addresses.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@816 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert regexp != NULL

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@815 d4fa192b-c00b-0410-8231-f00ffab90ce4

A NULL pointer does not match a regexp

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@814 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use 1:1 for hashbucket:mutex ratio

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@813 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add -T <telnetport> option.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@812 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the already decoded CSTR where applicable and use
EncString() to encode strings for C source usage.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@811 d4fa192b-c00b-0410-8231-f00ffab90ce4

Until we know of a legitimate use for them, consider non !isgraph()
%xx escapes an error.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@810 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't recognize '\' as magic in CSTR tokens, use %xx escapes instead.

Add decoded string element to struct token.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@809 d4fa192b-c00b-0410-8231-f00ffab90ce4

Improve flexelint setup

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@808 d4fa192b-c00b-0410-8231-f00ffab90ce4

More meat, and even more debug code. I am free()'ing stuff that does not exsist.

Strugling with the pointers and strings, since they obviously are "bleeding" from one to another.
I take that as a clear sign of not allocating and freeing right.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@807 d4fa192b-c00b-0410-8231-f00ffab90ce4

Regenerate.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@804 d4fa192b-c00b-0410-8231-f00ffab90ce4

Widen left and right margins, and add a blank line between the paths and
the message.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@803 d4fa192b-c00b-0410-8231-f00ffab90ce4

Print the message separately from the paths to avoid strange wrapping.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@802 d4fa192b-c00b-0410-8231-f00ffab90ce4

This is the XSL stylesheet used to generate the ChangeLog.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@801 d4fa192b-c00b-0410-8231-f00ffab90ce4

Include LICENSE and autogen.sh in the dist tarball.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@800 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't install libcompat.a.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@799 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a README and installation instructions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@798 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't filter Cache-Control out in replies from backend.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@797 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix protocol family selection logic to also work on
a FreeBSD machine with now IPv6.

Remember to also free the addrinfo in case of success.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@796 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bail if we don't get a listening socket.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@795 d4fa192b-c00b-0410-8231-f00ffab90ce4

Missed one:  Only include compat headers if necessary

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@794 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pull in ../../config.h when running flexelint.

Only include compat headers if we need them.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@793 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix indentation

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@792 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused variable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@791 d4fa192b-c00b-0410-8231-f00ffab90ce4

Point at KQUEUE version of acceptor by default.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@790 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix an assert so it actually has a chance of firing: (an unsigned is
always >= 0)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@789 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rewrite pass_chunked().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@785 d4fa192b-c00b-0410-8231-f00ffab90ce4

Got the requesttime right this time.

I am noticing free()'s that are freeing empty variables/pointers. Have to find where is happens.
Also noticing IP adresses not set correctly.

Still load of debugcode.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@784 d4fa192b-c00b-0410-8231-f00ffab90ce4

Updated to work with new inner workings (ReqStart, ReqEnd, sbuf replacement etc).

Code now compiles.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@783 d4fa192b-c00b-0410-8231-f00ffab90ce4

FreeBSD needs <netinet/in.h> for IPPROTO_IPV6 and IPV6_V6ONLY.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@782 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added some more meat to the program. Loads of debug code still on.

Next step is to add the correct time. It's a bit tricky, and I haven't gotten it right just yet.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@781 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an epoll()-based acceptor for Linux 2.6.  Simple empirical tests indicate
that epoll() performs significantly better than poll() (less CPU usage).

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@780 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clear reference to backend when we release our VCL reference.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@779 d4fa192b-c00b-0410-8231-f00ffab90ce4