You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-03 - 20:52

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Sun May 03, 2026 12:43:11)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2150276999989,7cyclictest421-21dbus-daemon10:19:081
2150275997558,14cyclictest2238812-40mandb10:18:090
2150277995849,4cyclictest0-21swapper/210:19:082
2150276995244,5cyclictest2181810-21systemd-run08:55:011
2150276995244,5cyclictest2181810-21systemd-run08:55:011
2150275995017,27cyclictest2336416-21ssh12:20:530
2150276994934,10cyclictest261-21systemd-journal09:57:381
2150276994934,10cyclictest261-21systemd-journal09:57:381
2150275994930,12cyclictest0-21swapper/011:45:510
215027799484,34cyclictest2276649-21ssh11:05:492
2150277994838,6cyclictest1-21systemd07:50:012
2150277994838,6cyclictest1-21systemd07:50:012
2150276994832,13cyclictest1339207-21cups-browsed10:25:021
2150275994839,5cyclictest2279283-21cron11:10:000
215027599481,37cyclictest2170227-21awk08:15:380
2150277994738,6cyclictest2303190-21unin-run11:40:022
2150277994738,6cyclictest2303190-21unin-run11:40:022
2150277994738,5cyclictest2214125-21timerwakeupswit09:45:572
2150276994738,4cyclictest0-21swapper/107:25:481
2150277994536,6cyclictest421-21dbus-daemon08:10:352
2150277994536,6cyclictest2232005-21unin-run10:10:012
215027799453,34cyclictest2296586-21ssh11:30:522
2150276994435,6cyclictest2323026-21grep12:05:011
2150276994433,7cyclictest2268296-21if_wlan010:55:411
2150276994433,7cyclictest2268296-21if_wlan010:55:411
2150275994436,5cyclictest2184833-21systemd-run09:05:010
2150275994436,5cyclictest2184833-21systemd-run09:05:010
2150275994435,4cyclictest0-21swapper/009:10:150
2150275994424,12cyclictest2249017-21ssh10:30:500
2150277994335,4cyclictest2212254-21kworker/u8:11-xprtiod11:45:512
2150276994335,5cyclictest2251631-21idleruntime-cro10:35:011
215027599433,32cyclictest2199249-21ssh09:25:510
2150275994320,10cyclictest171rcu_preempt12:37:340
2150277994235,2cyclictest0-21swapper/207:20:442
2150277994234,4cyclictest0-21swapper/212:05:442
2150277994233,6cyclictest516-21in:imuxsock09:55:012
2150277994228,8cyclictest2206364-21sh09:35:482
2150277994133,5cyclictest2224082-21cron10:00:012
2150277994133,5cyclictest2224082-21cron10:00:012
2150277994031,6cyclictest2243671-21cron10:25:002
2150276994031,6cyclictest421-21dbus-daemon10:55:011
2150276994028,9cyclictest695-21cron08:00:001
2150277993930,6cyclictest0-21swapper/211:20:012
2150276993931,5cyclictest2335045-21latency_hist12:20:021
2150276993931,5cyclictest2319025-21cut12:00:001
2150276993931,5cyclictest2229679-21grep10:05:581
2150276993929,6cyclictest1-21systemd11:45:011
215027599399,17cyclictest12350irq/32-eth011:30:520
2150275993932,3cyclictest0-21swapper/011:50:520
2150277993831,4cyclictest1055-21mta-sts-daemon10:30:082
2150277993829,5cyclictest2283213-21cron11:15:002
2150277993829,5cyclictest2150792-21cut07:10:392
2150276993830,5cyclictest2208991-21latency_hist09:40:031
2150276993828,7cyclictest2202696-21needreboot09:30:441
215027599387,26cyclictest2229316-21ssh10:05:480
2150275993826,9cyclictest2292973-21timerwakeupswit11:25:570
2150275993817,3cyclictest171rcu_preempt10:25:530
215027599380,9cyclictest14-21ksoftirqd/012:10:470
215027599380,9cyclictest14-21ksoftirqd/012:10:470
2150277993731,3cyclictest0-21swapper/212:20:472
2150277993730,4cyclictest2199816-21unixbench_singl09:26:012
2150277993730,3cyclictest0-21swapper/210:25:482
2150277993728,6cyclictest1339203-21cupsd12:04:372
2150277993728,6cyclictest1054-21mta-sts-daemon09:14:162
2150277993726,7cyclictest421-21dbus-daemon08:40:502
2150276993731,3cyclictest0-21swapper/111:40:011
2150276993731,3cyclictest0-21swapper/111:40:011
2150276993730,4cyclictest2291185-21cron11:25:011
2150276993730,3cyclictest0-21swapper/111:05:411
2150276993722,9cyclictest2252895-21sh10:35:481
2150275993727,6cyclictest261-21systemd-journal09:40:010
2150275993720,3cyclictest0-21swapper/011:55:550
2150275993718,11cyclictest171rcu_preempt10:59:510
2150275993718,11cyclictest171rcu_preempt10:59:510
2150275993714,20cyclictest2284680-21ssh11:15:530
215027599371,15cyclictest2300469-21modprobe11:35:490
215027599371,15cyclictest2300469-21modprobe11:35:490
215027599370,12cyclictest14-21ksoftirqd/007:25:510
2150276993630,3cyclictest0-21swapper/107:20:011
2150276993628,5cyclictest0-21swapper/112:20:561
2150276993626,7cyclictest2167279-21fschecks_count08:05:401
2150276993626,6cyclictest420-21avahi-daemon11:45:441
2150276993626,5cyclictest2311581-21/usr/sbin/munin11:50:401
215027699362,27cyclictest2280562-21ssh11:10:481
215027599363,28cyclictest2221608-21ssh09:55:540
215027599363,28cyclictest2221608-21ssh09:55:540
2150275993622,9cyclictest12450irq/33-eth011:10:490
2150275993621,13cyclictest2185904-21mailstats09:05:570
2150275993619,11cyclictest151ktimers/008:45:500
215027599361,27cyclictest2260946-21ssh10:45:540
215027799353,24cyclictest2260832-21ssh10:45:492
2150277993528,4cyclictest2347682-21cpuspeed12:35:382
2150277993528,4cyclictest2171300-21munin-run08:20:012
2150277993528,3cyclictest0-21swapper/211:50:412
2150277993527,5cyclictest2346910-21munin-plugin-st12:35:012
2150277993526,5cyclictest2159252-21grep07:40:002
2150276993530,2cyclictest0-21swapper/108:40:011
2150276993529,2cyclictest0-21swapper/110:15:011
2150276993527,5cyclictest2327002-21munin-run12:10:011
2150276993527,5cyclictest2188112-21timerwakeupswit09:11:031
2150276993526,6cyclictest2183731-21sshd09:00:371
2150276993526,6cyclictest2183731-21sshd09:00:371
215027699352,25cyclictest2199318-21ssh09:25:551
2150276993519,6cyclictest2195479-21sh09:20:521
2150275993527,5cyclictest2214342-21ssh09:46:020
2150275993527,5cyclictest2196013-21unixbench_multi09:21:020
2150275993526,5cyclictest0-21swapper/008:15:020
215027599352,5cyclictest14-21ksoftirqd/009:15:410
2150275993520,5cyclictest0-21swapper/009:40:040
2150277993428,3cyclictest0-21swapper/212:15:012
2150277993428,3cyclictest0-21swapper/212:15:012
2150277993426,5cyclictest1339207-21cups-browsed10:54:122
2150277993426,4cyclictest0-21swapper/211:00:482
2150277993426,3cyclictest0-21swapper/209:10:012
2150277993422,8cyclictest2252648-21ls10:35:432
2150276993428,3cyclictest0-21swapper/107:45:011
2150276993428,3cyclictest0-21swapper/107:45:011
2150276993427,3cyclictest0-21swapper/112:25:371
2150276993426,5cyclictest2272305-21/usr/sbin/munin11:00:411
2150276993426,5cyclictest2172840-21systemd-run08:25:011
215027599347,13cyclictest14-21ksoftirqd/012:05:510
215027599344,23cyclictest2272735-21ssh11:00:510
2150275993426,5cyclictest0-21swapper/008:45:020
2150275993420,11cyclictest0-21swapper/007:25:020
2150275993413,3cyclictest171rcu_preempt07:15:410
2150275993412,7cyclictest171rcu_preempt10:21:090
215027599341,10cyclictest14-21ksoftirqd/011:40:520
2150277993327,3cyclictest0-21swapper/211:00:012
2150277993327,3cyclictest0-21swapper/211:00:012
2150277993325,5cyclictest2168270-21systemd-run08:10:012
2150277993325,4cyclictest0-21swapper/211:25:012
2150277993324,5cyclictest2186302-21diskmemload11:40:532
215027699336,18cyclictest428-21mta-sts-daemon09:40:471
2150276993328,2cyclictest0-21swapper/111:30:531
2150276993326,4cyclictest2259612-21ssh10:45:011
2150276993326,3cyclictest0-21swapper/112:35:421
215027599333,25cyclictest2320313-21ssh12:00:480
2150275993327,4cyclictest151ktimers/007:55:490
2150275993327,3cyclictest0-21swapper/010:40:390
2150275993326,4cyclictest2265358-21unixbench-2d10:51:000
2150275993325,5cyclictest2231995-21kworker/u8:8-xprtiod12:20:000
2150275993317,10cyclictest171rcu_preempt11:20:300
2150275993315,4cyclictest171rcu_preempt07:30:490
2150275993313,9cyclictest171rcu_preempt10:02:550
2150277993223,6cyclictest2257119-21sendmail_mailqu10:40:552
2150277993221,8cyclictest2166767-21/usr/sbin/munin08:05:012
2150276993227,2cyclictest0-21swapper/112:10:391
2150276993227,2cyclictest0-21swapper/112:10:391
2150276993226,3cyclictest0-21swapper/110:01:101
2150276993224,5cyclictest2344746-21unixbench-2d12:30:581
2150276993224,5cyclictest2213464-21sh09:45:421
2150276993224,4cyclictest0-21swapper/111:16:561
2150276993223,5cyclictest1339207-21cups-browsed09:16:581
215027599322,22cyclictest2340302-21ssh12:25:500
2150275993220,9cyclictest2233348-21gcc10:10:510
2150275993217,2cyclictest171rcu_preempt12:34:150
215027599321,26cyclictest2217644-21ssh09:50:510
2150275993212,15cyclictest2253192-21mailstats10:35:560
215027799313,21cyclictest2340180-21ssh12:25:462
2150277993124,4cyclictest0-21swapper/212:00:012
2150277993123,5cyclictest2212433-21basename09:45:012
2150277993123,5cyclictest1-21systemd12:20:012
2150277993121,4cyclictest0-21swapper/211:26:292
2150276993125,3cyclictest0-21swapper/107:40:001
2150276993124,4cyclictest2177850-21fschecks_time08:40:401
2150275993121,7cyclictest191rcuc/008:40:010
2150275993116,12cyclictest0-21swapper/007:50:010
2150275993116,12cyclictest0-21swapper/007:50:010
2150275993115,3cyclictest171rcu_preempt07:35:500
2150275993111,19cyclictest2173043-21kworker/u8:14+events_unbound08:27:400
215027599310,4cyclictest2186302-21diskmemload09:32:410
215027799304,21cyclictest2233174-21ssh10:10:442
2150277993022,5cyclictest2160751-21cron07:45:002
2150277993022,5cyclictest2160751-21cron07:45:002
2150277993022,4cyclictest439-21systemd-logind09:00:012
2150277993022,4cyclictest439-21systemd-logind09:00:012
2150276993024,3cyclictest0-21swapper/110:26:001
2150276993023,3cyclictest0-21swapper/109:50:461
2150276993022,5cyclictest2183279-21cron09:00:001
2150276993022,5cyclictest2183279-21cron09:00:001
2150276993022,5cyclictest2157673-21sed07:30:591
2150276993022,5cyclictest1056-21mta-sts-daemon10:48:041
215027599309,14cyclictest171rcu_preempt07:40:470
215027599309,14cyclictest171rcu_preempt07:40:470
2150275993020,3cyclictest171rcu_preempt08:30:500
2150275993011,16cyclictest2172820-21idleruntime-cro08:25:010
2150277992922,4cyclictest2228029-21ls10:05:002
2150277992922,4cyclictest2205204-21true09:35:012
2150277992922,4cyclictest2173280-21cpuspeed08:25:402
2150277992921,5cyclictest2186302-21diskmemload09:20:382
2150276992921,5cyclictest2291848-21aten2.4-expect11:25:361
2150276992917,9cyclictest2171311-21sendmail08:20:011
2150275992916,3cyclictest171rcu_preempt07:53:530
2150275992916,3cyclictest171rcu_preempt07:10:450
215027599291,15cyclictest2166154-21ntpq08:00:500
215027599290,14cyclictest0-21swapper/008:55:480
215027599290,14cyclictest0-21swapper/008:55:480
215027799288,3cyclictest171rcu_preempt07:30:592
2150277992821,3cyclictest0-21swapper/207:30:012
2150277992819,5cyclictest2162712-21cpuspeed07:50:372
2150277992818,7cyclictest2184800-21cron09:05:002
2150277992818,7cyclictest2184800-21cron09:05:002
2150276992821,3cyclictest0-21swapper/107:20:511
2150276992819,7cyclictest1054-21mta-sts-daemon07:10:511
2150276992818,7cyclictest2169557-21timerwakeupswit08:10:561
2150276992817,8cyclictest2163151-21ntp_kernel_pll_07:50:481
2150276992816,6cyclictest1055-21mta-sts-daemon08:00:441
2150276992815,7cyclictest1054-21mta-sts-daemon08:25:491
215027599284,9cyclictest14-21ksoftirqd/008:50:450
215027599284,9cyclictest14-21ksoftirqd/008:50:450
2150275992821,2cyclictest171rcu_preempt08:05:580
2150277992721,3cyclictest0-21swapper/208:40:012
2150277992719,5cyclictest2171870-21gltestperf08:20:402
2150277992718,6cyclictest439-21systemd-logind09:20:012
2150276992721,3cyclictest1056-21mta-sts-daemon08:45:421
2150276992720,4cyclictest2136193-21kworker/u8:8-xprtiod08:30:431
2150277992620,3cyclictest0-21swapper/208:45:582
2150276992619,4cyclictest1051-21mta-sts-daemon07:45:511
2150276992619,4cyclictest1051-21mta-sts-daemon07:45:511
2150276992619,4cyclictest0-21swapper/109:10:001
2150275992612,3cyclictest171rcu_preempt07:10:010
2150277992519,3cyclictest0-21swapper/207:55:372
2150277992518,4cyclictest0-21swapper/207:20:012
2150277992416,5cyclictest2150286-21systemd-run07:10:012
215027799222,15cyclictest2181164-21ntpq08:50:462
215027799222,15cyclictest2181164-21ntpq08:50:462
2150277992215,4cyclictest0-21swapper/208:30:582
215027699198,8cyclictest421-21dbus-daemon07:10:011
215027899181,6cyclictest0-21swapper/307:50:453
215027899173,6cyclictest0-21swapper/310:30:443
215027899172,9cyclictest0-21swapper/310:19:083
215027899162,6cyclictest0-21swapper/311:35:483
215027899162,6cyclictest0-21swapper/311:35:483
215027899162,5cyclictest0-21swapper/308:35:483
215027899161,6cyclictest0-21swapper/308:25:503
215027899152,6cyclictest0-21swapper/309:10:503
215027899142,7cyclictest0-21swapper/310:53:393
215027899142,7cyclictest0-21swapper/310:05:483
215027899142,6cyclictest0-21swapper/309:40:533
215027899142,5cyclictest0-21swapper/310:40:483
215027899141,7cyclictest0-21swapper/310:25:473
215027899141,7cyclictest0-21swapper/309:35:463
215027899141,6cyclictest0-21swapper/312:20:453
215027899141,6cyclictest0-21swapper/311:45:473
215027899134,6cyclictest0-21swapper/312:15:463
215027899132,6cyclictest0-21swapper/312:05:443
215027899132,6cyclictest0-21swapper/311:40:503
215027899132,6cyclictest0-21swapper/309:30:523
215027899131,7cyclictest0-21swapper/312:30:453
215027899131,7cyclictest0-21swapper/310:35:463
215027899131,7cyclictest0-21swapper/309:20:523
215027899131,7cyclictest0-21swapper/308:15:373
215027899131,6cyclictest0-21swapper/308:05:473
215027899131,5cyclictest0-21swapper/308:30:443
215027899131,5cyclictest0-21swapper/307:45:463
215027899131,5cyclictest0-21swapper/307:45:463
215027899131,5cyclictest0-21swapper/307:15:453
215027899124,6cyclictest0-21swapper/311:00:413
215027899123,5cyclictest0-21swapper/311:10:493
215027899123,5cyclictest0-21swapper/310:10:483
215027899122,6cyclictest0-21swapper/312:25:463
215027899122,6cyclictest0-21swapper/311:15:513
215027899122,6cyclictest0-21swapper/309:55:383
215027899122,6cyclictest0-21swapper/309:55:383
215027899122,6cyclictest0-21swapper/309:15:363
215027899122,6cyclictest0-21swapper/307:20:513
215027899122,5cyclictest0-21swapper/309:45:463
215027899122,4cyclictest0-21swapper/308:50:443
215027899122,4cyclictest0-21swapper/308:50:443
215027899121,7cyclictest0-21swapper/312:35:523
215027899121,6cyclictest0-21swapper/311:50:473
215027899121,6cyclictest0-21swapper/311:25:463
215027899121,6cyclictest0-21swapper/311:20:473
215027899121,6cyclictest0-21swapper/309:05:503
215027899121,5cyclictest0-21swapper/308:00:493
215027899112,6cyclictest0-21swapper/312:10:393
215027899112,6cyclictest0-21swapper/312:10:393
215027899112,5cyclictest0-21swapper/311:55:373
215027899112,5cyclictest0-21swapper/310:45:433
215027899112,5cyclictest0-21swapper/310:20:393
215027899111,6cyclictest0-21swapper/311:30:533
215027899111,6cyclictest0-21swapper/308:45:403
215027899111,6cyclictest0-21swapper/308:20:493
215027899111,6cyclictest0-21swapper/307:40:393
215027899111,6cyclictest0-21swapper/307:40:393
215027899111,5cyclictest0-21swapper/309:00:453
215027899111,5cyclictest0-21swapper/309:00:453
215027899111,5cyclictest0-21swapper/308:40:453
215027899111,5cyclictest0-21swapper/307:30:473
215027899111,5cyclictest0-21swapper/307:25:463
215027899111,5cyclictest0-21swapper/307:10:463
215027899111,3cyclictest0-21swapper/310:55:033
215027899111,3cyclictest0-21swapper/310:55:033
215027899110,5cyclictest0-21swapper/308:10:453
215027899103,5cyclictest0-21swapper/309:25:553
215027899102,5cyclictest0-21swapper/311:05:463
215027899101,7cyclictest0-21swapper/310:00:513
215027899101,6cyclictest0-21swapper/312:00:433
215027899101,6cyclictest0-21swapper/309:50:393
21502789990,5cyclictest0-21swapper/307:55:473
21502789981,4cyclictest0-21swapper/307:10:023
21502789981,3cyclictest0-21swapper/308:55:033
21502789981,3cyclictest0-21swapper/308:55:033
21502789981,3cyclictest0-21swapper/307:35:463
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional