You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-31 - 14:35

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot3s.osadl.org (updated Wed Dec 31, 2025 00:45:05)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2272281999187,2cyclictest0-21swapper/000:00:020
227228199733,6cyclictest364-21snmpd23:42:560
2272281997230,38cyclictest1-21systemd00:05:000
2272281997029,36cyclictest309-21in:imuxsock19:25:010
2272286996923,40cyclictest1-21systemd00:25:001
227228199692,6cyclictest2278187-21munin-run21:05:000
227228199691,27cyclictest0-21swapper/021:18:300
2272297996848,16cyclictest2278404-21sshd21:05:303
2272297996848,16cyclictest2278404-21sshd21:05:303
2272281996836,29cyclictest16950irq/224-800000019:50:000
2272297996747,16cyclictest2283593-21sshd22:47:103
2272281996725,10cyclictest238-21systemd-journal00:25:000
2272281996724,3cyclictest0-21swapper/023:24:300
2272297996646,16cyclictest2274529-21sshd19:52:303
2272297996547,14cyclictest2284872-21sshd23:11:303
2272297996532,6cyclictest2281563-21munin-run22:10:013
2272281996525,4cyclictest0-21swapper/023:30:010
2272281996517,12cyclictest1-21systemd23:00:000
2272297996449,11cyclictest2281271-21sshd22:02:033
2272281996421,39cyclictest12-21ksoftirqd/023:11:240
2272297996349,11cyclictest2282315-21sshd22:22:303
2272297996349,10cyclictest2276844-21sshd20:36:303
2272297996348,11cyclictest2279709-21sshd21:31:303
2272297996345,14cyclictest2287210-21sshd23:58:303
2272286996322,37cyclictest23-21ksoftirqd/100:30:021
2272297996248,11cyclictest2272990-21sshd19:21:303
2272297996247,12cyclictest2286443-21sshd23:40:303
2272297996245,14cyclictest2284366-21sshd23:00:303
2272297996245,13cyclictest2283839-21sshd22:51:303
2272293996237,16cyclictest30-21ksoftirqd/220:00:002
227228699622,16cyclictest2276725-21grep20:35:021
2272286996214,4cyclictest0-21swapper/122:05:001
227228699621,13cyclictest2288005-21cron00:15:001
2272281996224,14cyclictest12-21ksoftirqd/022:20:000
2272281996215,9cyclictest0-21swapper/021:50:020
2272297996148,10cyclictest2280236-21sshd21:40:303
2272297996148,10cyclictest2274029-21sshd19:42:303
2272297996148,10cyclictest2274029-21sshd19:42:303
2272297996147,11cyclictest2273500-21sshd19:32:303
2272297996147,11cyclictest2272854-21cat19:20:033
2272297996146,12cyclictest2283334-21sshd22:40:303
2272297996146,11cyclictest2279466-21sshd21:27:303
2272297996145,13cyclictest2288526-21sshd00:21:303
2272297996145,13cyclictest2276096-21sshd20:21:503
2272297996145,11cyclictest2285710-21munin-run23:30:013
2272297996144,14cyclictest2284634-21sshd23:09:303
2272297996143,14cyclictest2287733-21sshd00:05:303
2272297996137,19cyclictest2286735-21true23:50:013
2272297996137,19cyclictest2286735-21true23:50:013
2272286996125,31cyclictest1-21systemd23:30:011
2272286996120,10cyclictest23-21ksoftirqd/123:55:011
2272286996117,5cyclictest309-21in:imuxsock20:55:001
227228699611,19cyclictest2286210-21cut23:40:011
227228699611,17cyclictest2274539-21cron19:55:001
2272281996128,5cyclictest0-21swapper/021:40:010
2272281996128,5cyclictest0-21swapper/021:40:010
2272281996122,8cyclictest12-21ksoftirqd/022:50:020
2272297996048,9cyclictest2273246-21sshd19:26:473
2272297996048,9cyclictest2273246-21sshd19:26:473
2272297996047,9cyclictest2282034-21sshd22:17:053
2272297996046,11cyclictest2281801-21munin-run22:15:013
2272297996045,11cyclictest2275556-21sshd20:11:503
2272297996044,13cyclictest2287986-21sshd00:11:303
2272297996044,13cyclictest2280750-21sshd21:53:303
2272297996044,12cyclictest2286177-21sshd23:38:293
2272297996044,12cyclictest2281004-21sshd21:59:303
2272297996043,14cyclictest2274785-21sshd19:59:303
2272293996039,14cyclictest238-21systemd-journal22:10:012
227228699602,17cyclictest2273543-21latency_hist19:35:011
2272286996021,5cyclictest2284816-21latency_hist23:10:031
2272286996019,5cyclictest2287764-21latency_hist00:10:011
2272281996025,13cyclictest2275551-21sshd20:10:300
2272281996021,9cyclictest275-21dbus-daemon20:25:000
2272281996020,10cyclictest12-21ksoftirqd/019:17:000
2272297995946,10cyclictest2285915-21sshd23:31:303
2272297995946,10cyclictest2285915-21sshd23:31:303
2272297995946,10cyclictest2277883-21sshd20:57:303
2272297995943,13cyclictest2279213-21sshd21:22:303
2272297995943,13cyclictest2279213-21sshd21:22:293
227228699593,22cyclictest2275857-21munin-plugin-st20:20:011
2272286995918,4cyclictest2279235-21latency_hist21:25:021
2272286995918,4cyclictest2279235-21latency_hist21:25:021
2272286995916,10cyclictest309-21in:imuxsock21:05:011
2272281995927,10cyclictest2277622-21sshd20:50:300
2272281995923,5cyclictest2284754-21latency_hist23:10:020
2272297995846,9cyclictest2288258-21sshd00:18:303
2272297995846,9cyclictest2288258-21sshd00:18:303
2272297995846,9cyclictest2278667-21sshd21:11:303
2272297995845,9cyclictest2287492-21sshd00:02:303
2272297995845,10cyclictest2288779-21sshd00:26:303
2272297995845,10cyclictest2274279-21sshd19:47:293
2272297995844,11cyclictest2275313-21sshd20:08:303
2272297995843,12cyclictest2289054-21sshd00:34:303
2272297995843,12cyclictest2275050-21sshd20:01:303
2272297995843,11cyclictest2284095-21sshd22:57:133
2272297995831,23cyclictest311-21rs:main3
227228699583,17cyclictest2282065-21latency_hist22:20:001
227228699582,16cyclictest2281033-21cut22:00:011
227228699582,13cyclictest2284891-21cron23:15:001
2272281995825,4cyclictest2289057-21apt-helper00:34:300
227228199581,3cyclictest2283130-21systemd-run22:40:010
2272297995744,10cyclictest2285420-21sshd23:22:303
2272297995744,10cyclictest2282570-21sshd22:28:303
2272297995740,14cyclictest364-21snmpd20:31:563
2272297995730,22cyclictest2273907-21sort19:40:023
2272286995721,33cyclictest2288366-21latency_hist00:20:021
2272286995721,33cyclictest2288366-21latency_hist00:20:021
2272286995711,9cyclictest2281905-21sort22:15:031
2272286995711,8cyclictest2285155-21modprobe23:20:001
2272281995720,7cyclictest12-21ksoftirqd/021:10:020
2272281995720,7cyclictest12-21ksoftirqd/021:10:020
227228199571,49cyclictest2288004-21cron00:15:000
2272297995645,9cyclictest2279960-21sshd21:36:303
2272297995645,9cyclictest2279960-21sshd21:36:303
2272297995641,12cyclictest364-21snmpd23:16:253
2272286995630,23cyclictest23-21ksoftirqd/120:50:021
2272286995623,29cyclictest1-21systemd20:30:011
2272286995622,30cyclictest23-21ksoftirqd/100:00:301
2272286995622,30cyclictest2279737-21latency_hist21:35:011
227228199563,17cyclictest2276645-21latency_hist20:35:020
2272297995544,6cyclictest2278157-21sshd21:01:543
2272297995542,10cyclictest364-21snmpd21:46:083
2272297995542,10cyclictest364-21snmpd20:40:553
2272297995542,10cyclictest364-21snmpd20:25:523
2272286995523,29cyclictest23-21ksoftirqd/122:55:011
2272297995440,10cyclictest364-21snmpd22:32:383
2272297995432,18cyclictest2272380-21date19:10:023
227228699542,17cyclictest2274304-21cut19:50:001
227228699542,15cyclictest2284131-21grep23:00:001
227228699541,15cyclictest2276926-21latency_hist20:40:011
2272281995421,9cyclictest12-21ksoftirqd/000:10:020
2272281995417,9cyclictest2274562-21sh19:55:010
2272297995346,4cyclictest2283063-21sshd22:37:093
2272297995335,15cyclictest364-21snmpd20:48:533
2272286995323,27cyclictest2284397-21latency_hist23:05:021
2272286995322,27cyclictest2283616-21latency_hist22:50:021
227228699532,19cyclictest2279000-21unin-run21:20:011
2272286995317,4cyclictest2278402-21kworker/u8:221:26:561
2272297995231,17cyclictest2286959-21sshd23:53:303
227228699522,17cyclictest2289061-21md.daily00:34:321
227228699522,14cyclictest2272750-21systemctl19:20:001
2272286995218,4cyclictest23-21ksoftirqd/123:59:591
2272281995222,6cyclictest12-21ksoftirqd/021:55:010
2272281995220,8cyclictest2281524-21sshd22:07:020
227229399518,26cyclictest2279983-21modprobe21:40:002
227229399518,26cyclictest2279983-21modprobe21:40:002
2272293995131,14cyclictest238-21systemd-journal22:15:012
2272286995117,7cyclictest2280300-21sed21:45:011
2272281995141,5cyclictest16950irq/224-800000019:40:000
2272297995033,12cyclictest2289417-21systemd-run00:40:013
227228699506,25cyclictest364-21snmpd19:10:021
2272286995035,9cyclictest23-21ksoftirqd/120:45:021
227228699502,14cyclictest2280621-21latency_hist21:50:021
2272286995010,11cyclictest275-21dbus-daemon19:25:011
2272281995020,8cyclictest12-21ksoftirqd/021:00:010
2272297994933,12cyclictest364-21snmpd20:54:033
2272293994934,9cyclictest309-21in:imuxsock22:30:002
2272286994920,8cyclictest23-21ksoftirqd/120:05:011
2272286994910,7cyclictest131rcu_preempt22:40:001
2272297994836,9cyclictest364-21snmpd21:19:363
2272297994833,12cyclictest2272450-21modprobe19:11:303
227229399483,38cyclictest309-21in:imuxsock20:25:002
227228699483,13cyclictest2273782-21munin-run19:40:001
2272286994819,8cyclictest23-21ksoftirqd/119:55:451
227228199488,6cyclictest131rcu_preempt21:43:310
227228199481,19cyclictest131rcu_preempt21:15:010
227229399475,27cyclictest2287220-40mandb00:00:002
2272293994730,14cyclictest2273753-21sshd19:38:312
2272293994729,12cyclictest238-21systemd-journal22:05:002
2272293994725,20cyclictest291rcuc/200:30:012
227228699478,10cyclictest275-21dbus-daemon22:25:011
227228699472,16cyclictest2289360-21sshd00:39:301
2272281994733,10cyclictest238-21systemd-journal20:45:000
2272281994731,12cyclictest238-21systemd-journal23:55:000
2272286994633,10cyclictest1-21systemd20:25:001
2272293994530,7cyclictest309-21in:imuxsock23:10:012
2272293994526,14cyclictest238-21systemd-journal21:25:002
2272293994526,14cyclictest238-21systemd-journal21:25:002
2272293994522,17cyclictest275-21dbus-daemon20:55:002
2272293994521,5cyclictest30-21ksoftirqd/219:15:012
2272286994515,6cyclictest23-21ksoftirqd/120:10:011
2272281994532,10cyclictest1-21systemd00:40:010
2272281994529,12cyclictest238-21systemd-journal22:00:010
227229399446,11cyclictest2282054-21modprobe22:20:002
227228699443,17cyclictest1-21systemd19:45:011
227228699443,17cyclictest1-21systemd19:45:011
2272286994417,7cyclictest23-21ksoftirqd/123:35:011
2272286994417,7cyclictest23-21ksoftirqd/123:35:011
2272293994329,7cyclictest309-21in:imuxsock22:45:002
2272293994328,11cyclictest1-21systemd20:45:002
2272293994324,13cyclictest275-21dbus-daemon23:15:012
2272286994328,11cyclictest275-21dbus-daemon21:55:011
2272286994326,13cyclictest238-21systemd-journal21:15:001
2272281994335,4cyclictest0-21swapper/019:10:020
227228199433,34cyclictest2274114-21grep19:45:020
227228199433,34cyclictest2274114-21grep19:45:020
2272293994227,10cyclictest1-21systemd23:55:002
2272281994213,6cyclictest12-21ksoftirqd/020:30:000
227228199421,27cyclictest0-21swapper/022:50:390
2272293994128,10cyclictest2274060-21systemd-run19:45:012
2272293994128,10cyclictest2274060-21systemd-run19:45:012
227228699413,4cyclictest131rcu_preempt20:14:591
2272286994130,8cyclictest23-21ksoftirqd/122:45:011
2272286994130,8cyclictest2286706-21sshd23:47:301
2272286994130,8cyclictest2286706-21sshd23:47:301
2272286994129,8cyclictest238-21systemd-journal23:25:001
2272286994127,11cyclictest275-21dbus-daemon22:10:011
2272281994133,4cyclictest16950irq/224-800000022:15:010
2272293994029,8cyclictest2287492-21sshd00:02:302
2272293994026,11cyclictest30-21ksoftirqd/222:40:012
2272293994024,12cyclictest1-21systemd21:50:012
2272293994013,22cyclictest291rcuc/220:10:012
2272281994032,4cyclictest16950irq/224-800000019:15:010
2272281994031,5cyclictest309-21in:imuxsock20:05:000
227228199402,4cyclictest2283383-21munin-run22:45:010
2272281994023,12cyclictest2273510-21cron19:35:000
2272293993929,5cyclictest30-21ksoftirqd/200:35:012
2272293993926,9cyclictest309-21in:imuxsock20:20:012
2272293993925,10cyclictest275-21dbus-daemon23:30:012
2272293993921,13cyclictest1-21systemd22:35:012
2272293993916,14cyclictest275-21dbus-daemon20:50:012
2272286993927,9cyclictest2272491-21systemctl19:15:011
227228199392,5cyclictest2288288-21munin-run00:20:000
227228199392,5cyclictest2288288-21munin-run00:20:000
227229399387,17cyclictest2289370-21modprobe00:40:002
2272293993823,10cyclictest30-21ksoftirqd/223:45:012
227229399381,5cyclictest131rcu_preempt19:20:002
227229399381,27cyclictest2278402-21kworker/u8:221:10:022
227229399381,27cyclictest2278402-21kworker/u8:221:10:022
227228199387,3cyclictest131rcu_preempt23:20:010
2272281993829,6cyclictest2276861-21cron20:40:000
2272281993818,5cyclictest16850irq/134-800000023:39:300
2272281993817,6cyclictest16850irq/134-800000020:08:300
2272293993725,9cyclictest30-21ksoftirqd/223:20:002
2272293993722,12cyclictest2274371-21sed19:50:012
2272293993722,11cyclictest238-21systemd-journal20:14:302
2272293993722,11cyclictest2282525-21sed22:25:022
2272286993724,10cyclictest1-21systemd21:10:011
2272286993724,10cyclictest1-21systemd21:10:011
2272286993720,13cyclictest1-21systemd22:35:011
227228699371,4cyclictest131rcu_preempt21:40:001
227228699371,4cyclictest131rcu_preempt21:40:001
227229399363,25cyclictest2273451-21wc19:30:032
227229399363,25cyclictest2273451-21wc19:30:032
227229399363,20cyclictest2278699-21munin-plugin-st21:15:002
2272293993627,5cyclictest309-21in:imuxsock00:10:002
2272293993625,6cyclictest309-21in:imuxsock00:20:012
2272293993625,6cyclictest309-21in:imuxsock00:20:012
2272293993623,8cyclictest2276376-21munin-plugin-st20:30:002
2272293993623,6cyclictest309-21in:imuxsock23:50:012
2272293993623,6cyclictest309-21in:imuxsock23:50:012
2272293993615,14cyclictest0-21swapper/221:45:002
2272286993621,11cyclictest23-21ksoftirqd/122:30:001
227228199366,19cyclictest2275113-21kworker/0:020:50:020
227228199363,29cyclictest2284423-21latency_hist23:05:010
227228199362,29cyclictest2279520-21latency_hist21:30:010
2272281993616,5cyclictest16850irq/134-800000022:04:300
2272293993525,6cyclictest2286290-21latency_hist23:40:012
2272293993523,10cyclictest30-21ksoftirqd/221:30:012
2272293993522,10cyclictest2279746-21systemd-run21:35:012
2272286993521,11cyclictest275-21dbus-daemon23:45:011
2272281993527,3cyclictest0-21swapper/020:20:020
2272281993526,7cyclictest12-21ksoftirqd/021:25:020
2272281993526,7cyclictest12-21ksoftirqd/021:25:020
2272281993525,6cyclictest309-21in:imuxsock19:30:010
2272281993525,6cyclictest309-21in:imuxsock19:30:010
2272281993522,9cyclictest12-21ksoftirqd/022:35:020
227229399344,21cyclictest2277912-21sendmail21:00:002
227229399342,7cyclictest131rcu_preempt23:25:002
2272293993423,9cyclictest30-21ksoftirqd/219:35:012
2272293993419,12cyclictest2278980-21sendmail21:20:002
2272293993413,15cyclictest2276864-21modprobe20:40:002
2272286993423,9cyclictest23-21ksoftirqd/119:26:471
2272286993423,9cyclictest23-21ksoftirqd/119:26:471
227228699341,3cyclictest131rcu_preempt21:00:011
2272281993422,9cyclictest12-21ksoftirqd/022:25:000
2272281993421,10cyclictest1-21systemd22:30:000
2272281993416,14cyclictest275-21dbus-daemon23:35:010
2272281993416,14cyclictest275-21dbus-daemon23:35:010
227229399334,21cyclictest2281013-21modprobe22:00:002
2272293993323,7cyclictest2283990-21date22:55:022
2272293993323,6cyclictest30-21ksoftirqd/200:23:302
2272293993322,8cyclictest30-21ksoftirqd/220:01:312
2272293993321,9cyclictest30-21ksoftirqd/222:50:022
2272293993318,11cyclictest30-21ksoftirqd/219:51:292
2272293993317,12cyclictest1-21systemd23:00:002
2272293993316,12cyclictest309-21in:imuxsock23:05:012
227229399331,4cyclictest131rcu_preempt21:55:012
227228199335,3cyclictest131rcu_preempt20:00:030
2272281993321,10cyclictest12-21ksoftirqd/021:35:010
227229399325,4cyclictest131rcu_preempt23:35:002
227229399325,4cyclictest131rcu_preempt23:35:002
227229399321,5cyclictest131rcu_preempt21:05:022
227228199321,8cyclictest2288835-21latency_hist00:30:010
2272293993124,4cyclictest2288015-21latency_hist00:15:022
2272293993121,6cyclictest30-21ksoftirqd/219:25:012
2272293993117,11cyclictest275-21dbus-daemon20:35:022
227228199313,26cyclictest0-21swapper/023:47:300
227228199313,26cyclictest0-21swapper/023:47:300
227229399271,20cyclictest2272368-21cat19:10:022
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional