You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-31 - 19:21

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #b, slot #5

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  Phytec
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rackbslot5s.osadl.org (updated Tue Mar 31, 2026 12:44:47)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2387149995619,23cyclictest2426399-21cat09:00:010
2387153995241,8cyclictest68-21kswapd011:20:111
2387153994941,5cyclictest2443324-21munin-plugin-st09:50:001
2387149994942,4cyclictest2462282-21cron10:45:000
2387149994816,13cyclictest2457443-21cpu10:30:140
2387158994722,5cyclictest2441614-21debian-sa109:45:012
2387158994717,6cyclictest0-21swapper/208:20:262
2387153994739,5cyclictest2469461-21kworker/u8:0+events_unbound12:39:591
2387153994739,5cyclictest2412417-21sendmail08:20:011
2387149994710,20cyclictest0-21swapper/010:35:160
2387162994530,5cyclictest0-21swapper/310:00:003
2387162994526,16cyclictest2474228-21sendmail11:20:003
2387162994526,16cyclictest2474228-21sendmail11:19:593
2387158994537,5cyclictest2388777-21sh07:15:012
2387149994520,9cyclictest2408072-21ntpq08:05:200
238716299441,38cyclictest2441852-21apt-get09:45:133
2387158994421,19cyclictest0-21swapper/211:45:242
2387149994420,8cyclictest2419519-21sed08:40:010
2387149994420,8cyclictest2419519-21sed08:40:000
238716299431,37cyclictest2448674-21apt-get10:05:133
238716299431,37cyclictest2440242-21/usr/sbin/munin09:40:153
238716299431,37cyclictest2425462-21/usr/sbin/munin08:55:223
2387158994332,6cyclictest0-21swapper/211:20:002
2387158994332,6cyclictest0-21swapper/211:20:002
2387158994316,5cyclictest2439488-21grep09:35:262
2387149994316,9cyclictest2452042-21cron10:15:010
2387149994312,18cyclictest0-21swapper/009:49:550
2387162994231,7cyclictest0-21swapper/312:19:573
238716299422,35cyclictest2423074-21apt-get08:50:093
238716299421,38cyclictest2465345-21cron10:51:003
238716299421,38cyclictest2435664-21/usr/sbin/munin09:25:233
238716299421,38cyclictest2428571-21/usr/sbin/munin09:05:203
238716299421,38cyclictest2421904-21/usr/sbin/munin08:45:233
238716299421,38cyclictest2394014-21/usr/sbin/munin07:25:233
238716299421,36cyclictest2418524-21/usr/sbin/munin08:35:213
238716299421,36cyclictest2418524-21/usr/sbin/munin08:35:213
238715899429,7cyclictest0-21swapper/208:30:282
2387158994216,3cyclictest0-21swapper/208:50:232
2387153994229,9cyclictest231ktimers/111:30:111
2387149994214,7cyclictest2451688-21taskset10:10:480
238716299412,34cyclictest2487022-21apt-get11:55:123
238716299411,37cyclictest2468095-21/usr/sbin/munin11:00:203
238716299411,35cyclictest2483619-21munin-node11:45:113
238716299411,35cyclictest2471282-21/usr/sbin/munin11:10:163
238716299411,35cyclictest2443659-21df09:50:143
238716299411,35cyclictest2411377-21/usr/sbin/munin08:15:213
238716299411,35cyclictest2409226-21apt-get08:10:123
2387149994121,12cyclictest0-21swapper/009:25:130
238716299402,33cyclictest2490437-21apt-get12:05:123
238716299401,36cyclictest2495890-21/usr/sbin/munin12:20:173
238716299401,36cyclictest2476581-21apt-get11:25:093
238716299401,36cyclictest2470728-21sshd11:09:083
238716299401,36cyclictest2416260-21munin-node08:30:123
238716299401,36cyclictest2415170-21/usr/sbin/munin08:25:253
238716299401,36cyclictest2402612-21/usr/sbin/munin07:50:233
238716299401,36cyclictest2400718-21/usr/sbin/munin07:45:183
238716299401,36cyclictest2398936-21ntp_states07:40:223
238716299401,35cyclictest2492264-21/usr/sbin/munin12:10:163
238716299401,35cyclictest2452396-21/usr/sbin/munin10:15:153
238716299401,34cyclictest2478498-21/usr/sbin/munin11:30:143
238716299401,34cyclictest2455706-21apt-get10:25:123
238716299400,35cyclictest2460826-21apt-get10:40:143
2387158994029,6cyclictest0-21swapper/209:50:262
2387153994033,5cyclictest2489847-21kworker/u8:2+events_unbound12:09:561
2387149994021,6cyclictest2434168-21/usr/sbin/munin09:20:240
2387149994018,4cyclictest2475757-21users11:20:280
2387149994015,9cyclictest2396303-21taskset07:33:500
238716299392,34cyclictest2474968-21/usr/sbin/munin11:20:193
238716299392,34cyclictest2426800-21/usr/sbin/munin09:00:153
238716299391,35cyclictest2500982-21/usr/sbin/munin12:35:123
238716299391,35cyclictest2499614-21/usr/sbin/munin12:30:173
238716299391,35cyclictest2485994-21/usr/sbin/munin11:50:233
238716299391,35cyclictest2459636-21/usr/sbin/munin10:35:203
238716299391,35cyclictest2458180-21/usr/sbin/munin10:30:253
238716299391,35cyclictest2450671-21/usr/sbin/munin10:10:143
238716299391,35cyclictest2390069-21/usr/sbin/munin07:15:203
238716299391,33cyclictest2466556-21/usr/sbin/munin10:55:243
238716299391,33cyclictest2432226-21/usr/sbin/munin09:15:223
238716299391,33cyclictest2419735-21/usr/sbin/munin08:40:143
238716299391,33cyclictest2419735-21/usr/sbin/munin08:40:143
2387149993911,10cyclictest2398660-21awk07:40:170
2387162993830,4cyclictest0-21swapper/311:40:153
238716299381,34cyclictest53-21kcompactd008:05:283
238716299381,34cyclictest2489817-21/usr/sbin/munin12:00:263
238716299381,34cyclictest2463090-21ntp_states10:45:213
238716299381,34cyclictest2454689-21/usr/sbin/munin10:20:223
238716299381,34cyclictest2448048-21users10:00:273
238716299381,34cyclictest2434465-21sshd09:21:093
238716299381,34cyclictest2404705-21/usr/sbin/munin07:55:263
238716299381,34cyclictest2397205-21/usr/sbin/munin07:35:233
238716299381,34cyclictest2387987-21/usr/sbin/munin07:10:233
238716299380,35cyclictest2405599-21apt-get08:00:063
238716299380,35cyclictest2405599-21apt-get08:00:053
2387158993828,4cyclictest0-21swapper/208:40:012
2387158993828,4cyclictest0-21swapper/208:40:002
2387149993830,4cyclictest0-21swapper/009:20:000
2387149993829,4cyclictest0-21swapper/011:34:530
2387149993824,9cyclictest2412422-21idleruntime-cro08:20:010
2387149993822,12cyclictest0-21swapper/011:40:110
2387149993819,15cyclictest2388911-21grep07:15:010
2387149993811,10cyclictest2409457-21cut08:10:160
238716299373,31cyclictest2497706-21meminfo12:25:173
238716299371,33cyclictest2480323-21diskstats11:35:163
238716299371,33cyclictest2438774-21/usr/sbin/munin09:35:203
238716299371,33cyclictest2438031-21sshd09:33:103
238716299371,33cyclictest2412394-21apt-get08:20:053
238716299371,33cyclictest2391854-21/usr/sbin/munin07:20:153
238716299371,32cyclictest2395189-21/usr/sbin/munin07:30:183
238716299371,31cyclictest2430017-21df_inode09:10:143
2387158993729,4cyclictest0-21swapper/211:25:002
2387158993728,6cyclictest2402143-21fschecks_count07:50:162
2387158993724,9cyclictest2472094-21grep11:10:262
2387149993726,6cyclictest0-21swapper/009:35:270
2387149993722,9cyclictest2424124-21grep08:50:220
2387149993721,11cyclictest2390607-21grep07:15:260
2387149993719,14cyclictest2416019-21cron08:30:000
2387149993712,9cyclictest2496752-21chrt12:21:520
2387149993628,4cyclictest2467385-21cron11:00:010
2387149993625,9cyclictest2447721-21/usr/sbin/munin10:00:250
2387149993625,8cyclictest2403000-21grep07:50:260
2387149993623,10cyclictest2456399-21/usr/sbin/munin10:25:230
2387149993622,11cyclictest2412992-21/usr/sbin/munin08:20:170
2387149993621,12cyclictest2493918-21/usr/sbin/munin12:15:140
2387149993621,12cyclictest2481161-21sed11:35:260
2387149993619,11cyclictest2393223-21latency_hist07:25:010
2387149993616,6cyclictest25019612sleep012:35:330
2387149993616,17cyclictest2446670-21sshd09:59:350
2387158993525,5cyclictest0-21swapper/212:35:002
2387153993526,5cyclictest0-21swapper/110:25:251
2387149993525,7cyclictest2492732-21/usr/sbin/munin12:10:240
2387149993525,7cyclictest2486230-21/usr/sbin/munin11:50:250
2387149993522,10cyclictest2490435-21/usr/sbin/munin12:05:100
2387149993521,10cyclictest0-21swapper/011:55:120
2387149993519,11cyclictest2441043-21timerandwakeup09:40:250
2387149993517,15cyclictest2394803-21latency_hist07:30:020
2387149993517,12cyclictest2464435-21grep10:50:150
2387158993421,10cyclictest2446745-21sendmail10:00:002
2387149993423,8cyclictest2416868-21/usr/sbin/munin08:30:240
2387149993421,9cyclictest2431444-21latency_hist09:15:020
2387149993421,9cyclictest2401278-21grep07:45:250
2387149993421,9cyclictest0-21swapper/009:30:110
2387149993421,8cyclictest2449677-21tail10:05:260
2387149993420,11cyclictest2426846-21/usr/sbin/munin09:00:170
2387149993420,10cyclictest2463995-21latency_hist10:50:000
2387149993419,11cyclictest2403905-21fschecks_time07:55:170
2387149993418,11cyclictest2474362-21latency_hist11:20:010
2387149993418,11cyclictest2474362-21latency_hist11:20:000
2387149993417,15cyclictest2407127-21apt-config08:05:010
2387149993417,15cyclictest2407127-21apt-config08:05:000
2387149993412,17cyclictest0-21swapper/011:05:230
2387149993410,21cyclictest2499567-21latency12:30:160
2387153993326,4cyclictest2426253-21grep09:00:011
2387153993325,6cyclictest2386721-21kworker/u8:1+events_unbound07:15:121
2387153993325,4cyclictest0-21swapper/107:30:161
2387153993323,6cyclictest2471204-21fschecks_count11:10:161
238714999338,21cyclictest0-21swapper/007:40:020
2387149993327,3cyclictest2419682-21apt-get08:40:140
2387149993327,3cyclictest2419682-21apt-get08:40:140
2387149993324,6cyclictest2477112-21/usr/sbin/munin11:25:200
2387149993320,10cyclictest2498548-21cron12:28:000
2387149993320,10cyclictest2472121-21/usr/sbin/munin11:10:250
2387149993320,10cyclictest2444459-21/usr/sbin/munin09:50:240
2387149993319,10cyclictest2454059-21/usr/sbin/munin10:20:120
2387149993318,7cyclictest0-21swapper/012:00:110
2387149993318,11cyclictest2484663-21unixbench_singl11:45:250
2387149993318,10cyclictest2421605-21fschecks_time08:45:170
2387149993312,17cyclictest0-21swapper/009:05:150
2387153993225,4cyclictest0-21swapper/109:40:261
2387153993224,4cyclictest0-21swapper/109:25:271
2387153993223,5cyclictest0-21swapper/107:24:221
2387153993211,7cyclictest131rcu_preempt10:50:121
2387149993216,11cyclictest2387191-21latency_hist07:10:000
2387158993122,6cyclictest2397650-21unixbench_multi07:35:282
2387158993121,7cyclictest0-21swapper/207:20:012
2387158993120,7cyclictest2489769-21grep12:00:262
2387153993124,5cyclictest2419378-21kworker/u8:2+events_unbound08:40:141
2387153993124,5cyclictest2419378-21kworker/u8:2+events_unbound08:40:141
2387153993119,9cyclictest2387143-21cyclictest08:50:111
2387149993120,7cyclictest0-21swapper/011:00:120
2387158993022,4cyclictest0-21swapper/210:55:252
2387158993021,5cyclictest0-21swapper/208:20:002
2387153993024,4cyclictest2451943-21kworker/u8:0+events_unbound10:44:481
2387153993024,4cyclictest2415990-21kworker/u8:1+events_unbound09:14:341
2387153993022,4cyclictest0-21swapper/110:15:271
2387153993021,5cyclictest0-21swapper/108:49:311
2387153993016,5cyclictest2438067-21kworker/u8:1+events_unbound10:02:331
2387153993013,6cyclictest131rcu_preempt08:10:131
2387158992922,4cyclictest0-21swapper/211:44:592
2387158992920,5cyclictest0-21swapper/209:25:012
2387158992919,5cyclictest2458455-21grep10:30:262
2387158992918,7cyclictest2429263-21grep09:05:262
238715399299,7cyclictest131rcu_preempt10:05:121
2387153992922,4cyclictest2448062-21kworker/u8:2+events_unbound10:24:481
2387153992922,4cyclictest0-21swapper/108:25:001
2387153992922,4cyclictest0-21swapper/107:50:011
2387153992921,4cyclictest2438644-21grep09:35:171
2387153992921,4cyclictest0-21swapper/110:35:141
2387153992919,7cyclictest0-21swapper/112:30:241
2387153992918,7cyclictest2446734-21sendmail10:00:011
2387158992822,3cyclictest2408993-21kthreadd08:10:012
2387158992821,3cyclictest0-21swapper/210:15:272
2387158992821,3cyclictest0-21swapper/208:40:162
2387158992821,3cyclictest0-21swapper/208:40:162
2387158992818,7cyclictest2442835-21grep09:45:262
2387158992818,5cyclictest2470377-21grep11:05:262
2387153992823,3cyclictest2387143-21cyclictest09:20:121
2387153992821,5cyclictest2403097-21kworker/u8:0+events_unbound08:06:091
2387153992821,5cyclictest2390159-21kworker/u8:0+events_unbound07:25:141
2387153992820,4cyclictest0-21swapper/112:15:161
238715899276,3cyclictest24808802gzip11:35:252
2387158992717,7cyclictest2498837-21apt-config12:30:012
2387153992720,5cyclictest2386721-21kworker/u8:1+events_unbound07:10:191
2387153992720,3cyclictest0-21swapper/107:50:261
2387153992719,5cyclictest0-21swapper/108:25:271
2387153992719,4cyclictest0-21swapper/108:35:261
2387153992719,4cyclictest0-21swapper/108:35:261
2387153992716,8cyclictest2485098-21basename11:50:011
238715899267,3cyclictest24904902egrep12:05:122
2387158992620,3cyclictest0-21swapper/211:30:152
2387158992619,4cyclictest2447990-21grep10:00:262
2387158992616,5cyclictest2427963-21auditctl09:05:002
2387153992619,5cyclictest2434648-21kworker/u8:3+events_unbound11:19:541
2387153992619,5cyclictest2434648-21kworker/u8:3+events_unbound11:19:541
2387153992619,5cyclictest2397818-21kworker/u8:1+events_unbound07:55:401
2387153992616,6cyclictest0-21swapper/111:40:001
2387153992615,8cyclictest231ktimers/111:55:111
2387158992519,3cyclictest0-21swapper/207:45:232
238715399252,20cyclictest24-21ksoftirqd/111:40:121
2387153992519,4cyclictest2480185-21kworker/u8:1+events_unbound12:15:011
2387153992518,5cyclictest2434648-21kworker/u8:3+events_unbound10:47:201
2387153992518,5cyclictest2403097-21kworker/u8:0+events_unbound08:30:271
2387153992518,4cyclictest2483146-21kworker/u8:3+events_unbound11:53:471
2387153992513,10cyclictest2387143-21cyclictest11:25:111
238715399251,14cyclictest2433110-21modprobe09:20:001
238715899245,13cyclictest2405182-21sendmail-msp08:00:002
2387158992418,4cyclictest311ktimers/208:10:132
2387158992417,5cyclictest311ktimers/210:10:132
2387158992417,3cyclictest0-21swapper/207:20:252
2387158992416,6cyclictest2469461-21kworker/u8:0+events_unbound12:12:562
2387158992415,6cyclictest1-21systemd11:59:552
2387158992415,5cyclictest0-21swapper/208:55:252
2387158992414,5cyclictest0-21swapper/210:55:002
238715399248,8cyclictest24-21ksoftirqd/109:01:121
238715399246,3cyclictest131rcu_preempt09:05:261
2387153992419,3cyclictest2387143-21cyclictest12:25:111
2387153992417,4cyclictest0-21swapper/107:35:271
2387158992315,6cyclictest2407156-21latency_hist08:05:012
2387158992315,6cyclictest2407156-21latency_hist08:05:012
2387158992315,4cyclictest2449723-21unixbench_singl10:05:262
2387158992315,4cyclictest0-21swapper/212:25:002
2387158992315,4cyclictest0-21swapper/209:15:262
238715399236,2cyclictest0-21swapper/110:35:011
2387153992316,5cyclictest2480185-21kworker/u8:1+events_unbound12:20:181
2387153992315,6cyclictest2469461-21kworker/u8:0+events_unbound11:05:481
2387153992314,7cyclictest2434648-21kworker/u8:3+events_unbound09:50:201
238715399231,11cyclictest0-21swapper/108:00:171
238715399231,11cyclictest0-21swapper/108:00:171
2387158992215,4cyclictest311ktimers/212:15:202
2387158992214,5cyclictest311ktimers/207:35:002
2387158992214,5cyclictest0-21swapper/210:25:242
2387158992213,6cyclictest2468536-21cat11:00:242
2387158992213,6cyclictest2459454-21cut10:35:172
2387158992213,6cyclictest2421869-21grep08:45:222
238715399229,4cyclictest2365021-21kworker/u8:2+events_unbound07:40:131
238715399224,4cyclictest131rcu_preempt11:04:491
2387153992214,5cyclictest0-21swapper/109:30:241
2387158992115,3cyclictest0-21swapper/210:40:242
2387158992114,5cyclictest2476840-21sort11:25:172
2387158992114,4cyclictest24540102sleep210:20:132
2387158992113,6cyclictest2393636-21sort07:25:182
238715899211,14cyclictest2502332-21cron12:39:592
238715899211,13cyclictest2416017-21cron08:30:012
2387158992110,8cyclictest2435150-21diskstats09:25:152
2387158992015,3cyclictest2486791-21sh11:55:002
2387158992014,4cyclictest2436722-21sshd09:30:092
2387158992013,3cyclictest0-21swapper/207:40:172
2387158992010,6cyclictest2430898-21grep09:10:232
2387153992011,6cyclictest2489478-21mailstats12:00:241
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional