You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-09 - 18:17

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack2slot7s.osadl.org (updated Thu Apr 09, 2026 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
216498996857,6cyclictest0-21swapper/111:57:591
216499995732,22cyclictest397933-21munin-plugin-st12:10:012
216499995418,33cyclictest384536-21sh11:51:402
216499995418,33cyclictest384536-21sh11:51:402
216498995443,7cyclictest0-21swapper/110:05:321
216498995443,7cyclictest0-21swapper/110:05:321
216499995235,13cyclictest359850-21unixbench_singl11:20:432
216497995111,21cyclictest412748-21ssh12:30:350
216499995026,20cyclictest0-21swapper/211:35:022
216499994932,13cyclictest0-21swapper/211:00:012
216499994927,18cyclictest0-21swapper/209:15:272
216497994943,4cyclictest374220-21idleruntime-cro11:40:010
216497994934,12cyclictest347137-21sh11:05:350
216499994820,24cyclictest261-21systemd-journal09:53:592
216497994840,4cyclictest0-21swapper/010:25:360
216497994826,18cyclictest3546645-21cups-browsed08:20:590
216499994732,13cyclictest0-21swapper/210:00:022
216499994732,13cyclictest0-21swapper/210:00:022
21649999471,19cyclictest261799-21ssh09:20:372
216498994739,5cyclictest252499-21systemd-run09:10:011
21649999463,37cyclictest399031-21ssh12:10:332
21649999452,17cyclictest306596-21ssh10:15:352
21649999451,20cyclictest371356-21ssh11:35:352
21649999441,13cyclictest229372-21ntpq07:50:332
216498994433,8cyclictest329729-21cron10:45:011
216497994437,5cyclictest3546645-21cups-browsed12:40:010
216497994437,5cyclictest229984-21systemd-run07:55:010
216499994320,20cyclictest404965-21systemd-run12:20:012
216499994319,21cyclictest416284-21mailstats12:35:412
216499994319,21cyclictest319379-21unixbench_singl10:30:442
216499994317,23cyclictest240500-21kworker/u8:3-xprtiod08:35:442
21649999431,34cyclictest294309-21ssh10:00:322
21649999431,34cyclictest294309-21ssh10:00:322
216498994337,3cyclictest0-21swapper/112:05:011
216497994337,4cyclictest340829-21kworker/u8:4+xprtiod11:00:010
21649999425,9cyclictest355339-21ssh11:15:392
216499994219,20cyclictest386778-21head11:55:232
21649999421,18cyclictest270035-21rm09:30:382
21649899427,29cyclictest415994-21ssh12:35:321
216497994232,7cyclictest367489-21proc_pri11:30:400
216499994122,16cyclictest3659966-21kworker/u8:10-xprtiod07:40:012
21649999412,16cyclictest330881-21ld10:45:332
21649999412,15cyclictest302578-21ssh10:10:372
21649999412,15cyclictest302578-21ssh10:10:372
21649999412,14cyclictest391097-21irqstats12:00:282
21649999412,13cyclictest298436-21ssh10:05:352
21649999412,13cyclictest298436-21ssh10:05:352
216499994121,17cyclictest0-21swapper/208:20:012
216499994118,19cyclictest0-21swapper/210:20:432
216499994116,5cyclictest382281-21/usr/sbin/munin11:50:012
216499994116,5cyclictest382281-21/usr/sbin/munin11:50:012
216499994116,2cyclictest0-21swapper/211:10:352
216499994116,22cyclictest278649-21timerwakeupswit09:40:452
216498994133,5cyclictest266475-21sh09:25:461
216498994133,5cyclictest252471-21diskmemload12:25:461
216498994132,6cyclictest420-21avahi-daemon10:58:081
216498994132,6cyclictest317690-21latency_hist10:30:021
21649899412,32cyclictest306613-21ssh10:15:361
216497994130,8cyclictest352978-21sshd11:12:590
216497994119,14cyclictest151ktimers/011:40:330
21649799411,33cyclictest261978-21ssh09:20:440
216499994034,2cyclictest0-21swapper/208:55:012
216499994033,4cyclictest221020-21systemd-run07:25:012
216499994033,4cyclictest221020-21systemd-run07:25:012
21649999402,32cyclictest406088-21ssh12:20:342
21649999402,17cyclictest1051-21mta-sts-daemon10:54:392
216499994017,3cyclictest0-21swapper/207:15:002
21649999401,13cyclictest314504-21memory10:25:302
21649799409,12cyclictest14-21ksoftirqd/011:45:350
21649799409,12cyclictest14-21ksoftirqd/011:45:350
216497994023,11cyclictest151ktimers/008:50:340
216497994021,13cyclictest12350irq/32-eth012:00:330
216499993931,5cyclictest227002-21systemd-run07:45:012
216499993927,9cyclictest219483-21sendmail07:20:002
21649999391,19cyclictest322882-21ssh10:35:382
21649999391,14cyclictest265393-21ssh09:25:272
21649999391,14cyclictest253606-21ntpq09:10:332
216498993930,6cyclictest3546642-21cupsd11:24:221
216497993923,7cyclictest12350irq/32-eth010:05:390
216497993923,7cyclictest12350irq/32-eth010:05:390
21649799392,33cyclictest395220-21ssh12:05:310
21649799392,32cyclictest286272-21ssh09:50:340
21649799391,32cyclictest399159-21ssh12:10:380
216499993814,3cyclictest0-21swapper/209:05:352
21649999381,14cyclictest274175-21ntpq09:35:452
216498993832,3cyclictest0-21swapper/110:45:401
216498993831,3cyclictest0-21swapper/110:50:361
216498993828,4cyclictest247932-21kworker/u8:7-rpciod09:55:261
216498993828,4cyclictest247932-21kworker/u8:7-rpciod09:55:261
216498993827,7cyclictest420-21avahi-daemon11:54:191
216498993827,7cyclictest420-21avahi-daemon11:54:191
216497993826,10cyclictest219925-21cpu07:20:230
216497993826,10cyclictest219925-21cpu07:20:230
216497993825,10cyclictest354992-21latency11:15:280
21649799381,28cyclictest257837-21ssh09:15:390
21649999372,13cyclictest326953-21ntpq10:40:382
216499993721,13cyclictest1056-21mta-sts-daemon11:06:282
21649999371,16cyclictest409562-21awk12:25:322
216498993728,6cyclictest404936-21basename12:20:001
216497993728,6cyclictest304842-21sshd10:13:590
216497993728,6cyclictest304842-21sshd10:13:590
216499993628,5cyclictest231473-21systemctl08:00:012
21649999361,13cyclictest375457-21sh11:40:372
21649999361,11cyclictest363464-21ps11:25:402
21649899363,24cyclictest318940-21sh10:30:391
216498993629,4cyclictest217885-21unixbench_multi07:10:441
216498993629,3cyclictest0-21swapper/112:20:271
216498993628,5cyclictest395173-21needreboot12:05:301
216498993628,5cyclictest274664-21unixbench_multi09:35:531
216498993628,5cyclictest243463-21munin-run08:40:001
216498993627,7cyclictest244177-21latency08:40:281
216497993630,3cyclictest0-21swapper/009:35:010
216497993629,5cyclictest293207-21basename10:00:010
216497993629,5cyclictest293207-21basename10:00:010
216497993629,4cyclictest218131-21latency_hist07:15:020
216497993626,7cyclictest334739-21latency10:50:280
216497993623,10cyclictest241915-21unixbench_singl08:30:430
216497993613,5cyclictest171rcu_preempt07:35:310
216497993612,19cyclictest306575-21ssh10:15:350
21649999351,13cyclictest282305-21ntpq09:45:372
216498993529,3cyclictest0-21swapper/111:25:241
216498993527,5cyclictest270296-21threads09:30:431
216498993527,4cyclictest0-21swapper/110:00:401
216498993527,4cyclictest0-21swapper/110:00:401
216498993526,5cyclictest1055-21mta-sts-daemon11:09:041
21649799353,23cyclictest326882-21ssh10:40:350
216497993521,11cyclictest12350irq/32-eth009:10:340
216499993425,7cyclictest232288-21needreboot08:00:312
21649899344,25cyclictest278270-21ssh09:40:391
216498993428,3cyclictest0-21swapper/111:45:011
216498993428,3cyclictest0-21swapper/109:45:311
216498993427,3cyclictest0-21swapper/111:45:331
216498993427,3cyclictest0-21swapper/111:45:331
216498993426,5cyclictest236496-21fschecks_time08:15:271
216498993426,5cyclictest0-21swapper/108:55:011
216498993426,3cyclictest0-21swapper/109:20:361
21649799343,26cyclictest318799-21ssh10:30:350
216497993428,3cyclictest0-21swapper/010:35:360
21649799342,26cyclictest387454-21diskmemload11:55:360
21649999338,6cyclictest1051-21mta-sts-daemon07:45:372
21649999332,17cyclictest3546645-21cups-browsed08:05:352
216499993310,6cyclictest343098-21ntp_kernel_pll_11:00:372
216499993310,6cyclictest343098-21ntp_kernel_pll_11:00:372
216498993326,4cyclictest249492-21kworker/u8:10+xprtiod09:05:011
216498993325,5cyclictest252471-21diskmemload10:10:321
216498993325,5cyclictest252471-21diskmemload10:10:321
216498993324,7cyclictest421-21dbus-daemon09:16:221
216498993324,4cyclictest0-21swapper/111:10:361
216498993324,3cyclictest228495-21kworker/u8:1-xprtiod08:10:021
216498993322,8cyclictest659-21snmpd11:36:261
21649899332,25cyclictest310703-21ssh10:20:351
21649799333,7cyclictest171rcu_preempt12:20:380
216497993326,4cyclictest151ktimers/010:20:300
216497993324,7cyclictest248856-21ntp_kernel_pll_08:55:360
216497993320,11cyclictest243516-21latency_hist08:40:010
21649799331,26cyclictest281711-21df09:45:240
216499993222,7cyclictest241824-21unixbench-2d08:30:432
216498993225,4cyclictest1054-21mta-sts-daemon11:30:371
216498993224,5cyclictest227009-21systemd-run07:45:021
216498993224,5cyclictest225499-21sendmail07:40:011
216498993221,8cyclictest222490-21/usr/sbin/munin07:30:011
216497993226,3cyclictest0-21swapper/009:05:010
21649799322,25cyclictest402458-21ssh12:15:330
216497993216,11cyclictest0-21swapper/011:25:340
216499993123,5cyclictest238982-21cron08:25:012
216499993121,8cyclictest412796-21sh12:30:372
216498993124,4cyclictest231457-21cron08:00:011
216498993122,6cyclictest439-21systemd-logind07:35:021
216498993120,8cyclictest228481-21cut07:50:021
21649799312,19cyclictest409595-21ssh12:25:330
216497993120,8cyclictest0-21swapper/011:00:240
216497993120,8cyclictest0-21swapper/011:00:240
216497993119,4cyclictest151ktimers/009:35:450
216497993117,11cyclictest226989-21cut07:45:010
21649799311,23cyclictest252471-21diskmemload11:50:330
21649799311,23cyclictest252471-21diskmemload11:50:330
216499993021,5cyclictest248477-21fschecks_count08:55:272
216498993024,3cyclictest0-21swapper/111:05:011
216498993024,3cyclictest0-21swapper/111:05:011
216498993023,4cyclictest0-21swapper/109:10:411
216498993022,4cyclictest0-21swapper/109:50:211
216498993021,7cyclictest219154-21switchtime07:15:431
21649899301,20cyclictest322790-21ssh10:35:341
216497993019,8cyclictest0-21swapper/009:25:320
21649899297,5cyclictest171rcu_preempt12:10:251
216498992923,3cyclictest0-21swapper/112:35:001
216498992921,5cyclictest355382-21proc_pri11:15:401
216497992920,6cyclictest358813-21grep11:20:240
216497992910,14cyclictest421-21dbus-daemon10:45:400
216497992910,10cyclictest151ktimers/009:40:380
216498992821,4cyclictest1055-21mta-sts-daemon08:30:351
216497992823,2cyclictest0-21swapper/008:20:010
216497992822,4cyclictest223972-21cron07:35:010
216497992820,6cyclictest232897-21sed08:00:450
216497992819,7cyclictest218877-21ntp_kernel_pll_07:15:340
216499992718,4cyclictest0-21swapper/207:25:322
21649899275,15cyclictest3546645-21cups-browsed08:10:321
216498992721,3cyclictest0-21swapper/108:30:021
216498992720,4cyclictest1055-21mta-sts-daemon07:20:231
216498992720,4cyclictest1055-21mta-sts-daemon07:20:231
21649799276,13cyclictest428-21mta-sts-daemon07:55:400
216497992721,3cyclictest0-21swapper/010:00:370
216497992721,3cyclictest0-21swapper/010:00:370
21649899268,13cyclictest1054-21mta-sts-daemon07:50:341
216498992618,5cyclictest246462-21cron08:50:001
216497992620,3cyclictest1055-21mta-sts-daemon08:10:290
216497992618,6cyclictest244244-21missed_timers08:40:290
216499992519,3cyclictest0-21swapper/209:05:012
216497992519,3cyclictest1055-21mta-sts-daemon07:45:360
216497992513,9cyclictest0-21swapper/009:10:010
216499992418,3cyclictest0-21swapper/208:25:452
21649899246,14cyclictest421-21dbus-daemon08:55:391
216498992417,5cyclictest232637-21switchtime08:00:431
216497992420,2cyclictest0-21swapper/008:50:010
216497992418,3cyclictest151ktimers/008:25:350
21649999233,15cyclictest244448-21ntp_states08:40:382
216499992318,2cyclictest0-21swapper/207:10:012
216499992314,6cyclictest235972-21munin-run08:15:012
216498992316,5cyclictest0-21swapper/108:25:021
216497992315,6cyclictest1054-21mta-sts-daemon07:25:260
216497992313,7cyclictest421-21dbus-daemon08:05:350
216499992216,4cyclictest0-21swapper/207:30:442
216499992213,6cyclictest245732-21missed_timers08:45:292
21650099212,8cyclictest0-21swapper/310:20:313
21649799202,11cyclictest421-21dbus-daemon07:10:010
21650099182,8cyclictest0-21swapper/310:30:303
21650099172,9cyclictest0-21swapper/310:35:363
21650099172,9cyclictest0-21swapper/309:25:343
21650099171,9cyclictest0-21swapper/312:30:363
21650099171,7cyclictest0-21swapper/311:55:333
21650099163,6cyclictest0-21swapper/311:45:443
21650099163,6cyclictest0-21swapper/311:45:443
21650099161,8cyclictest0-21swapper/310:10:333
21650099161,8cyclictest0-21swapper/310:10:333
21650099161,7cyclictest0-21swapper/310:45:383
21649899161,11cyclictest1-21systemd07:10:011
21650099153,6cyclictest0-21swapper/312:20:313
21650099153,6cyclictest0-21swapper/312:10:343
21650099152,6cyclictest0-21swapper/308:25:343
21650099151,8cyclictest0-21swapper/312:05:353
21650099151,7cyclictest0-21swapper/310:00:323
21650099151,7cyclictest0-21swapper/310:00:323
21650099151,7cyclictest0-21swapper/307:50:363
21650099144,7cyclictest0-21swapper/309:10:343
21650099143,4cyclictest0-21swapper/308:40:353
21650099142,7cyclictest0-21swapper/312:35:233
21650099142,6cyclictest0-21swapper/308:45:353
21650099141,8cyclictest0-21swapper/309:50:323
21650099141,7cyclictest0-21swapper/311:50:243
21650099141,7cyclictest0-21swapper/311:50:243
21650099141,7cyclictest0-21swapper/311:10:353
21650099141,7cyclictest0-21swapper/309:40:353
21650099141,7cyclictest0-21swapper/309:35:323
21650099141,7cyclictest0-21swapper/309:15:363
21650099141,6cyclictest0-21swapper/308:35:353
21650099141,6cyclictest0-21swapper/308:05:323
21650099141,6cyclictest0-21swapper/307:40:343
21650099141,5cyclictest0-21swapper/308:20:303
21650099140,6cyclictest0-21swapper/307:15:323
21650099133,4cyclictest0-21swapper/308:00:363
21650099132,7cyclictest0-21swapper/311:00:293
21650099132,7cyclictest0-21swapper/311:00:293
21650099132,7cyclictest0-21swapper/310:05:363
21650099132,7cyclictest0-21swapper/310:05:363
21650099132,6cyclictest0-21swapper/309:45:343
21650099132,6cyclictest0-21swapper/309:30:363
21650099132,6cyclictest0-21swapper/309:20:353
21650099131,8cyclictest0-21swapper/311:40:353
21650099131,7cyclictest0-21swapper/312:25:343
21650099131,7cyclictest0-21swapper/312:00:363
21650099131,7cyclictest0-21swapper/311:25:333
21650099131,7cyclictest0-21swapper/310:55:263
21650099131,7cyclictest0-21swapper/310:15:233
21650099131,6cyclictest0-21swapper/308:55:343
21650099131,6cyclictest0-21swapper/308:50:353
21650099131,6cyclictest0-21swapper/308:15:333
21650099131,6cyclictest0-21swapper/307:10:343
21650099123,5cyclictest0-21swapper/311:15:343
21650099122,6cyclictest0-21swapper/310:40:403
21650099122,5cyclictest0-21swapper/307:45:373
21650099121,7cyclictest0-21swapper/311:35:323
21650099121,7cyclictest0-21swapper/311:05:243
21650099121,7cyclictest0-21swapper/310:50:343
21650099113,6cyclictest0-21swapper/310:25:293
21650099112,6cyclictest0-21swapper/309:55:263
21650099112,6cyclictest0-21swapper/309:55:263
21650099112,6cyclictest0-21swapper/308:15:013
21650099111,7cyclictest0-21swapper/311:30:383
21650099111,6cyclictest0-21swapper/312:15:253
21650099111,6cyclictest0-21swapper/311:20:203
21650099111,6cyclictest0-21swapper/309:05:333
21650099111,6cyclictest0-21swapper/307:35:263
21650099111,5cyclictest0-21swapper/307:30:303
21650099101,5cyclictest0-21swapper/308:30:313
21650099101,5cyclictest0-21swapper/307:10:023
21650099101,4cyclictest0-21swapper/307:55:223
2165009991,5cyclictest0-21swapper/309:00:253
2165009991,5cyclictest0-21swapper/307:25:243
2165009991,5cyclictest0-21swapper/307:20:233
2165009991,5cyclictest0-21swapper/307:20:233
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional