You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-16 - 08:10

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #8, slot #2

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack8slot2s.osadl.org (updated Tue Jun 16, 2026 00:43:43)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2546306997668,5cyclictest86-21hwrng22:12:433
254630399741,21cyclictest2691313-21modprobe00:10:530
2546305997366,4cyclictest0-21swapper/223:31:342
2546306997262,7cyclictest86-21hwrng22:15:483
2546305997265,4cyclictest0-21swapper/223:42:502
2546306997164,4cyclictest86-21hwrng21:42:003
2546306997163,5cyclictest86-21hwrng22:41:243
2546306997163,5cyclictest86-21hwrng22:30:083
2546305997164,4cyclictest0-21swapper/200:39:092
2546306997061,6cyclictest86-21hwrng00:15:363
2546306996962,5cyclictest86-21hwrng21:11:173
2546305996963,3cyclictest0-21swapper/220:51:492
2546303996916,17cyclictest2546825-21/usr/sbin/munin19:10:210
2546303996816,19cyclictest2585289-21ntpq21:10:470
2546306996758,6cyclictest86-21hwrng21:46:063
2546306996758,6cyclictest86-21hwrng21:46:063
2546306996757,6cyclictest86-21hwrng00:02:173
2546305996761,3cyclictest0-21swapper/219:53:272
2546304996761,3cyclictest0-21swapper/123:31:341
2546304996760,4cyclictest0-21swapper/123:42:501
2546303996719,14cyclictest2572433-21ntpq20:30:380
2546303996719,14cyclictest2572433-21ntpq20:30:380
2546303996718,20cyclictest2664876-21ssh23:25:550
2546303996718,20cyclictest2664876-21ssh23:25:550
2546306996660,4cyclictest86-21hwrng20:59:003
2546306996657,6cyclictest86-21hwrng00:22:463
2546305996660,3cyclictest0-21swapper/221:27:402
2546305996660,3cyclictest0-21swapper/219:25:492
2546303996618,16cyclictest2685554-21ssh00:01:020
2546305996558,4cyclictest0-21swapper/219:58:352
2546304996559,3cyclictest0-21swapper/100:39:091
2546303996523,14cyclictest2658954-21rm23:15:450
2546303996519,20cyclictest2593164-21ssh21:25:120
254630399651,29cyclictest2614591-21ntpq22:00:430
254630399651,17cyclictest2608651-21/usr/sbin/munin21:50:320
2546306996456,5cyclictest86-21hwrng22:29:063
2546305996458,3cyclictest0-21swapper/222:57:472
2546303996456,5cyclictest86-21hwrng20:05:450
2546303996454,7cyclictest86-21hwrng23:37:430
2546303996417,44cyclictest2620629-21ssh22:10:480
2546303996417,13cyclictest2551760-21/usr/sbin/munin19:25:250
2546303996416,16cyclictest2579747-21diskstats20:55:200
2546303996414,21cyclictest2549457-21sendmail-msp19:20:210
254630399641,39cyclictest2655946-21ssh23:10:440
254630399641,24cyclictest2688147-21ssh00:05:280
254630399641,24cyclictest2666766-21ssh23:30:100
254630399641,22cyclictest2683867-21ssh23:58:440
254630399641,18cyclictest2698652-21ssh00:24:090
2546305996356,4cyclictest0-21swapper/200:29:562
2546305996356,4cyclictest0-21swapper/200:29:562
2546303996318,13cyclictest2569813-21/usr/sbin/munin20:20:560
254630399631,36cyclictest2587336-21ssh21:15:270
254630399631,21cyclictest2654569-21ssh23:09:230
2546304996257,2cyclictest0-21swapper/120:51:491
2546303996217,19cyclictest2617727-21/usr/sbin/munin22:05:540
2546303996217,19cyclictest2617727-21/usr/sbin/munin22:05:540
2546303996217,16cyclictest2583383-21ntpq21:05:300
2546303996215,16cyclictest2570823-21ntpq20:25:320
2546303996214,13cyclictest2555543-21/usr/sbin/munin19:35:470
254630399621,35cyclictest2611653-21ssh21:55:350
254630399621,22cyclictest2639710-21ssh22:44:010
254630399621,22cyclictest2633082-21ssh22:31:300
254630399621,21cyclictest2648035-21ssh22:57:110
254630399621,21cyclictest2640328-21ssh22:45:170
254630399621,20cyclictest2601321-21ssh21:38:280
254630399621,20cyclictest2601321-21ssh21:38:280
2546303996118,21cyclictest2676574-21ntpq23:45:450
2546303996116,18cyclictest2635276-21ntpq22:35:430
254630399611,5cyclictest2559443-21/usr/sbin/munin19:50:210
2546303996113,15cyclictest2581322-21df_inode21:00:220
254630399611,22cyclictest2628139-21ssh22:24:460
254630399611,22cyclictest2628139-21ssh22:24:460
254630399611,22cyclictest2607062-21sshd-auth21:48:110
254630399611,22cyclictest2607062-21sshd-auth21:48:110
254630399611,21cyclictest2630441-21ssh22:27:330
254630399611,20cyclictest1759-21snmpd23:00:390
2546306996052,5cyclictest86-21hwrng20:26:143
2546306996052,5cyclictest86-21hwrng20:20:053
2546306996052,5cyclictest86-21hwrng00:14:353
2546305996054,3cyclictest0-21swapper/219:43:132
2546304996055,2cyclictest0-21swapper/119:53:271
2546304996055,2cyclictest0-21swapper/119:25:491
2546304996053,3cyclictest0-21swapper/119:58:351
254630399601,32cyclictest2548838-21ntpq19:15:340
254630399601,26cyclictest2693321-21ssh00:15:080
254630399601,20cyclictest2704281-21ssh00:33:200
254630399601,20cyclictest2704281-21ssh00:33:200
254630399601,20cyclictest2674280-21ssh23:41:230
254630399601,20cyclictest2645582-21ssh22:53:530
254630399601,20cyclictest2645582-21ssh22:53:530
254630399601,20cyclictest2563541-21sshd-session20:02:120
254630399601,15cyclictest2660912-21apt-get23:20:260
2546303996011,16cyclictest2556686-21ntpq19:40:370
2546305995953,3cyclictest0-21swapper/222:02:292
2546305995953,3cyclictest0-21swapper/219:24:472
2546304995954,2cyclictest0-21swapper/121:27:401
2546303995915,17cyclictest2705855-21ntpq00:35:350
2546303995914,12cyclictest2566925-21/usr/sbin/munin20:15:200
2546303995913,18cyclictest2602984-21ssh21:41:040
254630399591,21cyclictest2700682-21ssh00:26:020
2546306995850,5cyclictest86-21hwrng21:09:143
2546304995853,2cyclictest0-21swapper/122:57:471
2546303995817,9cyclictest2622844-21ssh22:15:200
254630399581,21cyclictest2573187-21apt-get20:35:120
2546303995812,19cyclictest2590515-21ssh21:20:290
254630399581,17cyclictest2596359-21/usr/sbin/munin21:30:200
2546303995717,10cyclictest2553640-21ntpq19:30:420
2546306995648,5cyclictest86-21hwrng19:13:313
2546304995651,2cyclictest0-21swapper/100:29:561
2546304995651,2cyclictest0-21swapper/100:29:561
254630399561,25cyclictest2557519-21modprobe19:45:130
254630399561,25cyclictest2557519-21modprobe19:45:130
254630399561,20cyclictest2679173-21ssh23:50:270
254630399561,20cyclictest2679173-21ssh23:50:270
2546303995611,13cyclictest1759-21snmpd20:40:100
2546306995547,5cyclictest86-21hwrng21:54:173
2546306995545,6cyclictest86-21hwrng23:46:563
2546305995549,3cyclictest0-21swapper/223:36:412
2546305995549,3cyclictest0-21swapper/223:07:002
2546305995549,3cyclictest0-21swapper/220:33:242
2546305995549,3cyclictest0-21swapper/220:33:242
2546305995549,3cyclictest0-21swapper/220:02:402
2546303995522,5cyclictest2578736-21ld20:50:370
2546306995446,5cyclictest86-21hwrng23:53:043
2546306995446,5cyclictest86-21hwrng23:53:043
254630399541,19cyclictest2576352-21apt-get20:45:120
2546304995348,2cyclictest0-21swapper/119:24:471
2546306995245,5cyclictest86-21hwrng20:45:413
2546305995246,3cyclictest0-21swapper/221:32:472
2546304995248,1cyclictest0-21swapper/119:43:131
2546304995247,2cyclictest0-21swapper/122:02:291
2546303995212,12cyclictest2565854-21irqstats20:10:250
254630699514,31cyclictest2616697-21ssh22:05:143
254630699514,31cyclictest2616697-21ssh22:05:143
2546306994943,4cyclictest86-21hwrng21:34:503
2546306994940,6cyclictest86-21hwrng22:39:213
2546306994931,13cyclictest86-21hwrng00:05:223
2546305994943,3cyclictest0-21swapper/220:06:462
2546306994841,5cyclictest86-21hwrng00:31:593
2546306994841,5cyclictest86-21hwrng00:31:593
2546306994823,22cyclictest0-21swapper/323:25:493
2546306994823,22cyclictest0-21swapper/323:25:493
254630699482,22cyclictest2682429-21ntpq23:55:393
2546306994821,22cyclictest2626367-21ntpq22:20:443
2546306994821,22cyclictest2626367-21ntpq22:20:443
2546304994844,1cyclictest0-21swapper/123:36:411
2546304994843,2cyclictest0-21swapper/123:07:001
2546304994843,2cyclictest0-21swapper/120:02:401
2546305994742,3cyclictest0-21swapper/223:50:002
2546305994742,3cyclictest0-21swapper/223:50:002
2546305994741,3cyclictest0-21swapper/222:45:292
2546304994743,1cyclictest0-21swapper/120:33:241
2546304994743,1cyclictest0-21swapper/120:33:241
254630699463,37cyclictest2549443-21apt-get19:20:083
2546306994624,19cyclictest0-21swapper/319:25:453
2546306994624,19cyclictest0-21swapper/300:25:273
254630699462,30cyclictest2566910-21apt-get20:15:063
2546306994621,19cyclictest2667736-21ntpq23:30:493
2546304994640,2cyclictest0-21swapper/121:32:471
254630399461,20cyclictest2561964-21systemd-userwor19:59:030
2546306994534,8cyclictest0-21swapper/321:35:233
2546306994534,8cyclictest0-21swapper/321:35:233
2546306994524,18cyclictest0-21swapper/319:50:443
2546306994520,20cyclictest2646198-21ssh22:55:133
2546306994520,20cyclictest2591105-21ntpq21:20:583
2546306994517,22cyclictest2587300-21ssh21:15:173
254630699451,40cyclictest2648857-21sendmail-msp23:00:073
254630699451,38cyclictest2644192-21ntpq22:50:483
254630699451,38cyclictest2644192-21ntpq22:50:483
254630699451,21cyclictest2563519-21/usr/sbin/munin20:00:573
2546305994539,3cyclictest0-21swapper/223:27:282
2546305994539,3cyclictest0-21swapper/223:27:282
2546305994538,4cyclictest0-21swapper/223:12:072
2546305994538,4cyclictest0-21swapper/221:57:222
2546306994437,4cyclictest86-21hwrng20:38:313
254630699442,19cyclictest2660888-21ssh23:19:573
2546306994420,19cyclictest2561384-21ntpq19:55:333
2546306994420,13cyclictest2565601-21fschecks_count20:10:223
2546306994419,20cyclictest2593430-21df21:25:203
2546306994418,18cyclictest1759-21snmpd20:30:073
2546306994418,18cyclictest1759-21snmpd20:30:073
254630699441,36cyclictest2658910-21ssh23:15:433
254630699441,18cyclictest2655988-21ssh23:10:473
2546306994321,19cyclictest0-21swapper/323:05:093
2546306994320,19cyclictest2564982-21/usr/sbin/munin20:05:533
2546306994320,18cyclictest2706036-21ntpq00:35:523
2546306994319,20cyclictest2548854-21/usr/sbin/munin19:15:353
2546306994319,19cyclictest2614632-21ntpq22:00:463
2546306994317,16cyclictest2555736-21sendmail-msp19:40:113
2546305994337,3cyclictest0-21swapper/222:44:282
2546306994224,16cyclictest0-21swapper/319:45:453
2546306994224,16cyclictest0-21swapper/319:45:453
254630699422,35cyclictest2673672-21ntpq23:40:583
2546306994219,19cyclictest2574559-21sendmail-msp20:40:243
2546306994219,19cyclictest2555156-21ntpq19:35:363
2546306994217,19cyclictest2611634-21ntpq21:55:333
2546306994216,21cyclictest1759-21snmpd23:35:473
2546304994238,2cyclictest0-21swapper/120:06:461
2546304994236,3cyclictest0-21swapper/123:50:001
2546304994236,3cyclictest0-21swapper/123:50:001
2546304994236,3cyclictest0-21swapper/122:48:341
2546306994132,6cyclictest86-21hwrng19:34:003
2546306994120,18cyclictest0-21swapper/321:02:113
2546306994118,14cyclictest2579232-21users20:50:483
254630699411,27cyclictest2641167-21ssh22:45:413
2546305994135,3cyclictest0-21swapper/222:53:412
2546305994135,3cyclictest0-21swapper/222:53:412
2546305994034,3cyclictest0-21swapper/223:03:552
2546304993933,3cyclictest0-21swapper/123:27:281
2546304993933,3cyclictest0-21swapper/123:27:281
2546304993933,3cyclictest0-21swapper/123:12:071
2546304993833,2cyclictest0-21swapper/121:57:221
2546304993832,3cyclictest0-21swapper/122:44:281
2546305993730,4cyclictest0-21swapper/219:30:562
2546305993724,10cyclictest0-21swapper/221:15:092
2546306993625,8cyclictest0-21swapper/319:09:523
2546305993630,3cyclictest0-21swapper/222:30:492
2546305993629,4cyclictest0-21swapper/221:00:222
2546305993629,4cyclictest0-21swapper/200:11:082
2546305993526,5cyclictest0-21swapper/223:45:572
2546305993524,6cyclictest0-21swapper/222:20:532
2546305993524,6cyclictest0-21swapper/222:20:532
2546305993422,7cyclictest0-21swapper/220:44:532
2546305993422,6cyclictest0-21swapper/223:20:052
2546304993430,1cyclictest0-21swapper/122:53:411
2546304993430,1cyclictest0-21swapper/122:53:411
2546304993428,3cyclictest0-21swapper/123:03:551
2546305993326,4cyclictest0-21swapper/222:05:272
2546305993326,4cyclictest0-21swapper/222:05:272
2546305993225,4cyclictest0-21swapper/221:45:522
2546305993225,4cyclictest0-21swapper/221:45:522
2546305993225,3cyclictest0-21swapper/220:35:292
2546305993224,5cyclictest0-21swapper/222:15:352
2546305993224,4cyclictest0-21swapper/220:56:112
2546305993123,4cyclictest0-21swapper/200:00:192
2546305993122,6cyclictest0-21swapper/221:50:252
2546305993122,5cyclictest0-21swapper/222:35:212
2546305993122,5cyclictest0-21swapper/220:20:222
2546305993121,6cyclictest0-21swapper/220:15:052
2546304993125,3cyclictest0-21swapper/119:30:561
2546304993124,3cyclictest0-21swapper/100:11:081
2546304993112,8cyclictest0-21swapper/123:20:531
2546305993024,3cyclictest0-21swapper/221:20:082
2546305993024,3cyclictest0-21swapper/219:15:452
2546305993024,3cyclictest0-21swapper/200:25:162
2546305993023,4cyclictest0-21swapper/221:35:232
2546305993023,4cyclictest0-21swapper/221:35:232
2546305993023,4cyclictest0-21swapper/221:10:152
2546305993021,5cyclictest0-21swapper/223:55:262
2546305993021,5cyclictest0-21swapper/220:45:122
2546305993021,5cyclictest0-21swapper/200:21:172
2546305993020,6cyclictest0-21swapper/222:10:272
2546304993025,2cyclictest0-21swapper/122:30:491
2546304993024,3cyclictest0-21swapper/119:35:301
2546305992922,4cyclictest0-21swapper/223:15:152
2546305992922,4cyclictest0-21swapper/221:39:572
2546305992922,4cyclictest0-21swapper/221:05:482
2546305992922,4cyclictest0-21swapper/200:15:092
2546305992921,4cyclictest0-21swapper/222:25:552
2546304992921,5cyclictest0-21swapper/123:45:571
2546304992918,4cyclictest0-21swapper/122:20:531
2546304992918,4cyclictest0-21swapper/122:20:531
2546305992821,4cyclictest0-21swapper/200:05:092
2546305992820,5cyclictest0-21swapper/219:14:532
2546304992823,2cyclictest0-21swapper/121:00:221
2546304992819,5cyclictest0-21swapper/120:45:011
2546304992819,4cyclictest0-21swapper/121:15:051
2546305992720,3cyclictest0-21swapper/220:10:042
2546305992716,7cyclictest0-21swapper/220:25:222
2546304992721,3cyclictest0-21swapper/123:55:241
2546304992720,4cyclictest0-21swapper/120:11:361
2546304992718,4cyclictest0-21swapper/120:44:511
2546305992620,3cyclictest0-21swapper/219:35:252
2546304992620,4cyclictest0-21swapper/100:01:551
2546304992620,3cyclictest0-21swapper/123:15:391
2546304992620,3cyclictest0-21swapper/122:25:171
2546304992620,3cyclictest0-21swapper/121:40:561
2546304992620,3cyclictest0-21swapper/100:22:431
2546304992619,3cyclictest0-21swapper/120:56:111
2546304992619,3cyclictest0-21swapper/120:35:291
2546304992617,4cyclictest0-21swapper/100:25:461
2546305992517,5cyclictest0-21swapper/219:49:532
2546305992517,5cyclictest0-21swapper/219:49:532
2546304992520,2cyclictest0-21swapper/122:05:271
2546304992520,2cyclictest0-21swapper/122:05:271
2546304992519,3cyclictest0-21swapper/122:35:411
2546304992519,3cyclictest0-21swapper/122:15:351
2546304992519,3cyclictest0-21swapper/121:45:521
2546304992519,3cyclictest0-21swapper/121:45:521
2546304992519,3cyclictest0-21swapper/121:22:531
2546304992519,3cyclictest0-21swapper/120:20:191
2546304992519,3cyclictest0-21swapper/100:05:311
2546304992519,2cyclictest0-21swapper/119:15:451
2546304992518,4cyclictest0-21swapper/121:35:231
2546304992518,4cyclictest0-21swapper/121:35:231
2546304992518,3cyclictest0-21swapper/121:50:371
2546304992515,6cyclictest0-21swapper/119:49:011
2546304992515,6cyclictest0-21swapper/119:49:011
254630399251,13cyclictest2546424-21latency_hist19:09:530
2546305992418,3cyclictest0-21swapper/219:09:532
2546304992418,3cyclictest0-21swapper/121:10:151
2546304992417,3cyclictest0-21swapper/120:15:031
2546304992415,5cyclictest0-21swapper/122:10:271
2546304992317,3cyclictest0-21swapper/119:14:191
2546304992317,3cyclictest0-21swapper/100:15:091
2546304992215,4cyclictest0-21swapper/121:05:311
2546304992116,2cyclictest0-21swapper/120:25:281
2546304991913,3cyclictest0-21swapper/119:09:531
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional